The object of research, development or design (in Russian) : Объектами исследования данного проекта являются текстовые документы на казахском языке, а также современные методы и алгоритмы их обработки и анализа.

The object of research, development or design (in Kazakh) : Бұл жобаның зерттеу объектілері қазақ тіліндегі мәтіндік құжаттар, сондай-ақ оларды өңдеу мен талдаудың заманауи әдістері мен алгоритмдері болып табылады.

Aim of work (in Russian) : Целью проекта является создание свободно распространяемых программных инструментов с открытым исходным кодом для автоматической обработки текстов на казахском языке.

Aim of work (in Kazakh) : Жобаның мақсаты - қазақ тіліндегі мәтіндерді автоматты түрде өңдеу үшін коды ашық бағдарламалар жасау.

Методы исследования (на русском) : В данной работе используются методы машинного обучения, искусственных нейронных сетей и статистической обработки текстовых данных.

Методы исследования (на казахском) : Бұл жұмыста машиналық оқыту, жасанды нейрондық желілер және мәтіндік деректерді статистикалық өңдеу әдістері қолданылады.

Obtained results and novelty (in Russian) : В данной работе исследования по обработке текстов проводились по четырем направлениям – синтаксический анализатор, коррекция правописания, извлечения именных сущностей и вторичная номализация текстов на казахском языке. Был разработан синтаксический анализатор на базе искусственных нейронных сетей, который показал качество парсинга на уровне 88.62% по метрике UAS. Был разработан инструмент коррекции грамматики. Были реализованы два подхода: базовый, основанный на фонетических правилах, и усовершенствованный, основанный на обучении ансамбле деревьев решений. Была достигнута точность в диапазоне 75% – 99% (базовый) и 87% – 100% (усовершенствованный). Был разработан инструмент извлечения именных сущностей на базе искусственных нейронных сетей LSTM и CRF. Качество модели в по метике F1 составила 0.88%, что на сегодняшний день сравнимо с лучшими показателями для данной задачи. Был разработан инструмент вторичной нормализации текстов на базе искусственных нейронных сетей, который переводит реальные комментарии пользователей интернет в грамматически правильный текст на казахском языке. Качество перевода по метрике BLEU составило 29.74.

Obtained results and novelty (in Kazakh) : Бұл жұмыста мәтінді өңдеу бойынша төрт бағыт бойынша зерттеулер жүргізілді - синтаксистік талдау, орфографиялық түзету, атаулы тұлғаларды шығару және қазақ тіліндегі мәтіндердің нормалды түріне келтіру. Жасанды нейрондық желілерге негізделген талдаушы жасалды, ол UAS метрикасы бойынша 88,62% талдау сапасын көрсетті. Емлені түзету құралы жасалды. Құралда екі әдіс қолданылған: фонетикалық ережелерді қолданатын негізгі әдіс және шешім ағашы алгоритмдерінің жинағын қолданатын дамытылған әдіс. Бұл әдістер үшін келесідей дәлдік анықталды: 75% – 99% (негізгі әдіс) және 87% – 100% (дамытылған әдіс). CRF және LSTM жасанды нейрондық желілері негізінде номиналды объектілерді шығаруға арналған құрал жасалды. F1 затбелгісіндегі модельдің сапасы 0,88% -ды құрады, бұл қазіргі кезде осы тапсырма бойынша ең жақсы көрсеткіштермен салыстырылады. Интернет қолданушыларының нақты пікірлерін қазақ тіліндегі грамматикалық тұрғыдан дұрыс мәтінге айналдыратын жасанды нейрондық желілерге негізделген мәтінді қайталама қалыпқа келтіру құралы жасалды. BLEU метрикасы бойынша аударма сапасы 29,74 құрады.

The main constructive and technical economic indicators (in Russian) : Был разработан синтаксический анализатор на базе искусственных нейронных сетей, который показал качество парсинга на уровне 88.62% по метрике UAS. Был разработан инструмент коррекции грамматики. Были реализованы два подхода: базовый, основанный на фонетических правилах, и усовершенствованный, основанный на обучении ансамбле деревьев решений. Была достигнута точность в диапазоне 75% – 99% (базовый) и 87% – 100% (усовершенствованный). Был разработан инструмент извлечения именных сущностей на базе искусственных нейронных сетей LSTM и CRF. Качество модели в по метике F1 составила 0.88%, что на сегодняшний день сравнимо с лучшими показателями для данной задачи. Был разработан инструмент вторичной нормализации текстов на базе искусственных нейронных сетей, который переводит реальные комментарии пользователей интернет в грамматически правильный текст на казахском языке. Качество перевода по метрике BLEU составило 29.74.

The main constructive and technical economic indicators (in Kazakh) : Жасанды нейрондық желілерге негізделген талдаушы жасалды, ол UAS метрикасы бойынша 88,62% талдау сапасын көрсетті. Емлені түзету құралы жасалды. Құралда екі әдіс қолданылған: фонетикалық ережелерді қолданатын негізгі әдіс және шешім ағашы алгоритмдерінің жинағын қолданатын дамытылған әдіс. Бұл әдістер үшін келесідей дәлдік анықталды: 75% – 99% (негізгі әдіс) және 87% – 100% (дамытылған әдіс). CRF және LSTM жасанды нейрондық желілері негізінде номиналды объектілерді шығаруға арналған құрал жасалды. F1 затбелгісіндегі модельдің сапасы 0,88% -ды құрады, бұл қазіргі кезде осы тапсырма бойынша ең жақсы көрсеткіштермен салыстырылады. Интернет қолданушыларының нақты пікірлерін қазақ тіліндегі грамматикалық тұрғыдан дұрыс мәтінге айналдыратын жасанды нейрондық желілерге негізделген мәтінді қайталама қалыпқа келтіру құралы жасалды. BLEU метрикасы бойынша аударма сапасы 29,74 құрады.

Level of implementation (in Russian) : Все разработанные в рамках данного проекта программные модули доступны в интернете и предоставляются в виде кодов и демонстрационных веб-сервисов.

Level of implementation (in Kazakh) : Осы жоба бойынша әзірленген барлық бағдарламалық модульдер Интернетте орналастырылады және демонстрациялық веб-қызметтер түрінде беріледі.

Efficiency (in Russian) :

Efficiency (in Kazakh) :

Field of application (in Russian) : Разработанные модули могут быть применены в любой области, где востребована автоматическая обработка текстов на казахском языке, например, для поиска и извлечения информации из текста, классификации документов и неструктурированных веб-данных.

Field of application (in Kazakh) : Жасалған модульдер қазақ тіліндегі мәтіндерді автоматты түрде өңдеу қажеті бар кез келген салада, мысалы, мәтіннен ақпаратты іздеуде және ажыратуда, сонымен құжаттарды өңдеуге және құрылымдық емес веб-деректерге қолдануға болады.