The object of research, development or design (in Russian) : Современные методы и технологии обработки естественного языка

The object of research, development or design (in Kazakh) : Табиғи тілді өңдеудің заманауи әдістері мен технологиялары

Aim of work (in Russian) : Целью данных исследований является разработка методов, алгоритмов и инструментальных средств для создания эффективных систем обучения казахскому языку с использованием систем искусственного интеллекта

Aim of work (in Kazakh) : Бұл зерттеулердің мақсаты – жасанды интеллект жүйелерін пайдалана отырып, қазақ тілін оқытудың тиімді жүйесін құрудың әдістерін, алгоритмдерін және құралдарын әзірлеу.

Методы исследования (на русском) : Методы и программные средства по обработке естественного языка, формальные грамматики, модели машинного обучения

Методы исследования (на казахском) : Табиғи тілді өңдеуге арналған әдістер мен бағдарламалық қамтамасыз ету, формальды грамматика, машиналық оқыту модельдері.

Obtained results and novelty (in Russian) : По задачам проекта были выполнены следующие работы и получены результаты: • Сбор текстовых данных с применением системы скрайпинга материалов, автоматизированное получение данных из интернета по интересующей тематике. • Разработан метода выравнивания параллельного корпуса. • Разработан морфологический анализатор для казахского языка на основе машинного обучения; • Разработан нейронный машинный перевода для англо-казахской и русско-казахской языковой пары, на основе RNN, BRNN и Transformer моделей; • Разработан подхода распознавания и синтеза речи государственного языка, на основе машинного обучения (BLSTM, ResNet); • Представлены практические результаты по разработке архитектуры и прототипа системы. По результатам выполнения проекта за 2021-2023 года опубликованы 26 публикации: в зарубежных изданиях, индексируемые в базах данных WoS и/или Scopus - 6 публикации; в отечественных изданиях, рекомендуемые КОКСОН МОН РК – 2 публикации. Опубликована одна монография в отечественном издании. Получены 3 авторских свидетельства на разработанные программы ЭВМ.

Obtained results and novelty (in Kazakh) : Жобаның мақсаттарына сәйкес келесі жұмыстар жүргізілді және нәтижелер алынды: • Материалды скрепинг жүйесін пайдалана отырып, мәтіндік деректерді жинау, қызықтыратын тақырыптар бойынша интернеттен деректерді автоматты түрде алу. • Параллельді корпусты теңестірудің әдісі әзірленді. • Машиналық оқыту негізінде қазақ тіліне арналған морфологиялық анализатор жасалды; • RNN, BRNN және Transformer үлгілеріне негізделген ағылшын-қазақ және орыс-қазақ тіл жұптары үшін нейронды машиналық аудармасы әзірленді; • Мемлекеттік тілде сөйлеуді тану және синтезі үшін машиналық оқытуға негізделген тәсіл әзірленді (BLSTM, ResNet); • Жүйенің архитектурасы мен прототипін әзірлеу бойынша тәжірибелік нәтижелер ұсынылған. 2021-2023 жылдарға арналған жобаның қорытындысы бойынша 26 жарияланым жарияланды: шетелдік басылымдарда – WoS және/немесе Scopus деректер базасында индекстелген жарияланымдар – 6 жарияланым; ҚР БҒМ СҚЕК ұсынған отандық басылымдарда – 2 мақала. Бір монографиясы отандық басылымда жарияланған. Компьютерлік бағдарламаларға жасалған 3 авторлық куәлігі алынды.

The main constructive and technical economic indicators (in Russian) : Расходование средств финансирования производится согласно утвержденной смете.

The main constructive and technical economic indicators (in Kazakh) : Қаражат жұмсауы бекітілген құжатқа сәйкес жүргізіледі.

Level of implementation (in Russian) : Результаты научно-исследовательской работы, выполненные в рамках данного проекта, были апробированы и внедрены в учебный процесс дисциплин образовательной магистерской программы 7М06101-«Вычислительная лингвистика» КазНУ им. Аль Фараби, 7М06101-«Программная инженерия» и 7М07204-«Технология и инжиниринг пищевых производств» Международного Инженерно-Технологического Университета. Получены акты внедрения.

Level of implementation (in Kazakh) : Осы жоба аясында жүргізілген ғылыми-зерттеу жұмыстарының нәтижелері сынақтан өткізіліп, Әл Фараби атындағы ҚазҰУ-дың 7М06101 – «Есептеуіш лингвистика», Халықаралық инженерлік-технологиялық университеттің 7M06101-«Бағдарламалық қамтамасыз ету инженериясы» және 7M07204-«Тамақ өнімдері өндірісінің технологиясы және инженериясы» білім беру магистратура бағдарламасының пәндері бойынша оқу үдерісіне енгізілді. Іске асыру және енгізу актілері алынды.

Efficiency (in Russian) : Разработанные алгоритмы и подходы были программно протестированы и эффективность результатов были оценены специальными метриками BLEU, TER и WER. Разработана технология (модели, алгоритмы и электронные ресурсы) для системы обработки с применением подхода нейронного и губкового обучения, адаптированные под особенности казахского языка. Применимость разработанной технологией представлена прототипом информационной системы по обработке и обучению казахского языка.

Efficiency (in Kazakh) : Әзірленген алгоритмдер мен тәсілдер бағдарламалық жасақтамалық сынақтан өтті және нәтижелердің тиімділігі BLEU, TER және WER арнайы метрикасының көмегімен бағаланды. Қазақ тілінің ерекшеліктеріне бейімделген нейрондық және терең оқыту тәсілін қолданатын өңдеу жүйесі үшін технология (модельдер, алгоритмдер және электрондық ресурстар) әзірленді. Жасалған технологияның қолдану мүмкіндігі қазақ тілін өңдеу және оқытудың ақпараттық жүйесінің прототипімен ұсынылған.

Field of application (in Russian) : Полученные результаты научно-технической деятельности могут быть применены в научно исследовательских работах, а так же при анализе, обработке текстовых материалов и обучению казахскому языку в любых сферах деятельности.

Field of application (in Kazakh) : Ғылыми-техникалық қызметтің алынған нәтижелерін ғылыми-зерттеу жұмыстарында, сондай-ақ мәтіндік материалдарды талдау, өңдеу және қызметтің кез келген саласында қазақ тілін оқытуда қолданыла алады.