The object of research, development or design (in Russian) : Большие языковые модели

The object of research, development or design (in Kazakh) : Үлкен тілдік модельдер

Aim of work (in Russian) : Повышение производительности вопросно-ответных моделей на казахском языке и снижение стоимости их разработки за счет оптимизации и точной настройки больших предобученных мультиязычных моделей.

Aim of work (in Kazakh) : Көптілді алдын-ала оқытылған үлкен модельдерді дәл баптау және оңтайландыру арқылы қазақ тіліндегі сұрақ-жауап модельдерінің өнімділігін арттыру және олардың бағасын төмендету.

Методы исследования (на русском) : Использована поэтапная методика: адаптация и дообучение предварительно выбранных мультиязычных и казахскоязычных трансформеров на корпусе казахских вопросов с отбором профильных эмбеддингов и конфигураций классификаторов. Проведено сравнительное тестирование моделей для задач определения намерения, эмоциональной окраски и тематической категоризации, обеспечив единый протокол оценки для корректного сопоставления архитектур. Для длинных контекстов применены архитектуры с «памятью» (добавление рекуррентных слоёв к выходам трансформеров, Longformer, внешние банки признаков) с анализом их вклада в устойчивость классификации. Дополнительно выполнены эксперименты в режимах closed-book и Retrieval-Augmented Generation для оценки влияния внешнего контекста на корректность и надёжность ответов.

Методы исследования (на казахском) : Кезеңдік тәсіл қолданылды: алдын ала таңдалған көптілді және қазақ тіліндегі трансформаторларды қазақ сұрақтары корпусына бейімдеу және одан әрі оқыту, мамандандырылған ендірулер мен жіктеуіш конфигурацияларын таңдау. Ниетті анықтау, сезім және тақырыптық жіктеу үшін модельдерді салыстырмалы тестілеу жүргізілді, бұл архитектураларды дұрыс салыстыру үшін бірыңғай бағалау хаттамасын қамтамасыз етті. Ұзақ контексттер үшін «жады» бар архитектуралар (трансформатор шығыстарына, Longformer және сыртқы мүмкіндіктер банктеріне қайталанатын қабаттарды қосу) пайдаланылды, олардың жіктеу тұрақтылығына қосқан үлесі талданды. Сонымен қатар, сыртқы контексттің жауаптардың дұрыстығы мен сенімділігіне әсерін бағалау үшін жабық кітапта және іздеу арқылы кеңейтілген генерация режимдерінде эксперименттер жүргізілді.

Obtained results and novelty (in Russian) : Разработан и апробирован комплекс методов семантической классификации контекстов вопросов для казахского языка с интеграцией механизмов памяти (Longformer, memory-augmented transformers), что дало прирост точности на 3–5% относительно базовых трансформеров. Выполнен сравнительный анализ мультиязычных и казахских моделей (XLM-R, RoBERTa-Kaz, Llama-1.9B-kaz и др.) для задач определения намерения, эмоциональной окраски и тематики; показана эффективность подходов с привлечением внешнего контекста (RAG) для снижения галлюцинаций и повышения точности ответов. Проведены эксперименты по выбору оптимальных эмбеддингов и их интеграции с классификаторами; результаты подкреплены публикациями на международных конференциях и в журналах.

Obtained results and novelty (in Kazakh) : Қазақ тілі үшін сұрақ контексттерін семантикалық жіктеуге арналған әдістер жиынтығы әзірленіп, сынақтан өткізілді, есте сақтау механизмдерін біріктірді (Longformer, жады кеңейтілген трансформаторлар), нәтижесінде негізгі трансформаторлармен салыстырғанда дәлдік 3-5%-ға артты. Ниетті, эмоционалды бояуды және тақырыпты анықтайтын тапсырмалар үшін көптілді және қазақ модельдерінің (XLM-R, RoBERTa-Kaz, Llama-1.9B-kaz және т.б.) салыстырмалы талдауы жүргізілді. Галлюцинацияларды азайту және жауап дәлдігін арттырудағы сыртқы контекстті (RAG) қамтитын тәсілдердің тиімділігі көрсетілді. Оңтайлы енгізулерді таңдау және оларды жіктеуіштермен біріктіру үшін эксперименттер жүргізілді; нәтижелер халықаралық конференциялар мен журналдардағы жарияланымдармен расталады.

The main constructive and technical economic indicators (in Russian) : Оптимизирован контур поиска и интегрирован единый RAG-конвейер на базе плотных векторных представлений, пригодный для последующей эксплуатации и оценки качества QA. Проведено сравнение мультиязычных и казахских трансформеров для задач идентификации намерения, эмоциональной окраски и тематики; сформирован технологический стек для воспроизводимой сборки и тестирования. Выбранные решения ориентированы на масштабирование и переносимость: модели дообучаются под доменные корпуса и встраиваются в производственный контур без изменений пользовательских интерфейсов.

The main constructive and technical economic indicators (in Kazakh) : Іздеу циклі оңтайландырылды және тығыз векторлық көріністерге негізделген бірыңғай RAG құбыры біріктірілді, ол кейінгі жұмыс істеу және сапаны бағалау үшін жарамды. Көптілді және қазақ тіліндегі трансформаторлар ниет, сезім және субъектіні анықтау тапсырмалары үшін салыстырылды; қайталанатын құрастыру және сынау үшін технологиялық стек жасалды. Таңдалған шешімдер масштабталу мен тасымалдануға бағытталған: модельдер доменге тән корпустар үшін қосымша оқытылады және пайдаланушы интерфейстерін өзгертпей өндірістік құбырға біріктіріледі.

Level of implementation (in Russian) :

Level of implementation (in Kazakh) :

Efficiency (in Russian) : Высокая

Efficiency (in Kazakh) : Жоғары

Field of application (in Russian) : Приложения искусственного интеллекта, интеллектуальные информационные системы, человеко-машинные интерфейсы.

Field of application (in Kazakh) : Жасанды интеллект қолданбалары, интеллектуалды ақпараттық жүйелер, адам мен машина интерфейстері.