The object of research, development or design (in Russian) : Большие языковые модели

The object of research, development or design (in Kazakh) : Үлкен тілдік модельдер

Aim of work (in Russian) : Повышение производительности вопросно-ответных моделей на казахском языке и снижение стоимости их разработки за счет оптимизации и точной настройки больших предобученных мультиязычных моделей.

Aim of work (in Kazakh) : Көптілді алдын-ала оқытылған үлкен модельдерді дәл баптау және оңтайландыру арқылы қазақ тіліндегі сұрақ-жауап модельдерінің өнімділігін арттыру және олардың бағасын төмендету.

Методы исследования (на русском) : В исследовании применялись современные методы обучения и оптимизации многоязычных моделей на основе архитектуры RoBERTa, специально адаптированных для казахского языка. Были тщательно проанализированы и выбраны оптимальные модели, подготовлены соответствующие наборы данных (KazQAD, NQ-Translate-KK, kz-transformers/multidomain-kazakh-dataset и другие), а также разработаны стратегии обучения с использованием продвинутых оптимизаторов и планировщиков скорости обучения, таких как OneCycleLR с фазой разогрева. Обучение проводилось на высокопроизводительных графических процессорах NVIDIA A100 для эффективной обработки больших объёмов данных.

Методы исследования (на казахском) : Зерттеуде қазақ тіліне арнайы бейімделген RoBERTa архитектурасына негізделген модельдерді оқыту және оңтайландырудың заманауи әдістері қолданылды. Оңтайлы модельдер мұқият талданып таңдалды, сәйкес деректер жиынтықтары (KazQAD, NQ-Translate-KK, kz-transformers/multidomain-kazakh-dataset және басқалар) дайындалды, сондай-ақ оқытудың озық оптимизаторлары мен қыздыру фазасымен OneCycleLR сияқты оқыту жылдамдығының жоспарлаушыларын пайдаланып оқыту стратегиялары жасалды. Үлкен көлемдегі деректерді тиімді өңдеу үшін оқыту NVIDIA A100 жоғары өнімді графикалық процессорларында жүргізілді.

Obtained results and novelty (in Russian) : В результате были успешно разработаны и оптимизированы казахские модели на основе RoBERTa, такие как roberta-kaz-large и roberta-large-kazqad, которые показали высокую производительность и точность в задачах вопрос-ответ и ранжирования. Новизна работы заключается в эффективном применении современных методов обучения и оптимизации к малопредставленному казахскому языку, а также в создании специализированных наборов данных и моделей, способствующих улучшению качества обработки естественного языка для этого языка.

Obtained results and novelty (in Kazakh) : Зерттеу нәтижесінде сұрақ-жауап және ранжирование тапсырмаларында жоғары өнімділік пен дәлдік көрсеткен roberta-kaz-large және roberta-large-kazqad сияқты RoBERTa негізіндегі қазақ модельдері сәтті жасалып, оңтайландырылды. Жұмыстың жаңалығы аз таралған қазақ тіліне заманауи оқыту және оңтайландыру әдістерін тиімді қолдануда, сондай-ақ осы тілдің табиғи тілді өңдеу сапасын жақсартуға ықпал ететін арнайы деректер жиынтықтары мен модельдерді жасауда болып табылады.

The main constructive and technical economic indicators (in Russian) : Разработанные модели содержат 354 миллиона параметров и были обучены на графических процессорах NVIDIA A100, что обеспечило эффективное использование вычислительных ресурсов и сократило время обучения. Применение продвинутых методов оптимизации и планирования скорости обучения позволило достичь высокой точности при оптимальных затратах, делая модели пригодными для практического применения в реальных условиях.

The main constructive and technical economic indicators (in Kazakh) : Жасалған модельдер 354 миллион параметрден тұрады және есептеу ресурстарын тиімді пайдаланып, оқыту уақытын қысқартқан NVIDIA A100 графикалық процессорларында оқытылды. Оңтайландырудың және оқыту жылдамдығын жоспарлаудың озық әдістерін қолдану жоғары дәлдікке қол жеткізуге мүмкіндік беріп, модельдерді нақты жағдайларда практикалық қолдануға жарамды етті.

Level of implementation (in Russian) :

Level of implementation (in Kazakh) :

Efficiency (in Russian) : Высокая

Efficiency (in Kazakh) : Жоғары

Field of application (in Russian) : Приложения искусственного интеллекта, интеллектуальные информационные системы, человеко-машинные интерфейсы.

Field of application (in Kazakh) : Жасанды интеллект қолданбалары, интеллектуалды ақпараттық жүйелер, адам мен машина интерфейстері.