The object of research, development or design (in Russian) : Современная большая языковая модель (LLM) для казахского языка, архитектура модели GPT и Llama, разработка Retrieval-Augmented Generation (RAG) платформы для казахского языка, оптимизации производительности моделей LLM

The object of research, development or design (in Kazakh) : Қазақ тіліне арналған заманауи үлкен тіл үлгісі (LLM), GPT және Llama үлгі архитектурасы, қазақ тіліне арналған Retrieval-Augmented Generation (RAG) платформасын әзірлеу, LLM үлгілерінің өнімділігін оңтайландыру.

Aim of work (in Russian) : Создание современной большой языковой модели (LLM), способствующей поддержке казахского языка, как государственного и языка межкультурного общения в РК, развитию технологий, обеспечению безопасности данных, развитию образования и совершенствованию научных исследований

Aim of work (in Kazakh) : ҚР қазақ тілін мемлекеттік тіл және мәдениетаралық қатынас тілі ретінде қолдауға, технологияны дамытуға, деректердің қауіпсіздігін қамтамасыз етуге, білім беруді дамыту және ғылыми зерттеулерді жетілдіруге ықпал ететін заманауи үлкен тілдік модельді (LLM) құру.

Методы исследования (на русском) : Технологии разработки LLM, автоматизация разметки текстовых данных для обучения моделей, применение генеративных предобученных трансформеров (GPT), оптимизация производительности языковых моделей LLM

Методы исследования (на казахском) : LLM әзірлеу технологиялары, модельдерді оқыту үшін мәтіндік деректерді белгілеуді автоматтандыру, генеративті алдын ала дайындалған трансформаторларды (GPT) пайдалану, LLM тіл үлгілерінің өнімділігін оңтайландыру

Obtained results and novelty (in Russian) : Полученные результаты за 2024 год: − Проведены исследования по обучению модели на основе архитектуры LlaMA 1,94 миллиардами параметров; − Разработаны и оптимизированы архитектуры LLM с открытым исходным кодом на основе моделей LLaMA, включая модели с 8 и 70 миллиардами параметров; − Внедрен прототип платформы Retrieval-Augmented Generation для взаимодействия между механизмом поиска и системой хранения данных; − Создан корпус объемом 400 миллионов слов на казахском языке, охватывающий различные жанры и контексты, включая литературу, научные публикации и специализированный контент; − Проведены исследования для автоматизаций анализа и разметки текстов на казахском языке на основе машинного и глубокого обучения; − Проведены исследования по распределению вычислительных нагрузок и оптимизации производительности на кластере GPU; Научной новизной полученных результатов является разработка и оптимизация архитектур LLM на базе моделей LLaMA с параметрами до 70 миллиардов, внедрение Retrieval-Augmented Generation прототипа, создание корпуса из 400 миллионов слов на казахском языке, а также проведение исследований по оптимизации вычислительных нагрузок и оптимизации производительности на кластере GPU.

Obtained results and novelty (in Kazakh) : 2024 жылға арналған нәтижелер: − 1,94 миллиард параметрі бар LlaMA архитектурасына негізделген модельді оқыту бойынша зерттеулер жүргізілді; − 8 және 70 миллиард параметрлері бар модельдерді қоса алғанда, LLaMA үлгілеріне негізделген ашық бастапқы LLM архитектуралары әзірленді және оңтайландырылды; − Іздеу жүйесі мен деректерді сақтау жүйесі арасындағы өзара әрекеттесу үшін Retrieval-Augmented Generation платформасының прототипі енгізілді; − әртүрлі жанрлар мен контексттерді, соның ішінде әдебиетті, ғылыми басылымдарды және арнайы мазмұнды қамтитын қазақ тілінде 400 миллион сөзден тұратын корпус құрылды; − Машиналық және терең оқыту негізінде қазақ тіліндегі мәтіндерді талдау мен белгілеуді автоматтандыру бойынша зерттеулер жүргізілді; − GPU кластерінде есептеу жүктемелерін бөлу және өнімділікті оңтайландыру бойынша зерттеулер жүргізілді; Алынған нәтижелердің ғылыми жаңалығы – параметрлері 70 млрд-қа дейінгі LLaMA үлгілері негізінде LLM архитектурасын әзірлеу және оңтайландыру, Retrieval-Augmented Generation прототипін енгізу, қазақ тілінде 400 миллион сөзден тұратын корпус құру, сонымен қатар кластерлік графикалық процессордағы есептеу жүктемелерін оңтайландыру және өнімділікті оңтайландыру бойынша зерттеулер жүргізу болып табылады.

The main constructive and technical economic indicators (in Russian) : 1. Создана модель с 1,94 млрд параметров, проведено эффективное дообучение для инструктивных задач, а также запущен пилотный ассистент через платформу Farabi Lab для сбора обратной связи. 2. Разработаны и оптимизированы архитектуры LLM с открытым исходным кодом на базе моделей LLaMA. 3. Создан корпус данных из 400 миллионов слов на казахском языке, прошедший предобработку и нормализацию для обучения моделей. 4. Внедрена платформа Retrieval-Augmented Generation с интеграцией систем MinIO и Elasticsearch, обеспечивающая эффективный поиск и извлечение данных.

The main constructive and technical economic indicators (in Kazakh) : 1. 1,94 миллиард параметрі бар модель жасалды, нұсқаулық тапсырмалар үшін тиімді қосымша оқыту жүргізілді және кері байланыс жинау үшін Farabi Lab платформасы арқылы пилоттық көмекші іске қосылды. 2. LLaMA үлгілеріне негізделген ашық бастапқы LLM архитектуралары әзірленді және оңтайландырылды. 3. Қазақ тіліндегі 400 миллион сөзден тұратын деректер корпусы жасалды, оқу үлгілері үшін алдын ала өңделді және қалыпқа келтірілді. 4. Retrieval-Augmented Generation платформасы тиімді іздеу мен деректерді іздеуді қамтамасыз ететін MiniIO және Elasticsearch жүйелерін біріктіру арқылы жүзеге асырылды.

Level of implementation (in Russian) :

Level of implementation (in Kazakh) :

Efficiency (in Russian) : Разработка и внедрение LLM на базе архитектуры LLaMA обеспечивает поддержку принятия решений, оптимизацию вычислительных ресурсов, автоматизацию анализа текстов, масштабируемость, развитие казахского языка и применение инновационных технологий.

Efficiency (in Kazakh) : LLaMA архитектурасына негізделген LLM әзірлеу және енгізу шешімдерді қолдауды, есептеу ресурстарын оңтайландыруды, мәтінді талдауды автоматтандыруды, масштабтауды, қазақ тілін дамытуды және инновациялық технологияларды қолдануды қамтамасыз етеді.

Field of application (in Russian) : Использование больших языковых моделей в образовательных и исследовательских целях пользователями интернет-сетей Казахстана, исследователями различных областей наук, работниками правительственных и неправительственных организаций.

Field of application (in Kazakh) : Қазақстандағы интернет желілерін пайдаланушылардың, ғылымның әртүрлі салаларындағы зерттеушілердің, мемлекеттік және үкіметтік емес ұйымдардың қызметкерлерінің білім беру және зерттеу мақсатында үлкен тілдік модельдерді пайдалануы.