The object of research, development or design (in Russian) : Объектом исследования в программе является процесс коммуникации между людьми с нарушением слуха и речи и слышащими людьми.

The object of research, development or design (in Kazakh) : Зерттеу бағдарламасындағы нысан – есту және сөйлеу қабілеті бұзылған адамдар мен еститін адамдар арасындағы коммуникация процесі.

Aim of work (in Russian) : Целью текущего этапа программы является комплексная разработка и адаптация алгоритмов искусственного интеллекта и компьютерного зрения, направленных на обеспечение высокоточной идентификации и семантической интерпретации жестов казахского жестового языка в контексте их генерации 3D-аватарами. В рамках данного этапа также предусматривается создание системы синхронного перевода текстовой информации в жестовый язык, а также разработка системы автоматического распознавания речи на казахском языке с использованием современной нейронной архитектуры Conformer. Завершающим компонентом этапа является проведение всесторонней оценки качества и эффективности разработанных решений на основе установленных метрик точности, полноты и релевантности.

Aim of work (in Kazakh) : Ағымдағы кезеңнің мақсаты – 3D-аватарлар арқылы қазақ тілі ымдарының жоғары дәлдікпен танылуын және мағыналық интерпретациясын қамтамасыз етуге бағытталған жасанды интеллект пен компьютерлік көру алгоритмдерін кешенді түрде әзірлеу және бейімдеу. Бұл кезең аясында мәтіндік ақпаратты ым тіліне синхронды түрде аударатын жүйені құру, сондай-ақ қазіргі заманғы Conformer нейрондық архитектурасын пайдалана отырып, қазақ тіліндегі сөйлеуді автоматты түрде тану жүйесін әзірлеу де көзделген. Кезеңнің соңғы бөлігі – әзірленген шешімдердің сапасы мен тиімділігін дәлдік, толықтық және релеванттылық көрсеткіштері негізінде жан-жақты бағалау болып табылады.

Методы исследования (на русском) : Методы исследования, используются методы глубокого обучения, включая рекуррентные нейросети LSTM для анализа последовательностей ключевых точек, детектированных YOLOv8, а также мультимодальный подход с применением кластеризации для непрерывного распознавания жестов.

Методы исследования (на казахском) : Зерттеу әдістері ретінде терең оқыту әдістері қолданылады, соның ішінде YOLOv8 арқылы анықталған негізгі нүктелер тізбектерін талдау үшін LSTM рекурренттік нейрондық желілері, сондай-ақ ымдарды үздіксіз тануға арналған кластерлеуді қолданатын мультимодальды тәсіл пайдаланылады.

Obtained results and novelty (in Russian) : Результаты за отчетный период: были разработаны, реализованы и апробированы алгоритмы автоматического распознавания жестов и их преобразования в текстовую и аудиоформу; подготовлен специализированный корпус КЖЯ из 2000 глосс и видеозаписей с профессиональными сурдопереводчикам; реализован модуль Text-to-Gloss, учитывающий морфосинтаксис КЖЯ и генерирующий корректные глоссовые последовательности; разработан алгоритм преобразования ключевых точек движений в анимацию 3D-аватара; собран и обработан корпус аудиоданных объемом 396 часов, записанных в естественных условиях; проведена автоматизированная очистка с устранением шума, ошибок разметки и лишних символов; обучена модель распознавания речи с использованием энкодера Conformer.  

Obtained results and novelty (in Kazakh) : Есептік кезеңдегі нәтижелер: Ымдарды автоматты түрде тану және оларды мәтіндік әрі аудио формаға түрлендіру алгоритмдері әзірленіп, жүзеге асырылып және апробациядан өткізілді; Кәсіби сурд-аудармашылардың қатысуымен 2000 глосс пен бейнежазбадан тұратын қазақтың ым тілі (КЖЯ) бойынша мамандандырылған корпус дайындалды; КЖЯ-ның морфосинтаксистік ерекшеліктерін ескеретін және дұрыс глосс тізбектерін қалыптастыратын Text-to-Gloss модулі жүзеге асырылды; Қозғалыстың негізгі нүктелерін 3D-аватар анимациясына түрлендіретін алгоритм әзірленді; Табиғи жағдайларда жазылған 396 сағаттық аудиодеректер корпусы жиналып, өңделді; Шуды, белгілеу қателіктерін және артық символдарды жоятын автоматтандырылған тазалау жүргізілді; Conformer энкодерін қолдана отырып, сөйлеуді тану моделі үйретілді.

The main constructive and technical economic indicators (in Russian) : Разрабатываемая система демонстрирует высокие технические, экономические и социальные показатели, технология способствует улучшению доступа к информации и коммуникации для людей с нарушением слуха и речи, а также их интеграции в образовательные, профессиональные и социальные процессы. Проект поддерживает развитие казахского языка в цифровой среде, создавая инновационные ресурсы, которые укрепляют его позиции и способствуют развитию национальных технологий.

The main constructive and technical economic indicators (in Kazakh) : Әзірленіп жатқан жүйе жоғары техникалық, экономикалық және әлеуметтік көрсеткіштерді көрсетеді, ұсынылған технология есту және сөйлеу қабілеті нашар адамдар үшін ақпарат пен коммуникацияға қолжетімділікті жақсартуға, сондай-ақ олардың білім беру, кәсіби және әлеуметтік процестерге интеграциялануына ықпал етеді. Жоба қазақ тілін цифрлық ортада дамытуды қолдайды, оның ұстанымын нығайтатын және ұлттық технологиялардың дамуына ықпал ететін инновациялық ресурстар жасайды.

Level of implementation (in Russian) : Внедрение результатов программы находится на стадии разработки, получено авторское свидетельство, что подтверждает эффективность системы и признание её в качестве объекта интеллектуальной собственности.

Level of implementation (in Kazakh) : Бағдарлама нәтижелерін енгізу даму сатысында, авторлық куәлік алынды, бұл жүйенің тиімділігін және оны зияткерлік меншік объектісі ретінде тануды растайды.

Efficiency (in Russian) : Повышение доступности информации и улучшение взаимодействия для людей с нарушением слуха и речи способствует их более полной социальной и профессиональной интеграции. Разработанные алгоритмы и модели представляют собой передовое технологическое решение, объединяющее современные методы машинного обучения с учетом лингвистических особенностей жестовых языков. Созданный корпус данных на казахском и русском языках представляет собой ценный и уникальный ресурс, открывающий новые возможности для исследований в области обработки естественного языка и развития инклюзивных технологий.

Efficiency (in Kazakh) : Ақпараттың қолжетімділігін арттыру және есту мен сөйлеу қабілеті бұзылған адамдармен тиімді коммуникация орнату – олардың әлеуметтік және кәсіби тұрғыда толыққанды интеграциялануына ықпал етеді. Әзірленген алгоритмдер мен модельдер – ым тілдерінің лингвистикалық ерекшеліктерін ескере отырып, заманауи машиналық оқыту әдістерін біріктіретін озық технологиялық шешім болып табылады. Қазақ және орыс тілдерінде құрылған деректер корпусы – табиғи тілді өңдеу және инклюзивті технологияларды дамыту бағытындағы болашақ зерттеулер үшін бірегей әрі құнды ресурс болып саналады.

Field of application (in Russian) : реабилитация и поддержка людей с нарушением слуха и речи, образование и профессиональное обучение для лиц с ограниченными возможностями, медицинская и социальная поддержка для улучшения качества жизни, развитие инклюзивной среды в общественных и рабочих пространствах, автоматизация коммуникации и адаптация информационных систем для нужд людей с нарушением слуха и речи.

Field of application (in Kazakh) : есту және сөйлеу қабілеті нашар адамдарды оңалту және қолдау, мүмкіндігі шектеулі жандарға білім беру және кәсіптік оқыту, өмір сүру сапасын жақсарту үшін медициналық және әлеуметтік қолдау, қоғамдық және жұмыс кеңістіктерінде Инклюзивті ортаны дамыту, коммуникацияны Автоматтандыру және есту және сөйлеу қабілеті нашар адамдардың қажеттіліктері үшін ақпараттық жүйелерді бейімдеу