The object of research, development or design (in Russian) : Объектом исследования в программе является процесс коммуникации между людьми с нарушением слуха и речи и слышащими людьми.

The object of research, development or design (in Kazakh) : Бағдарламаның зерттеу нысаны-есту және сөйлеу қабілеті бұзылған адамдар мен есту қабілеті нашар адамдар арасындағы байланыс процесі.

Aim of work (in Russian) : Целью текущего этапа программы является создание эффективных и инновационных решений для перевода устной и текстовой информации на казахско-русский жестовый язык, а также разработка инструментов, обеспечивающих обратное преобразование жестов в текст и аудио. Реализация задач данного этапа направлена на повышение доступности информации и коммуникации для людей с нарушением слуха и речи.

Aim of work (in Kazakh) : Бағдарламаның ағымдағы кезеңінің мақсаты ауызша және мәтіндік ақпаратты қазақ-орыс ымдау тіліне аудару үшін тиімді және инновациялық шешімдер жасау, сондай-ақ ым-қимылдарын мәтін мен аудиоға кері түрлендіруді қамтамасыз ететін құралдарды әзірлеу болып табылады. Осы кезеңнің міндеттерін іске асыру есту және сөйлеу қабілеті бұзылған адамдар үшін ақпарат пен коммуникацияның қолжетімділігін арттыруға бағытталған.

Методы исследования (на русском) : Методы исследования, используемые в программе, направлены на достижение поставленных целей и задач, обеспечивая интегрированный и всесторонний подход к разработке системы для облегчения коммуникации между людьми с нарушением слуха, речи и слышащими. Применяемые методы включают теоретические исследования, алгоритмическую разработку, экспериментальные исследования и анализ данных, что позволяет обеспечить комплексное решение проблемы. Сбор данных будет осуществляться с использованием MediaPipe для захвата ключевых точек рук и формирования видеодатасета жестов, а также параллельного корпуса Kazakh-KSL Gloss для текстов и соответствующих жестов. Для выбора моделей будут тестироваться различные архитектуры, такие как ResNet, YOLOv8 для жестов, Transformer и Seq2Seq для перевода текста в жесты, а также Conformer и Wav2Vec2 для распознавания речи. Оценка производительности моделей будет осуществляться с помощью метрик, таких как точность (accuracy), полнота (recall), точность (precision), F1-мера, BLEU, WER (Word Error Rate), CER (Character Error Rate) и другие

Методы исследования (на казахском) : Бағдарламада қолданылатын зерттеу әдістері есту, сөйлеу және есту қабілеті нашар адамдар арасындағы байланысты жеңілдету үшін жүйені әзірлеуге интеграцияланған және жан-жақты көзқарасты қамтамасыз ете отырып, мақсаттар мен міндеттерге қол жеткізуге бағытталған. Қолданылатын әдістерге теориялық зерттеулер, алгоритмдік даму, эксперименттік зерттеулер және деректерді талдау кіреді, бұл мәселені жан-жақты шешуге мүмкіндік береді. Деректерді жинау MEDIAPIPE көмегімен қолдың негізгі нүктелерін түсіру және қимылдардың бейне деректерін, сондай-ақ мәтіндер мен тиісті қимылдар үшін Kazakh-KSL gloss параллель корпусын қалыптастыру үшін жүзеге асырылады. Модельдерді таңдау үшін ResNet, ым-ишараға арналған YOLOv8, ым-ишараға мәтінді аудару үшін Transformer және Seq2Seq, сөйлеуді тану үшін Conformer және Wav2Vec2 сияқты әртүрлі архитектуралар тексеріледі. Модельдердің өнімділігін бағалау дәлдік (дәлдік), толықтық (қалпына келтіру), дәлдік (дәлдік), F1 өлшемі, BLEU, WER (Word Error Rate), CER (character Error Rate) және т. б. сияқты көрсеткіштер арқылы жүзеге асырылады

Obtained results and novelty (in Russian) : Научная новизна программы заключается в комплексном подходе программы, которая предполагает разработку системы, включающей перевод устной речи в жесты и обратно, преобразование жестов в текст и аудио, что обеспечит полный цикл коммуникации. Внедрение технологий в образовательные платформы обеспечит доступность учебных материалов для людей с нарушением слуха и речи. Разработан и утвержден детальный план комплексных испытаний, что позволило обеспечить объективную оценку эффективности алгоритмов с участием целевых групп пользователей. В рамках работы собраны и размечены аудио и текстовые корпуса, необходимые для обучения моделей автоматического распознавания речи (ASR) и преобразования текста в жесты. Реализованы процессы предварительной обработки данных, которые гарантируют их высокое качество и готовность к использованию в обучении нейронных сетей. Проведены исследования современных архитектур нейронных сетей, таких как Transformer и Conformer, которые продемонстрировали высокий потенциал для задач перевода речи в жесты и обратно. На основе этих результатов начата разработка модулей, способных осуществлять перевод устной речи на казахско-русский жестовый язык в реальном времени, что стало важной основой для дальнейших этапов разработки

Obtained results and novelty (in Kazakh) : Бағдарламаның ғылыми жаңалығы бағдарламаның кешенді тәсілінде жатыр, ол ауызша сөйлеуді текст-ишараға және артқа аударуды, текст-ишараны мәтін мен аудиоға түрлендіруді қамтитын жүйені дамытуды көздейді, бұл байланыстың толық циклін қамтамасыз етеді. Білім беру платформаларына технологияларды енгізу есту және сөйлеу қабілеті бұзылған адамдар үшін оқу материалдарының қолжетімділігін қамтамасыз етеді. Кешенді сынақтардың егжей-тегжейлі жоспары әзірленіп, бекітілді, бұл пайдаланушылардың нысаналы топтарының қатысуымен алгоритмдердің тиімділігін объективті бағалауды қамтамасыз етуге мүмкіндік берді. Жұмыс барысында сөйлеуді автоматты түрде тану (ASR) модельдерін үйрету және мәтінді қимылға айналдыру үшін қажетті аудио және мәтіндік корпустар жиналып, белгіленеді. Деректерді алдын-ала өңдеу процестері жүзеге асырылады, бұл олардың жоғары сапасына және нейрондық желілерді оқытуда қолдануға дайын болуына кепілдік береді. Transformer және Conformer сияқты нейрондық желілердің заманауи архитектуралары бойынша зерттеулер жүргізілді, олар сөйлеуді ым-қимылға және керісінше аудару міндеттерінің жоғары көрсеткішін көрсетті. Осы нәтижелердің негізінде ауызша сөйлеуді нақты уақыт режимінде қазақ-орыс ымдау тіліне аударуды жүзеге асыруға қабілетті модульдерді әзірлеу басталды, бұл одан әрі даму кезеңдері үшін маңызды негіз болады.

The main constructive and technical economic indicators (in Russian) : Разрабатываемая система демонстрирует высокие технические, экономические и социальные показатели, технология способствует улучшению доступа к информации и коммуникации для людей с нарушением слуха и речи, а также их интеграции в образовательные, профессиональные и социальные процессы. Проект поддерживает развитие казахского языка в цифровой среде, создавая инновационные ресурсы, которые укрепляют его позиции и способствуют развитию национальных технологий.

The main constructive and technical economic indicators (in Kazakh) : Әзірленіп жатқан жүйе жоғары техникалық, экономикалық және әлеуметтік көрсеткіштерді көрсетеді, ұсынылған технология есту және сөйлеу қабілеті нашар адамдар үшін ақпарат пен коммуникацияға қолжетімділікті жақсартуға, сондай-ақ олардың білім беру, кәсіби және әлеуметтік процестерге интеграциялануына ықпал етеді. Жоба қазақ тілін цифрлық ортада дамытуды қолдайды, оның ұстанымын нығайтатын және ұлттық технологиялардың дамуына ықпал ететін инновациялық ресурстар жасайды.

Level of implementation (in Russian) : Внедрение результатов программы находится на стадии разработки, получено авторское свидетельство, что подтверждает эффективность системы и признание её в качестве объекта интеллектуальной собственности.

Level of implementation (in Kazakh) : Бағдарлама нәтижелерін енгізу даму сатысында, авторлық куәлік алынды, бұл жүйенің тиімділігін және оны зияткерлік меншік объектісі ретінде тануды растайды.

Efficiency (in Russian) : Увеличение доступности информации и улучшение коммуникации для людей с нарушением слуха и речи, что способствует их социальной и профессиональной интеграции. Разработанные модели и алгоритмы представляют собой инновационное решение, которое сочетает современные подходы машинного обучения с учетом специфики жестовых языков. Созданный корпус данных на казахском и русском языках является уникальным ресурсом для последующих исследований в области обработки естественного языка и инклюзивных технологий.

Efficiency (in Kazakh) : Есту және сөйлеу қабілеті нашар адамдар үшін ақпараттың қолжетімділігін арттыру және коммуникацияны жақсарту, бұл олардың әлеуметтік және кәсіби интеграциясына ықпал етеді. Әзірленген модельдер мен алгоритмдер жестау тілдерінің ерекшеліктерін ескере отырып, машиналық оқытудың заманауи тәсілдерін біріктіретін инновациялық шешім болып табылады. Қазақ және орыс тілдерінде құрылған деректер корпусы табиғи тілді өңдеу және инклюзивті технологиялар саласындағы кейінгі зерттеулер үшін бірегей ресурс болып табылады.

Field of application (in Russian) : реабилитация и поддержка людей с нарушением слуха и речи, образование и профессиональное обучение для лиц с ограниченными возможностями, медицинская и социальная поддержка для улучшения качества жизни, развитие инклюзивной среды в общественных и рабочих пространствах, автоматизация коммуникации и адаптация информационных систем для нужд людей с нарушением слуха и речи.

Field of application (in Kazakh) : есту және сөйлеу қабілеті нашар адамдарды оңалту және қолдау, мүмкіндігі шектеулі жандарға білім беру және кәсіптік оқыту, өмір сүру сапасын жақсарту үшін медициналық және әлеуметтік қолдау, қоғамдық және жұмыс кеңістіктерінде Инклюзивті ортаны дамыту, коммуникацияны Автоматтандыру және есту және сөйлеу қабілеті нашар адамдардың қажеттіліктері үшін ақпараттық жүйелерді бейімдеу