The object of research, development or design (in Russian) : Объектом исследования является процесс разработка многоязычных и мультимодальных методов и алгоритмов преобразования речи в речь для академических лекций и бесед.

The object of research, development or design (in Kazakh) : Зерттеу объектісі академиялық лекциялар мен баяндамалар үшін сөйлеуді сөйлеуге түрлендірудің көптілді және мультимодальды әдістері мен алгоритмдерін әзірлеу процесі болып табылады.

Aim of work (in Russian) : Целью проекта является разработка многоязычных и мультимодальных методов и алгоритмов преобразования речи в речь для академических лекций и бесед. В качестве исходного предположения мы рассматриваем ситуацию, когда презентация или слайды представлены на казахском, русском или английском языке, а речь докладчика – на казахском языке.

Aim of work (in Kazakh) : Жобаның мақсаты – академиялық лекциялар мен баяндамалар үшін көптілді және мультимодальды сөйлеуді сөйлеуге түрлендіру әдістері мен алгоритмдерін әзірлеу. Бастапқы болжам ретінде презентация немесе слайдтар қазақ, орыс немесе ағылшын тілдерінде ұсынылып, баяндамашының сөзі қазақ тілінде болған жағдайды қарастырамыз.

Методы исследования (на русском) : В работе используются контролируемые и неконтролируемые методы машинного обучения, искусственные нейронные сети.

Методы исследования (на казахском) : Жұмыста машиналық оқытудың бақыланатын және бақыланбайтын әдістері, жасанды нейрондық желілер қолданылады.

Obtained results and novelty (in Russian) : Значимость работы заключается в создании методов и алгоритмов перевода речи с использованием немаркированных аудио- и текстовых данных, а также предварительно обученных моделей.

Obtained results and novelty (in Kazakh) : Жұмыстың маңыздылығы таңбаланбаған аудио және мәтіндік деректерді, сондай - ақ алдын-ала дайындалған модельдерді қолдана отырып, сөйлеуді аудару әдістері мен алгоритмдерін құру болып табылады.

The main constructive and technical economic indicators (in Russian) : 60-часовой аннотированный аудиокорпус по ИТ-темам для адаптации (fine-tuning) предобученной модели распознавания казахской речи; текстовый корпус объемом 20 000 параллельных троек предложений на казахском, русском и английском языках по ИТ тематике для адаптации (fine-tuning) предобученной модели многоязычного казахско- русско-английского перевода; наборы данных, содержащие 50000 изображений текстовых строк для разработки отдельных моделей оптического распознавания символов казахского, русского и английского языков

The main constructive and technical economic indicators (in Kazakh) : Алдын ала дайындалған қазақша сөйлеуді тану моделін дәл баптау үшін АТ тақырыптары бойынша 60 сағаттық аннотацияланған аудио корпус; көптілді қазақша-орысша-ағылшынша аударманың алдын ала дайындалған моделін дәл баптау үшін АТ тақырыптары бойынша қазақ, орыс және ағылшын тілдеріндегі 20 000 параллельді үш сөйлемнен тұратын мәтіндік корпус; қазақ, орыс және ағылшын тілдері үшін таңбаларды тануының жеке оптикалық моделін әзірлеу үшін мәтіндік жолдардың 50 000 кескінін қамтитын деректер жиыны

Level of implementation (in Russian) : На данном этапе внедрение не предусмотрено

Level of implementation (in Kazakh) : Бұл кезеңде ендіру жоспарланбаған

Efficiency (in Russian) : Исследования, выполняемые в рамках настоящего научного проекта, обладают высокой экономической, социальной и индустриальной важностью, поскольку при дальнейшем изучении и внедрении результаты могут быть использованы для решения прикладных задач, связанных с разработкой систем перевода речи для родственных языков (узбекский, кыргызский) и других языков с ограниченными ресурсами.

Efficiency (in Kazakh) : Осы ғылыми жоба аясында жүргізілген зерттеулердің жоғары экономикалық, әлеуметтік және өндірістік маңызы бар, өйткені одан әрі зерттеу және енгізу кезінде алынған нәтижелер туыстас тілдер (өзбек, қырғыз) және басқа да ресурстары шектеулі тілдер үшін сөйлеуді аудару жүйесін дамытуға қатысты қолданбалы мәселелерді шешу үшін пайдаланылуы мүмкін.

Field of application (in Russian) : Полученные результаты и разработанные модели нейронных сетей, а также программы могут быть использованы при разработке систем перевода речи.

Field of application (in Kazakh) : Алынған нәтижелер мен әзірленген нейрондық желі үлгілері, сондай-ақ бағдарламалар сөйлеуді аудару жүйелерін әзірлеуде пайдаланылуы мүмкін.