Inventory number | IRN | Number of state registration |
---|---|---|
0223РК00019 | AP09058174-OT-23 | 0121РК00396 |
Document type | Terms of distribution | Availability of implementation |
Заключительный | Gratis | Number of implementation: 0 Not implemented |
Publications | ||
Native publications: 0 | ||
International publications: 4 | Publications Web of science: 2 | Publications Scopus: 3 |
Number of books | Appendicies | Sources |
1 | 3 | 23 |
Total number of pages | Patents | Illustrations |
70 | 0 | 7 |
Amount of funding | Code of the program | Table |
17920907.2 | AP09058174 | 1 |
Name of work | ||
Разработка языконезависимых самообучающихся методов смыслового анализа больших массивов текстовых данных | ||
Report title | ||
Type of work | Source of funding | The product offerred for implementation |
Applied | Метод, способ,Модель | |
Report authors | ||
Мусабаев Рустам Рафикович , Төлеу Алымжан , Төлеген Гүлмира , | ||
0
0
0
0
|
||
Customer | МНВО РК | |
Information on the executing organization | ||
Short name of the ministry (establishment) | МНВО РК | |
Full name of the service recipient | ||
РГП на ПХВ "Институт информационных и вычислительных технологий" МОН РК | ||
Abbreviated name of the service recipient | ИИВТ | |
Abstract | ||
Объектом исследования является корпус больших текстовых данных на естественном языке и методы машинного самообучения, применяемые для его смыслового анализа. Зерттеу обьектісі – табиғи тілдегі үлкен ауқымды мәтіндік корпустер және оны семантикалық талдау үшін қолданылатын машиналық өзін-өзі оқыту (self-learning) әдістері. Целью данной работы является разработка высокоэффективных самообучающихся алгоритмов смыслового анализа текстовых данных, оптимизированных для применения к Big Data и High Performance Computing. Бұл жұмыстың мақсаты - Big Data және High Performance Computing қолданбасы реттінде мәтіндік деректерді семантикалық талдау жасайтын, тиімділігі жоғары және оңтайландырылған өзін-өзі оқыту алгоритмдерін әзірлеу. Для достижения цели и решения задач исследования на каждом этапе работ применялись различные методы и подходы, такие как: компьютерная лингвистика, дистрибутивная семантика, корпусная лингвистика, методы распознавания образов, машинное обучение. Жұмыстың мақсаты мен оның әр кезеңіндегі зерттеу мәселелерін шешу үшін әртүрлі әдістер мен тәсілдер қолданылды, мысалы: есептеу лингвистикасы, дистрибутивтік семантика, корпус лингвистикасы, үлгіні тану әдістері, машиналық оқыту. Получены следующие основные результаты: Получены результаты по оптимизации разработанных алгоритмов на основе передовых технологий высокопроизводительных вычислений и их инкапсуляция в единую open source библиотеку. Полученные результаты обладают новизной, соответствуют текущему уровню научно-технического развития и основаны на последних достижениях в области обработки данных на естественном языке, дистрибутивной семантики. Алынған негізгі нәтижелер: Жетілдірілген жоғары өнімді есептеу технологиялары негізінде әзірленген алгоритмдерді оңтайландыру және оларды бір ашық бастапқы кітапханаға инкапсуляциялау бойынша нәтижелер алынды; Алынған нәтижелер жаңа, ғылыми-техникалық дамудың қазіргі деңгейіне сәйкес келеді және табиғи тілде деректерді өңдеу, дистрибутивтік семантика саласындағы соңғы жетістіктерге негізделген. Основными показателями являются новые эффективные языконезависимые самообучающиеся алгоритмы построения контекстно-зависимых эмбеддингов для слов, предложений и документов на основе методов дистрибутивной семантики в рамках концепции Big Data. Осуществлена программная реализация разработанных алгоритмов на языке программирования Python и библиотеки для высокопроизводительных вычислений Numba. Негізгі көрсеткіштер – жаңа, тиімді, және тілге тәуелсіз өзін-өзі оқыту алгоритмдері. Ол Big Data тұжырымдамасы аясында дистрибутивтік семантика әдістеріне негізделген сөздер, сөйлемдер және құжаттар үшін контекстке сезімтал эмбеддинг құруға арналған. Бағдарламалық қамтамасыз ету жағы, Python бағдарламалау тілінде және Numba атты өнімділігі жоғары есептеулер кітапханасында жүзеге асырылды. Результаты НИР использованы при разработке единого Unsupervised Natural Language Processing Pipeline. Все выполненные работы направлены на получение единого конечного результата в виде разработанной программной библиотеки. Ғылыми зерттеудің нәтижелері біртұтас Unsupervised Natural Language Processing Pipeline әзірлеуде пайдаланылды. Барлық орындалған жұмыстар әзірленген бағдарламалық кітапхана түріндегі бір түпкілікті нәтиже алуға бағытталған. Все разработанные методы были экспериментально апробированы на сформированном наборе больших текстовых данных. Получены численные оценки, подтверждающие эффективность разработанных алгоритмов формирования контекстных эмбеддингов. Барлық әзірленген әдістер үлкен мәтіндік деректердің генерацияланған жиынында эксперименталды түрде тексерілді. Контекстік эмбеддинг қалыптастыру үшін әзірленген алгоритмдердің тиімділігін растайтын сандық тексерулер жасалды. Разработанные алгоритмы могут применяться в составе информационных систем автоматического смыслового анализа больших текстовых данных. Әзірленген алгоритмдер үлкен мәтіндік мәліметтерді автоматты түрде семантикалық талдауға арналған ақпараттық жүйелердің бөлігі ретінде пайдаланылады. |
||
UDC indices | ||
004.93 | ||
International classifier codes | ||
28.23.13; | ||
Readiness of the development for implementation | ||
Key words in Russian | ||
компьютерная лингвистика; дистрибутивная семантика; обучение без учителя; кластерный анализ; Big Data; высокопроизводительные вычисления; | ||
Key words in Kazakh | ||
есептеу тіл білімі; дистрибутивтік семантика; бақыланбайтын оқыту; кластерлік талдау; үлкен мәліметтер; жоғары өнімділікті есептеу; | ||
Head of the organization | Мутанов Галимкаир Мутанович | Доктор технических наук / профессор |
Head of work | Мусабаев Рустам Рафикович | Кандидат технических наук / ассоциированный профессор (доцент) |
Native executive in charge |