The object of research, development or design (in Russian) : Корпусы данных arXive и Pubmed и методы предварительной обработки данных.

The object of research, development or design (in Kazakh) : arXive және Pubmed деректер корпусы және деректерді алдын ала өңдеу әдістері.

Aim of work (in Russian) : • Преобразование данных в вид, доступный для восприятия алгоритмом. • Улучшить качество обучения модели путем определения значимых признаков, избежав переобучения.

Aim of work (in Kazakh) : • Деректерді алгоритм бойынша қабылдауға қолжетімді пішінге түрлендіру. • Мағыналы ерекшеліктерді анықтау арқылы модельдік оқытудың сапасын арттыру, артық сәйкестендірмеу.

Методы исследования (на русском) : На этапе очистки из текста удалены бесполезные для работы данных – таких, как большинство знаков пунктуации, особые символы, скобки и пр. Далее, на этапе препроцессинга, применены следующие методы: • приведение символов к одному регистру; • токенизация — разбиение текста на токены (отдельные компоненты — слова, предложения или фразы); • лемматизация и стемминг — приведение слов к единой форме. • удаление стоп-слов — артиклей, междометий и пр.; • автокоррекция слов, которые написаны неправильно.

Методы исследования (на казахском) : Тазалау кезеңінде мәтіннен жұмыс үшін пайдасыз деректер жойылды, мысалы, тыныс белгілерінің көпшілігі, арнайы таңбалар, жақшалар және т.б. Бұдан әрі алдын ала өңдеу сатысында келесі әдістер қолданылды: • символдарды бір жағдайға дейін қысқарту; • токенизация – мәтінді лексемаларға бөлу (бөлек компоненттер – сөздер, сөйлемдер немесе сөз тіркестері); • лемматизация және түбірлеу – сөздерді бір формаға келтіру. • тоқтау сөздерді – артикльдерді, шылауларды және т.б. алып тастау; • қате жазылған сөздерді автоматты түрде түзету.

Obtained results and novelty (in Russian) : произведена подготовка данных к работе, приведение к формату, позволяющему проводить дальнейшие эксперименты сделан подбор наиболее подходящей модели перевода аннотации и основного текста статей в векторную форму, работы будут продолжены в следующем отчетном периоде.

Obtained results and novelty (in Kazakh) : деректер жұмысқа дайындалды, одан әрі эксперименттер жүргізуге мүмкіндік беретін форматқа келтірілді мақалалардың авторефераты мен негізгі мәтінін векторлық түрге аударудың ең қолайлы үлгісін таңдау жүргізілді, жұмыс келесі есепті кезеңде жалғасатын болады.

The main constructive and technical economic indicators (in Russian) : Подход для повышения уровня восприятия алгоритмов и обработки научных текстов на английском языке, алгоритмы и методы для подготовки данных.

The main constructive and technical economic indicators (in Kazakh) : Ағылшын тіліндегі ғылыми мәтіндерді өңдеу және алгоритмдерді қабылдау деңгейін арттыру тәсілі, мәліметтерді дайындау алгоритмдері мен әдістері.

Level of implementation (in Russian) : на данном этапе проекта внедрения не предусмотрено

Level of implementation (in Kazakh) : жобаны іске асырудың осы кезеңінде еңгізу қарастырылмаған

Efficiency (in Russian) : Настоящий этап с высокой степенью эффективности позволяет повысить надежность данных, их интерпретируемость, а также снизить степень риска получения неверных результатов.

Efficiency (in Kazakh) : Тиімділіктің жоғары дәрежесі бар бұл кезең деректердің сенімділігін, олардың түсіндірмелілігін арттыруға, сонымен қатар қате нәтижелерді алу қаупін азайтуға мүмкіндік береді.

Field of application (in Russian) : В каждом NLP-проекте качественные данные — это необходимое условие для создания качественных моделей прогнозирования. Поэтому необходимость проведения мониторинга работоспособности данных, решение о проведении действий по предварительной обработке и очистке данных оправданы в целях повышения эффективности модели.

Field of application (in Kazakh) : Әрбір NLP жобасында жақсы деректер жақсы болжамды модельдерді құрудың міндетті шарты болып табылады. Сондықтан модельдің тиімділігін арттыру үшін деректердің денсаулығын бақылау қажеттілігі, деректерді алдын ала өңдеу және тазалау бойынша әрекеттерді орындау туралы шешім негізделген.