Inventory number IRN Number of state registration
0220РК01173 AP05134651-OT-20 0118РК00741
Document type Terms of distribution Availability of implementation
Заключительный Gratis Number of implementation: 0
Not implemented
Publications
Native publications: 1
International publications: 2 Publications Web of science: 2 Publications Scopus: 0
Number of books Appendicies Sources
1 4 32
Total number of pages Patents Illustrations
59 0 17
Amount of funding Code of the program Table
20000000 AP05134651 8
Name of work
Разработка системы управления активными знаниями для автоматизации конструирования высокопроизводительных параллельных программ обработки неструктурированных данных и численного моделирования в задачах фильтрации
Report title
Type of work Source of funding The product offerred for implementation
Applied Технология
Report authors
Лебедев Данил Владимирович , Қасымбек Нұрислам Мұратбекұлы , Ахмед-Заки Дархан Жумаканович , Иманкулов Тимур Сакенович , Дарибаев Беимбет Серикович , Мәткерім Базаргүл , Тұрар Олжас Нұрқонысұлы , Нурахов Едиль , Амангелды Бибарс Сапарғалиұлы , Городничев Максим Александрович , Малышкин Виктор Эммануилович , Перепёлкин Владислав Александрович ,
0
0
0
0
Customer МНВО РК
Information on the executing organization
Short name of the ministry (establishment) МНВО РК
Full name of the service recipient
Дочернее Государственное предприятие на праве хозяйственного ведения "Научно-исследовательский институт математики и механики" Республиканского Государственного предприятие на праве хозяйственного ведения "Казахский Национальный университет им. Аль-Фараби"
Abbreviated name of the service recipient ДГП на ПВХ «НИИ ММ» РГП «КазНУ им. аль-Фараби»
Abstract

Объектом исследования является создание системы автоматизации разработки, исследования и применения крупномасштабных численных моделей, для решения задач из области нефтяной геофизики и других прикладных областей на неоднородных параллельных вычислителях с распределенной памятью (мультикомпьютерах)

Зерттеудің объектісі – үлестірілген жадылы (мультикомпьютерлер) және барлық қажетті динамикалық қасиеттерге ие біртекті емес параллельді есептегіштерде мұнай геофизика және басқа да қолданбалы саладағы есептерді шешуге арналған параллельді сандық ішкі бағдарламалардың кітапханасын құру

- создание подходов к автоматизации конструирования, изучения и практического применения крупномасштабных математических моделей и параллельных алгоритмов в задачах фильтрации жидкости и задачах обработки неструктурированных данных, - создание программного комплекса, обеспечивающего такую автоматизацию, - исследование разработанных подходов и комплекса при конструировании численных моделей, а также алгоритмов и моделей обработки слабоструктурированных текстовых данных

параллельді сандық ішкі бағдарламаны құру және басқарудың теориялық негізін және негізгі жүйелік алгоритмдерді өңдеу: архитектураны (құрылым) талдау және жобалау. сандық ішкі бағдарламаның кітапханасын практикалық динамикалық қасиеттермен басқарудың бастапқы жүйесін өңдеу: суперкомпьютердің барлық қолжетімді ресурстарын баптау, жүктеуді динамикалық теңгеру және т.б. параллельді жүзеге асыруға мүмкіндік беретін формадағы мұнай геофизика үрдісін сандық модельдеу есептерінің дайын шешімі бар кітапхана құру

являются анализ формальных моделей системы, применение теории структурного синтеза параллельных программ и систем на вычислительных моделях, построение численных алгоритмов на основе технологии фрагментированного программирования и анализ полученных результатов

жүйелердің формальды модельдерін талдау, параллельді бағдарламалар және есептеу моделіндегі жүйелерге құрлымдық синтез теориясын пайдалану, фрагментті бағдарламалау технологиясы негізіндегі сандық алгоритм құру және алынған нәтижеге талдау жасау

Разработан прототип программного комплекса для автоматизации конструирования, изучения и практического применения крупномасштабных математических моделей и параллельных алгоритмов в задачах фильтрации жидкости и задачах обработки неструктурированных данных. Разработан последовательный и параллельный алгоритм Ньютон-ILU(0)-GMRES для решения задачи неравновесной фильтрации многокомпонентной жидкости (композиционная модель) с учетом тепло/массообменных процессов, параллельный алгоритм реализован на функциональном языке. Разработан и реализован алгоритм построения адаптированной неструктурированной сетки в двумерном случае путем построения триангуляции Делоне и диаграммы Вороного на множестве узлов адаптивной структурированной сетки, построенной предварительно. Разработан метод параллелизации численного алгоритма решения обращенного уравнения Бельтрами на MPI и фрагментированный численный алгоритм решения обращенного уравнения Бельтрами в системе LuNA. Разработан и реализован алгоритм построения неструктурированных сеток «Разделяй и властвуй», разработан и протестирован параллельный и фрагментированный алгоритм «Разделяй и властвуй» на MPI и в системе LuNA. Разработаны эффективные параллельные алгоритмы для решения задачи извлечения N-gram на трёх различных платформах распределенных вычислений: MPI, Apache Hadoop и Apache Spark. Реализованы параллельные алгоритмы TF-IDF и Word2Vec на MPI и в системы LuNA.

Сұйықтықты сүзу есептерінде және құрылымданбаған деректерді өңдеу есептерінде кең ауқымды математикалық модельдер мен параллель алгоритмдерді жобалауды, зерттеуді және практикалық қолдануды автоматтандыруға арналған бағдарламалық кешеннің прототипі жасалды. Жылу/масса алмасу процестерін ескере отырып, көп компонентті сұйықтықтың тепе-тең емес сүзу мәселесін шешу үшін Ньютон-ILU(0)-GMRES тізбекті және параллель алгоритмі жасалды, параллель алгоритм функционалды тілде жүзеге асырылады. Екі өлшемді жағдайда Делоне триангуляциясын және алдын-ала салынған бейімделген құрылымдалған тордың көптеген түйіндеріне Воронов диаграмманы құру арқылы бейімделген құрылымданбаған торды құру алгоритмі жасалып, іске асырылды. Айналдырылған Бельтрами теңдеуін MPI-ге шешудің сандық алгоритмін және Luna жүйесіндегі кері Бельтрами теңдеуін шешудің фрагменттелген сандық алгоритмін параллельдеу әдісі жасалды. Құрылымданбаған торларын құрудың "бөліп ал да биле" алгоритмі жасалып, іске асырылды, параллель және фрагменттелген "бөліп ал да биле" алгоритмі MPI және LuNA жүйесінде жасалды және сыналды. Үш түрлі үлестірілген есептеу платформаларында: MPI, Apache Hadoop және Apache Spark N-gram шығару мәселесін шешудің тиімді параллель алгоритмдері жасалды. TF-IDF және Word2Vec параллель алгоритмдері MPI және LuNA жүйелерінде орындалады.

-

-

Результаты исследования по данному проекту могут быть использованы при создании автоматизированных систем высокопроизводительного анализа задач нефтяной промышленности и для информационно-аналитических центро

Осы жоба бойынша зерттеулердің нәтижелері мұнай өнеркәсібінің міндеттерін жоғары сапалы талдау үшін және ақпараттық-аналитикалық орталықтар үшін автоматтандырылған жүйелерді құру үшін пайдаланылуы мүмкін

UDC indices
004.428:519.63
International classifier codes
20.53.00; 28.17.19; 50.41.25;
Readiness of the development for implementation
Key words in Russian
Высокопроизводительные вычисления; автоматизация исследований; математическая модель; параллельное программирование; MPI; LuNA; автоматизация разработки; фильтрация жидкости; библиотека параллельных подпрограмм;
Key words in Kazakh
Жоғары өнімді есептеу; зерттеуді автоматтандыру; математикалық модель; параллельді бағдармалау; MPI; LuNA; әзірлеуді автоматтандыру; сұйықтықты сүзу; паралель бағдарламалардың кітапханасы;
Head of the organization Кыдырбекулы Алматбек Балгабекович д.т.н. / профессор
Head of work Лебедев Данил Владимирович PhD / нет
Native executive in charge