Inventory number IRN Number of state registration
0322РК00423 AP09259208-KC-22 0121РК00369
Document type Terms of distribution Availability of implementation
Краткие сведения Gratis Number of implementation: 0
Not implemented
Publications
Native publications: 3
International publications: 0 Publications Web of science: 0 Publications Scopus: 0
Patents Amount of funding Code of the program
0 24999999.99 AP09259208
Name of work
Создание масштабируемой отказоустойчивой информационной системы цифровизации предприятия с использованием технологий Big Data
Type of work Source of funding Report authors
Applied research Балакаева Гульнар Тултаевна
2
2
1
2
Customer МНВО РК
Information on the executing organization
Short name of the ministry (establishment) МНВО РК
Full name of the service recipient
Некоммерческое акционерное общество "Казахский национальный университет имени аль-Фараби"
Abbreviated name of the service recipient НАО "КазНУ им. аль-Фараби"
Abstract

Масштабируемая отказоустойчивая информационная система цифровизации деятельности предприятия с использованием технологий обработки больших данных

Үлкен деректерді өңдеу технологияларын қолдана отырып, кәсіпорын қызметін цифрландырудың масштабталатын ақауларға төзімді ақпараттық жүйесі

Разработка подсистем информационной системы цифровизации деятельности предприятия на базе Asp.Net Core и Angular Technologies с использованием технологий обработки больших и потоковых данных MongoDB и Apache Spark.

Asp.Net Core және Angular негізінде үлкен және ағындық деректерді өңдеу технологияларын MongoDB мен Apache Spark пайдалана отырып, кәсіпорын қызметін цифрландыруға арналған ақпараттық жүйенің ішкі жүйелерін әзірлеу.

Используются следующие методы исследования разработка алгоритмов на основе ASP.NET CORE для обеспечения отказоустойчивости и оптимизации движения документов; обработка данных на базе MONGODB и Apache Spark ; методы оценки достоверности информации; для повышения эффективности обеспечения безопасности системы и предотвращения аномальных эффектов.

Келесі зерттеу әдістері қолданылады ақауларға төзімділікті қамтамасыз ету және құжаттар қозғалысын оңтайландыру үшін ASP.NET CORE негізінде алгоритмдерді әзірлеу; MONGODB және Apache Spark негізіндегі деректерді өңдеу; жүйе қауіпсіздігінің тиімділігін арттыру және қалыптан тыс әсерлердің алдын алу ақпараттың сенімділігін бағалау әдістері.

Получены новые результаты: - разработка новых алгоритмов построения подсистемы цифровизации и управления работой кадровой службы с обеспечением масштабируемости и отказоустойчивости - обработка больших данных кадровой деятельности впервые с применением ApacheSpark при отказах устойчивости и обработки больших данных; разработка хранилища больших и потоковых данных цифровизации предприятия -обеспечение отказоустойчивости и безопасности работы созданной подсистемы кадровой работы организации -разработка оптимизации маршрутов в модулях подсистемы управления кадровой и административной работы -разработка оптимизации данных с помощью методов DataMining -обработка и хранение больших данных в системе цифровизации предприятия с ApacheSpark и MongoDB. - разработаны методы оценки достоверности информации, выявление ошибочных данных: аномалий, дубликатов, противоречий, пустых значений, исправление выявленных ошибок. - проведена интеграция всех подсистем разработанной информационной системы.

Жаңа нәтижелер алынды: - масштабталуды және ақауларға төзімділікті қамтамасыз ете отырып, кадр қызметінің жұмысын цифрландыру мен басқарудың ішкі жүйесін құрудың жаңа алгоритмдерін әзірлеу - тұрақтылық пен үлкен деректерді өңдеудің сәтсіздіктері кезінде ApacheSpark көмегімен алғаш рет кадрлық қызметтің үлкен деректерін өңдеу; кәсіпорынды цифрландырудың үлкен және ағындық деректерінің қоймасын әзірлеу - ұйымның кадрлық жұмысының құрылған ішкі жүйесі жұмысының ақаулыққа төзімділігі мен қауіпсіздігін қамтамасыз ету - кадрлық және әкімшілік жұмысты басқару ішкі жүйесінің модульдерінде маршруттарды оңтайландыруды әзірлеу - DataMining әдістерін қолдана отырып, деректерді оңтайландыруды дамыту - ApacheSpark және MongoDB көмегімен кәсіпорынның цифрландыру жүйесінде үлкен деректерді өңдеу және сақтау. - ақпараттың дұрыстығын бағалау, қате деректерді анықтау әдістері әзірленді: аномалиялар, телнұсқалар, қайшылықтар, бос мәндер, анықталған қателерді түзету. - әзірленген ақпараттық жүйенің барлық ішкі жүйелерінің интеграциясы жүргізілді.

- создана масштабируемая отказоустойчивая информационная система цифовизации предприятия с интерактивными пользовательскими сервисами . - разработаны алгоритмы применения современных масштабируемых и отказоустойчивых технологий (Asp.Net Core, AngularTechnologies, NoSQL, MongoDB, ApacheSpark, DataMining ) с обработкой больших и потоковых данных - разработаны подсистемы административной и кадровой деятельности предприятия с обеспечением отказоустойчивости, автоматизации и безопасности данных. На данный момент для хранения данных системы используется кластеры MongoDB Atlas 4.4.8 - M0 Sandbox (General) с возможностью хранения до 512 мегабайта данных. Интерфейс модулей разработаны с помощью React JS. Доступ осуществляется с использованием сервера Ngrok.

- пайдаланушы қызметтері бар кәсіпорынды цифрландырудың масштабталатын ақауларға төзімді ақпараттық жүйесі құрылды . - үлкен және ағындық деректерді өңдеумен заманауи масштабталатын және ақауларға төзімді технологияларды қолдану алгоритмдері әзірленді (Asp.Net Core, AngularTechnologies, NoSQL, MongoDB, ApacheSpark, DataMining ) - кәсіпорынның әкімшілік және кадрлық қызметінің ақауларға төзімділікті, автоматтандыруды және деректердің қауіпсіздігін қамтамасыз ететін ішкі жүйелері әзірленді. Қазіргі уақытта жүйенің деректерін сақтау үшін 512 мегабайтқа дейін деректерді сақтау мүмкіндігі бар MongoDB Atlas 4.4.8 - M0 Sandbox (General) жалпы кластерлер қолданылады. Модуль интерфейсін React JS әзірленді. Ngrok сервері көмегімен бағдарламалар іске асырылды..

Разработанная масштабируемая и отказоустойчивая информационная система в достаточной степени универсальна и применима для цифровизации деятельности предприятий и доступна по URL-адресу: host_device_ip_address:3000 или 192.168.1.52:3000 Проведены симуляции алгоритмов отказоустойчивости, в том числе в среде Intellij IDEA на языке программирования Java с применением методов ООП, установлено оптимальное количество запросов по серверам.

Әзірленген масштабталатын және істен шығуға төзімді ақпараттық жүйе әмбебап болып табылады және кәсіпорын қызметін цифрландыру үшін қолданылады және URL: host_device_ip_address:3000 немесе 192.168.1.52:3000 бойынша қол жетімді Ақауларға төзімділік алгоритмдердін симуляциялар жүргізілді, соның ішінде ОББ әдістерін қолдана отырып, Java бағдарламалау тілінде IntelliJ IDEA ортасында жүргізілді, серверлердің сұраныстарынның оңтайлы саны анықталды.

Данный проект будет в значительной мере направлен на развитие информационных технологий для цифровизации деятельности предприятий и учреждений, развитию технологий BigData, методов работы в режиме он-лайн и офф-лайн, в научно-образовательной среде, в учебном процессе для подготовки выпускников к будущей производственной деятельности. Международная коллаборация и частное партнерство, участие в проекте зарубежных ученых и привлеченных специалистов из бизнес-структур способствует эффективному распространению результатов проекта, дальнейшему укреплению международного научного сотрудничества университетов Казахстана и Великобритании, сообщества казахстанских и зарубежных ученых и широкой общественности.

Бұл жоба негізінен кәсіпорындар мен мекемелердің қызметін цифрландыру үшін ақпараттық технологияларды дамытуға, BigData технологияларын, онлайн және оффлайн режимінде, ғылым және білім беру ортасында, түлектерді болашақ өндірістік қызметке дайындау үшін оқу процесінде жұмыс істеу әдістерін дамытуға бағытталатын болады. Халықаралық ынтымақтастық және жеке әріптестік, жобаға шетелдік ғалымдар мен бизнес-құрылымдардан тартылған мамандардың қатысуы жоба нәтижелерін тиімді таратуға, Қазақстан мен Ұлыбритания университеттерінің, қазақстандық және шетелдік ғалымдар қауымдастығы мен қалың жұртшылықтың халықаралық ғылыми ынтымақтастығын одан әрі нығайтуға ықпал етеді.

Целевые потребители полученных результатов предриятия, учреждения РК, Министерство науки и высшего образования Республики Казахстан, институты, университеты, предприятия и ведомства. Результаты проекта направлены на развитие цифровизации деятельности предприятий и учреждений, развитию технологий BigData, методов работы в режиме онлайн и оффлайн, в научно-образовательной среде, в учебном процессе.

Алынған нәтижелердің мақсатты тұтынушылары- кәсіпорындар, ҚР мекемелері, Қазақстан Республикасының Білім және ғылым министрлігі, институттар, университеттер, кәсіпорындар мен ведомстволар. Жобаның нәтижелері кәсіпорындар мен мекемелердің қызметін цифрландыру үшін BigData технологияларын дамытуға,, онлайн және оффлайн режиміндерде, ғылыми және білім беру ортасында, оқу процесінде жұмыс істеу әдістерін дамытуға бағытталған.

UDC indices
004
International classifier codes
20.00.00; 20.15.13;
Key words in Russian
алгоритмы; цифровизация; отказоустойчивость; технологии; большие данные;
Key words in Kazakh
алгоритмдер; цифрландыру; ақауларға төзімділік; технологиялар; үлкен көлемді деректер;
Head of the organization Айдосов Нуржан Сарсынбекович Член правления-проректор по социальному развитию / Член правления-проректор по социальному развитию
Head of work Балакаева Гульнар Тултаевна Доктор физико-математических наук / Профессор