Inventory number IRN Number of state registration
0325РК00281 AP25794353-KC-25 0125РК00319
Document type Terms of distribution Availability of implementation
Краткие сведения Gratis Number of implementation: 0
Not implemented
Publications
Native publications: 0
International publications: 0 Publications Web of science: 0 Publications Scopus: 0
Patents Amount of funding Code of the program
0 9560078 AP25794353
Name of work
Разработка многофункциональной системы мониторинга территории на основе алгоритмов компьютерного зрения и машинного обучения
Type of work Source of funding Report authors
Applied Елеусинов Арман Инабатович
0
0
0
0
Customer МНВО РК
Information on the executing organization
Short name of the ministry (establishment) МНВО РК
Full name of the service recipient
РГП на ПХВ "Институт информационных и вычислительных технологий" МОН РК
Abbreviated name of the service recipient ИИВТ
Abstract

Объектом исследования, разработки и проектирования является интеллектуальная система компьютерного зрения для автоматического распознавания и классификации объектов в видеопотоках. В состав объекта входят алгоритмы обработки изображений, нейросетевые модели детекции и классификации, а также программно-аппаратные модули для работы в реальном времени на одноплатных компьютерах

Зерттеу, әзірлеу және жобалау жұмыстары бейне ағындарындағы нысандарды автоматты түрде тану және жіктеуге арналған интеллектуалды компьютерлік көру жүйесіне бағытталған. Жүйеге кескіндерді өңдеу алгоритмдері, нейрондық желіні анықтау және жіктеу модельдері, сондай-ақ бір тақталы компьютерлерде нақты уақыт режимінде жұмыс істеуге арналған аппараттық және бағдарламалық модульдер кіреді.

Разработать многофункциональную систему мониторинга территории, использующую алгоритмы компьютерного зрения и машинного обучения, для автоматического распознавания объектов и анализа данных в режиме реального времени, что позволит повысить эффективность реагирования на чрезвычайные ситуации и улучшить процесс принятия решений в условиях стихийных бедствий или других сценариях.

Табиғи апаттар мен басқа да сценарийлерде төтенше жағдайларға жауап беру және шешім қабылдау тиімділігін арттыратын, нысандарды автоматты түрде тану және нақты уақыт режимінде деректерді талдау үшін компьютерлік көру және машиналық оқыту алгоритмдерін пайдаланатын көпфункционалды аумақты бақылау жүйесін әзірлеу.

- методы компьютерного зрения и обработки изображений; - методы глубокого обучения, включая сверточные нейронные сети (CNN) и трансформерные архитектуры; - методы оптимизации и ускорения нейронных моделей (TensorRT, ONNX, NCNN); - методы предобработки и аугментации данных;

- Компьютерлік көру және кескіндерді өңдеу әдістері; - Терең оқыту әдістері, соның ішінде конволюциялық нейрондық желілер (CNN) және трансформаторлық архитектуралар; - Нейрондық модельдерді оңтайландыру және үдеу әдістері (TensorRT, ONNX, NCNN); - Деректерді алдын ала өңдеу және кеңейту әдістері;

Полученные результаты демонстрируют эффективность разработанных алгоритмов и моделей для решения задач распознавания объектов в реальном времени. Проведённые исследования подтвердили, что использование современных нейронных архитектур, в сочетании с оптимизацией под одноплатные вычислительные устройства, обеспечивает высокую точность и скорость обработки данных при низком энергопотреблении. Новизна работы заключается в интеграции адаптированных моделей компьютерного зрения с технологиями ONNX и NCNN, что позволило существенно сократить латентность и повысить производительность без потери качества распознавания. Дополнительным вкладом является разработка единого модуля, объединяющего обработку изображений, классификацию объектов и систему интеллектуальных оповещений, что расширяет возможности практического применения в задачах мониторинга и анализа окружающей среды.

Алынған нәтижелер нақты уақыт режиміндегі нысандарды тану мәселелерін шешуге арналған әзірленген алгоритмдер мен модельдердің тиімділігін көрсетеді. Жүргізілген зерттеу заманауи нейрондық архитектураларды бір тақталы есептеу құрылғыларын оңтайландырумен бірге пайдалану жоғары дәлдік пен деректерді өңдеу жылдамдығын төмен қуат тұтынумен қамтамасыз ететінін растады. Жұмыстың жаңалығы бейімделген компьютерлік көру модельдерін ONNX және NCNN технологияларымен біріктіруде жатыр, бұл тану сапасына нұқсан келтірмей, кідіріс уақытын айтарлықтай азайтып, өнімділікті арттырды. Қосымша үлес - кескіндерді өңдеуді, нысандарды жіктеуді және интеллектуалды дабыл жүйесін біріктіретін бірыңғай модульді әзірлеу, қоршаған ортаны бақылау мен талдаудың практикалық қолданылуын кеңейту.

Система реализована в модульной архитектуре, обеспечивающей масштабируемость и возможность интеграции с внешними сервисами (REST API, RTSP). Среднее время обработки одного кадра после оптимизации составляет 25–35 мс, что обеспечивает работу в режиме реального времени (≈30–40 fps) на одноплатном компьютере с NPU. Использование технологий ONNX Runtime и NCNN позволило снизить нагрузку на процессор и энергопотребление на 30–40 % по сравнению с базовой моделью PyTorch. Общий объём памяти, необходимый для работы системы, не превышает 16 ГБ ОЗУ, а потребляемая мощность устройства — около 10–15 Вт, что делает решение энергоэффективным и пригодным для автономных установок. Себестоимость одного вычислительного узла (на базе Jetson Nano/OrangePi 5) не превышает 300–500 USD, что позволяет развертывать систему в многоканальных конфигурациях без значительных капитальных затрат.

Жүйе масштабталуды және сыртқы қызметтермен (REST API, RTSP) интеграциялану мүмкіндігін қамтамасыз ететін модульдік архитектурада жүзеге асырылады. Оңтайландырудан кейінгі кадрды өңдеудің орташа уақыты 25-35 мс құрайды, бұл NPU бар бір тақталы компьютерде нақты уақыт режимінде жұмыс істеуге мүмкіндік береді (≈30-40 кадр/сек). ONNX Runtime және NCNN технологияларын пайдалану процессор жүктемесін және қуат тұтынуын базалық PyTorch моделімен салыстырғанда 30-40%-ға азайтты. Жүйе үшін қажетті жалпы жад 16 ГБ жедел жадтан аспайды, ал құрылғының қуат тұтынуы шамамен 10-15 Вт құрайды, бұл шешімді энергияны тиімді және автономды орнатуға жарамды етеді. Бір есептеу түйінінің құны (Jetson Nano/OrangePi 5 негізінде) 300-500 доллардан аспайды, бұл жүйені айтарлықтай капиталдық шығындарсыз көп арналы конфигурацияларда орналастыруға мүмкіндік береді.

Разработанный модуль определения и классификации объектов был успешно интегрирован и протестирован на одноплатном компьютере (OrangePi 5) в составе прототипа системы интеллектуального видеомониторинга. Проведены испытания в реальных условиях с использованием потоков видеонаблюдения, что подтвердило стабильную работу алгоритмов в режиме реального времени и корректность формирования событийных оповещений. Полученные результаты внедрены в опытный образец, который может быть масштабирован и адаптирован для промышленных и инфраструктурных систем наблюдения, обеспечивая возможность дальнейшего практического использования и коммерциализации решения.

Әзірленген нысанды анықтау және жіктеу модулі бір тақталы компьютерде (OrangePi 5) интеллектуалды бейнебақылау жүйесінің прототипінің бөлігі ретінде сәтті интеграцияланды және сынақтан өткізілді. Бейнебақылау ағындарын пайдалана отырып, нақты әлемдегі тестілеу алгоритмдердің нақты уақыт режимінде тұрақты жұмыс істеуін және оқиғаларға негізделген ескертулердің дұрыс генерациялануын растады. Алынған нәтижелер өнеркәсіптік және инфрақұрылымдық бақылау жүйелеріне масштабтауға және бейімдеуге болатын прототипке енгізілді, бұл шешімді одан әрі практикалық пайдалануға және коммерцияландыруға мүмкіндік береді.

Оптимизация моделей с использованием технологий ONNX и NCNN позволила увеличить скорость обработки данных более чем в два раза при сохранении высокой точности распознавания объектов (более 95%). Система демонстрирует устойчивую работу в реальном времени даже на ресурсно-ограниченных одноплатных компьютерах, обеспечивая при этом низкое энергопотребление и минимальные задержки.

ONNX және NCNN технологияларын пайдалана отырып, модельдерді оңтайландыру деректерді өңдеу жылдамдығын екі еседен астамға арттырды, сонымен бірге объектілерді танудың жоғары дәлдігін (95%-дан астам) сақтап қалды. Жүйе ресурстары шектеулі бір тақталы компьютерлерде де тұрақты нақты уақыт режимінде жұмыс істеуді көрсетеді, сонымен қатар төмен қуат тұтынуын және минималды кідіріс уақытын сақтайды.

Основными областями применения являются системы видеонаблюдения и безопасности, интеллектуальные транспортные комплексы, системы мониторинга территорий и инфраструктуры, а также промышленные решения для контроля технологических процессов. Кроме того, технология может быть адаптирована для использования в проектах «умный город», системах контроля доступа, учёта транспорта и мониторинга производственных зон. Благодаря модульной архитектуре и поддержке одноплатных компьютеров, система легко интегрируется в распределённые IoT-решения и может эффективно функционировать как в автономных, так и в облачных инфраструктурах.

Қолданудың негізгі салаларына бейнебақылау және қауіпсіздік жүйелері, интеллектуалды көлік жүйелері, аумақ пен инфрақұрылымды бақылау жүйелері және өнеркәсіптік процестерді басқару шешімдері кіреді. Сонымен қатар, технологияны ақылды қала жобаларында, кіруді бақылау жүйелерінде, көлік құралдарын есепке алуда және өнеркәсіптік аймақтарды бақылауда пайдалану үшін бейімдеуге болады. Модульдік архитектурасы мен бір тақталы компьютерлерді қолдауының арқасында жүйе таратылған IoT шешімдеріне оңай интеграцияланады және дербес және бұлттық инфрақұрылымдарда тиімді жұмыс істей алады.

UDC indices
004.896
International classifier codes
28.23.27;
Key words in Russian
компьютерлік көру; машинное обучение; распознавание образов; робототехника; БПЛА;
Key words in Kazakh
компьютерлік көру; машиналық оқыту; үлгіні тану; робототехника; ҰҰА;
Head of the organization Бектемесов Мактагали Абдимажитович Доктор физико-математических наук / профессор
Head of work Елеусинов Арман Инабатович Phd / PhD