The object of research, development or design (in Russian) : Модели на основе машинного обучения для мобильных устройств с уменьшенной величиной аппаратных и временных затрат, работающие в режиме реального времени

The object of research, development or design (in Kazakh) : Нақты уақыт режимінде жұмыс істейтін аппараттық және уақыт шығындары азайтылған мобильді құрылғыларға арналған машиналық оқытуға негізделген модельдер

Aim of work (in Russian) : Разработка специализированных сервисов для мобильного телефона на основе машинного обучения и технологии дополненной реальности, а также цифрового музея искусств им. А. Кастеева для повышения интереса к культуре, истории Республики Казахстан и сохранения ее исторического наследия

Aim of work (in Kazakh) : Қазақстан Республикасының мәдениетіне, тарихына қызығушылықты арттыру және оның тарихи мұрасын сақтау үшін машиналық оқыту мен толықтырылған шындық технологиясы негізінде ұялы телефонға арналған мамандандырылған қызметтерді, сондай-ақ А.Қастеев атындағы цифрлық өнер мұражайын дамыту

Методы исследования (на русском) : Методы интеллектуального анализа данных, машинного обучения, компьютерного зрения, системного анализа, компьютерного моделирования, теории баз данных, объектно-ориентированного проектирования программных систем, гибкая методология разработки программного обеспечения (agile software development)

Методы исследования (на казахском) : Деректерді өңдеу, машиналық оқыту, компьютерлік көру, жүйелік талдау, компьютерлік модельдеу, деректер қоры теориясы, объектіге бағытталған бағдарламалық жүйелерді жобалау әдістері, бағдарламалық қамсыздандыруды әзірлеудің икемді әдістемесі (agile software development)

Obtained results and novelty (in Russian) : Был разработан алгоритм определения параметров идентифицированных объектов с использованием упрощенных 3D-моделей объектов и базы данных описаний музейных экспонатов. Для прототипа на ограниченном наборе данных была выбрана сверточная нейронная сеть с архитектурой EfficientNetV2_s. Особенность применяемого датасета, который состоит из видеофайлов экспонатов музея им. А. Кастеева — большое число классов. Сеть EfficientNetV2_s была предобучена на наборе данных ImageNet, а затем была дообучена на имеющемся наборе данных. Для тестирования также использовались видеозаписи, снятые на телефон в выставочном зале музея. В результате 96% всех кадров были классифицированы правильно, а если считать точность в секунду, то 100%. Был разработан алгоритм точного позиционирования визуальных виртуальных объектов относительно объектов реального мира на основе технологии дополненной реальности с использованием упрощенных 3D-моделей объектов, а также данных сканирования объектов. Обучающая выборка для детектора была получена с помощью разметки имеющихся фотографий экспонатов музея искусств им. А. Кастеева. Для этого каждой из фотографий сопоставлялись координаты прямоугольников, содержащих желаемые экспонаты. При этом при добавлении нового экспоната требуется сбор и разметка дополнительных данных. На данном этапе работы выделено более 40 классов. Для решения задачи трекинга использовалась архитектура Siamrpn++.

Obtained results and novelty (in Kazakh) : Объектілердің жеңілдетілген 3D модельдерін және мұражай экспонаттарының сипаттамалық дерекқорын қолдана отырып, анықталған объектілердің параметрлерін анықтау алгоритмі жасалды. Шектеулі деректер жиынтығындағы прототип үшін EfficientNetV2_s архитектурасы бар конволюциялық нейрондық желі таңдалды. Ә. Қастеев атындағы мұражай экспонаттарының бейне файлдарынан тұратын қолданылатын датасеттің ерекшелігі-көптеген класстар. EfficientNetV2_s желісі алдымен ImageNet деректер жиынында оқытылды, содан кейін қолда бар деректер жиынында оқытылды. Тестілеу үшін мұражайдың көрме залында телефонға түсірілген бейнежазбалар да қолданылды. Нәтижесінде барлық кадрлардың 96% - ы дұрыс жіктелді, ал секундына дәлдікті есептегенде 100%. Объектілердің жеңілдетілген 3D модельдерін, сондай-ақ объектілерді сканерлеу деректерін пайдалана отырып, толықтырылған шындық технологиясы негізінде нақты әлем объектілеріне қатысты визуалды виртуалды объектілерді дәл орналастыру алгоритмі әзірленді. Детекторға арналған оқыту үлгісі Ә.Қастеев атындағы өнер мұражайы экспонаттарының қолда бар фотосуреттерін белгілеу арқылы алынды. Ол үшін фотосуреттердің әрқайсысы қажетті экспонаттарды қамтитын тіктөртбұрыштардың координаттарын салыстырды. Сонымен қатар, жаңа экспонат қосылған кезде қосымша деректерді жинау және белгілеу қажет. Жұмыстың осы кезеңінде 40-тан астам класс бөлінді. Бақылау мәселесін шешу үшін Siamrpn++ архитектурасы қолданылды.

The main constructive and technical economic indicators (in Russian) : Был разработан алгоритм определения параметров идентифицированных объектов с использованием упрощенных 3D-моделей объектов и базы данных описаний музейных экспонатов. Был разработан алгоритм точного позиционирования визуальных виртуальных объектов относительно объектов реального мира на основе технологии дополненной реальности с использованием упрощенных 3D-моделей объектов, а также данных сканирования объектов.

The main constructive and technical economic indicators (in Kazakh) : Объектілердің жеңілдетілген 3D модельдерін және мұражай экспонаттарының сипаттамалық дерекқорын қолдана отырып, анықталған объектілердің параметрлерін анықтау алгоритмі жасалды. Объектілердің жеңілдетілген 3D модельдерін, сондай-ақ объектілерді сканерлеу деректерін пайдалана отырып, толықтырылған шындық технологиясы негізінде нақты әлем объектілеріне қатысты визуалды виртуалды объектілерді дәл орналастыру алгоритмі әзірленді.

Level of implementation (in Russian) : Не внедрено

Level of implementation (in Kazakh) : Енгізілмеген

Efficiency (in Russian) : Ожидаемый социальный эффект заключается в увеличении интереса пользователей, особенно среди молодого поколения, к историческому наследию региона и повышении привлекательности культурных экспозиций за счет применения современных информационных технологий для обеспечения новых подходов взаимодействия с аудиторией

Efficiency (in Kazakh) : Күтілетін әлеуметтік әсер пайдаланушылардың, әсіресе жас ұрпақ арасында, аймақтың тарихи мұрасына деген қызығушылығын арттыру және аудиториямен өзара іс-қимылдың жаңа тәсілдерін қамтамасыз ету үшін заманауи ақпараттық технологияларды қолдану арқылы мәдени экспозициялардың тартымдылығын арттыру болып табылады

Field of application (in Russian) : Организации культуры – музеи, выставки, экспозиции с целью увеличении интереса пользователей, особенно среди молодого поколения, к историческому наследию региона за счет обеспечения новых подходов взаимодействия с аудиторией на основе современных информационных технологий

Field of application (in Kazakh) : Заманауи ақпараттық технологиялар негізінде аудиториямен өзара әрекеттесудің жаңа тәсілдерін ұсына отырып, пайдаланушылардың, әсіресе өскелең ұрпақтың өңірдің тарихи мұрасына қызығушылығын арттыру мақсатында жұмыс істейтін мәдениет ұйымдары (мұражайлар, көрмелер, экспозициялар)