Inventory number IRN Number of state registration
0321РК00925 AP08855520-KC-21 0120РК00616
Document type Terms of distribution Availability of implementation
Краткие сведения Gratis Number of implementation: 0
Not implemented
Publications
Native publications: 0
International publications: 2 Publications Web of science: 0 Publications Scopus: 2
Patents Amount of funding Code of the program
0 19198625 AP08855520
Name of work
Разработка прототипа программного решения на основе Искусственного Интеллекта для автоматического выявления потенциальных фактов физического буллинга в образовательных учреждениях
Type of work Source of funding Report authors
Applied Нарынов Сергази Сакенович
4
0
0
0
Customer МНВО РК
Information on the executing organization
Short name of the ministry (establishment) Нет
Full name of the service recipient
Товарищество с ограниченной ответственностью "Alem Research"
Abbreviated name of the service recipient Alem Research
Abstract

Видеозаписи со школьных камер наблюдения, видеоролики со сценами агрессивного поведения из социальных сетей, постановочные видеоролики со сценами агрессивного поведения с участием исполнителей проекта.

Мектептің бақылау камераларынан бейнежазбалар, әлеуметтік желілерден агрессивті мінез-құлық көріністері бар бейнероликтер, жоба орындаушыларының қатысуымен агрессивті мінез-құлық көріністері бар қойылымдық бейнероликтер.

Разработка решений на основе искусственного интеллекта (ИИ) и создание на их основе прототипа программно-технического комплекса, способного в автоматическом режиме выявлять факты агрессивного поведения и возможного физического буллинга в образовательных учреждениях Республики Казахстан.

Жасанды интеллект негізінде шешімдер әзірлеу және олардың негізінде Қазақстан Республикасының білім беру мекемелерінде агрессиялық мінез-құлық және ықтимал физикалық буллинг фактілерін автоматты режимде анықтауға қабілетті бағдарламалық-техникалық кешеннің прототипін жасау.

Обработка, анализ и разметка исходных данных (видео файлов). Разработка и тестирование программных моделей ИИ для распознавания объектов на видео, отслеживания объектов на видео. Классификации действий на видео.

Бастапқы деректерді (бейне файлдарды) өңдеу, талдау және белгілеу. Бейнелердегі объектілерді тану, бейнелердегі объектілерді бақылау үшін ЖИ бағдарламалық модельдерін жасау және тестілеу. Бейнедегі әрекеттерді жіктеу.

Осуществлен сбор данных для обучения программных моделей ИИ. Собраны сырые данные. Осуществлена очистка данных, осуществлена классификация данных для обучения программных моделей ИИ. Получен новый набор видеоданных с размеченными действиями. Разработана модель машинного обучения для распознавания объектов на видео, отличающаяся быстрой скоростью обучения и высокой точностью. Разработана модель машинного обучения для захвата движущихся объектов на видео, отличающаяся быстрой скоростью обучения и высокой точностью. Разработан полнофункциональный прототип программно-технического комплекса, поддерживающий 3 пользовательские роли, реализующий функционал этих ролей и использующий разработанные программные модели ИИ для распознавания объектов на видео и для отслеживания объектов на видео. Опубликованы 2 научные статьи в рецензируемых научных изданиях, индексируемых в Scopus. Сделано 2 доклада на международных конференциях. Отличительной особенностью проекта является его междисциплинарность.

АЖ бағдарламалық модельдерін оқыту үшін деректер жиналды. Шикі деректер жиналды. Деректер тазартылды, ЖИ бағдарламалық модельдерін оқыту үшін деректер жіктелді. Белгіленген әрекеттері бар жаңа бейне деректер жиынтығы алынды. Бейнедегі нысандарды тану үшін машиналық оқыту моделі жасалды, ол тез оқу жылдамдығымен және жоғары дәлдігімен сипатталады. Тез оқу жылдамдығы мен жоғары дәлдігімен сипатталатын қозғалмалы нысандарды қадағалауға арналған машиналық оқыту моделі жасалды. 3 пайдаланушылық рөлді қолдайтын, сол рөлдердің функционалын іске асыратын және бейнелердегі объектілерді тану және бейнелердегі объектілерді қадағалау үшін әзірленген ЖИ бағдарламалық модельдерін пайдаланатын бағдарламалық-техникалық кешеннің толық функционалды прототипі әзірленді. Scopus-та индекстелетін рецензияланатын ғылыми басылымдарда 2 ғылыми мақала жарияланды. Халықаралық конференцияларда 2 баяндама жасалды. Жобаның ерекшелігі - оның пәнаралық сипаты.

Объемы собранных видео сырых данных: более 760 часов. Данные размечались по 104 параметрам (меткам), получено 21237 размеченных сегментов общей длительностью 12 часов 26 минут 10 секунд. Почти 10% видео содержали массовое насилие; 86% - единичные акты агрессии; чуть более 4% видео было с разнообразной жестикуляцией, но без непосредственного насилия. Модель машинного обучения для распознавания объектов на видео основана на нейронной сети PoseNET. Человеческая фигура представляется 17 ключевыми точками. Точность работы модели ИИ для распознавания объектов на видео достигает 98%. Модель машинного обучения для захвата движущихся объектов на видео показывает следующие значения метрик качества: точность (precision): 0,99; полнота (recall): 0,99; F1-мера (F1-score): 0,99. Полнофункциональный прототип программно-технического комплекса предполагает поддержку 3 пользовательских ролей и использует разработанные программные модели ИИ для распознавания объектов на видео и для отслеживания объектов на видео.

Жиналған шикі бейне деректердің көлемі: 760 сағаттан астам. Деректер 104 параметр (белгілер) бойынша белгіленді, жалпы ұзақтығы 12 сағат 26 минут 10 секундына тең 21237 белгіленген сегменттер алынды. Бейненің 10% жуығы жаппай зорлық-зомбылықты, 86% - агрессияның жекелеген актілерін қамтыды; бейненің 4% астамы әртүрлі ым-ишарамен, бірақ тікелей зорлық-зомбылықсыз болды. Бейнедегі нысандарды тануға арналған машиналық оқыту моделі PoseNET нейрондық желісінде негізделген. Адам фигурасы 17 негізгі нүктемен көрсетіледі. Бейнелердегі объектілерді тану үшін ЖИ моделінің дәлдігі 98% жетеді. Видеода қозғалмалы нысандарды қадағалауға арналған машиналық оқыту моделі сапа өлшемдерінің келесі мәндерін көрсетеді: дәлдік (precision): 0,99; толықтық (recall): 0,99; F1-Өлшем (F1-score): 0,99. Бағдарламалық-техникалық кешеннің толық функционалды прототипі 3 пайдаланушы рөлін қолдайды, сол рөлдердің функционалдығын жүзеге асырады және бейнелердегі объектілерді тану және бейнелердегі объектілерді қадағалау үшін әзірленген ЖИ бағдарламалық модельдерін пайдаланады.

Не внедрено.

Енгізілмеген.

Работы выполнены с высокой эффективностью.

Жұмыс жоғары тиімділікпен орындалды.

Образовательные учреждения, мировое научное сообщество.

Білім беру мекемелер, әлемдік ғылыми қауымдастық.

UDC indices
004.8, 159.9
International classifier codes
50.41.25;
Key words in Russian
Физический буллинг; Машинное обучение; Компьютерное зрение; Распознавания образов; Насилие в школах; Насилие в образовательных учреждениях; Выявление агрессивного поведения; Агрессивное поведение;
Key words in Kazakh
Физикалық буллинг; Машиналық оқыту; Компьютерлік көру; Бейнелерді тану; Мектептердегі зорлық-зомбылық; Білім беру мекемелеріндегі зорлық-зомбылық; Агрессивті мінез-құлықты анықтау; Агрессивті мінез-құлық;
Head of the organization Нарынов Сергази Сакенович Кандидат технических наук / доцент
Head of work Нарынов Сергази Сакенович Кандидат технических наук / доцент