MАCHINE LEARNING АLGORITHM FOR EARLY DETECTION OF АUTISM SPECTRUM DISORDERS IN CHILDREN BASED ON MULTIMODAL ANALYSIS OF EYE MOVEMENTS АND FACIAL EXPRESSIONS

Аннотация

В данном исследовании разработан алгоритм для извлечения и мультимодального анализа информативных признаков из движений глаз и мимики для ранней диагностики РАС. Алгоритм основан на сочетании методов отслеживания движений глаз и компьютерного зрения для синхронного измерения поведенческих сигналов в ходе экспериментального протокола, включающего различные сценарии (F1-F6). Для создания мультимодального набора данных мы объединяем данные временных рядов и агрегируем признаки, описывающие визуальное внимание, взаимодействие взгляда с объектом и динамику мимики. Извлеченные признаки проецируются в пространство признаков и используются для решения задачи бинарной классификации с целью различения детей с РАС и типичным развитием. Наши эксперименты показывают, что сочетание мультимодальных признаков значительно повышает точность классификации. Модель логистической регрессии демонстрирует наилучшую точность классификации (ROC-AUC = 0,976, PR-AUC = 0,978), превосходя модель SVC с ядром RBF и модель случайного леса. Таким образом, мультимодальные поведенческие признаки формируют мощное представление паттернов РАС. Предложенный алгоритм может быть использован в качестве основы для создания интеллектуальной системы диагностики расстройств РАС.