Распознавание сложно-составных действий человека на основе анализа последовательности скелетных поз

Аннотация

Одним из приоритетных направлений развития технологии компьютерного зрения является выделение скелетных данных из изображений людей и последующее использование этих данных для решения целого спектра прикладных задач. В статье дается краткий обзор технологий для решения задачи распознавания действий человека, выделяются основные подходы, описываются ограничения, преимущества и недостатки. Авторами предложен новый подход к распознаванию сложносоставных действий человека на основе анализа динамики скелетных данных и применения машины состояний. Используемый подход является многоступенчатым и сочетает в себе последовательное использование нейросетевой модели определения позы человека MoveNet, пользовательского слоя извлечения расширенных признаков (PoseEnhancementLayer), а также алгоритм выявления совершаемого действия на основе анализа поз в бифуркационных точках действия. Предложенное авторами решение позволяет определять действия без дополнительного обучения модели, что обеспечивает гибкость и масштабируемость. Тестирование на открытых датасетах показало высокую точность классификации поз человека и устойчивость к неполным или зашумленным последовательностям. Результаты работы актуальны для задач в области спортивной аналитики, интерактивного обучения, реабилитации и медицинского мониторинга.