Автоматизированное определение положения объектов в 3D-сцене при ограниченной наблюдаемости на основе анализа ключевых точек

Аннотация

Исследование посвящено автоматизированному определению положения объектов в трехмерной сцене при ограниченной наблюдаемости на основе анализа ключевых точек, интегрирующему высокоскоростную детекцию на изображениях, геометрическое восстановление позы и научную визуализацию результатов. Предлагаемый конвейер включает обнаружение 2D ключевых точек с оценкой видимости, робастное решение задачи Perspective n Point для оценки внешних параметров и интерактивную 3D визуализацию, согласованную с параметрами камеры. Вычислительная схема опирается на метрики OKS/mAP и PCK для оценки точности локализации, IoU и ошибки репроекции для качества реконструкции, а также FPS для анализа производительности. Экспериментальная часть демонстрирует достижение mAP50=0,87 и PCK@5px=0,92 при частичных окклюзиях, что обеспечивает устойчивое восстановление позы при наличии 6–8 корректно наблюдаемых точек, а итоговая точность трехмерной реконструкции достигает IoU=0,94 при средней ошибке репроекции 2,3 пикселя. Производительность конвейера обеспечивает 146 кадров/с на этапе детекции и около 40 кадров/с для полного цикла "изображение → поза → 3D визуализация", что удовлетворяет требованиям приложений реального времени, включая робототехнические и AR сценарии. Обсуждение выявляет преимущества метода в условиях неполной наблюдаемости и отсутствие зависимости от данных глубины, а также ограничения при экстремальных окклюзиях и освещенности; намечены направления развития: самообучение под новые классы объектов, расширение на динамические сцены и использование событийных сенсоров для повышения робастности.