Алгоритм построения пространственной структуры сцены

  • Pavel Viktorovich Belyakov Рязанский государственный радиотехнический университет имени В.Ф. Уткина http://orcid.org/0000-0002-0757-1418

Аннотация

Одной из наиболее актуальных проблем, связанных с разработкой систем технического зрения, является проблема высококачественной пространственной реконструкции статической сцены по изображениям с движущейся камеры. Построение трехмерных моделей требуется во многих областях, где активно ведется роботизация человеческой деятелности: медицине, промышленности, системах управления автономными транспортными средствами и многих других. Традиционные методы пространственной реконструкции основаны на поиске локальных особенностей на изображениях, затем между выявленными особенностями устанавливается соответствие, по этому соответствию определяется фундаментальная матрица и уже на ее основе вычисляется пространственная структура сцены. Качество методов, основанных на вычислении особенностей, зависит от качества выборки особенностей для вычисления фундаментальной матрицы. Предлагается алгоритм восстановления трехмерной структуры сцены по последовательности изображений, который основан на плотном методе сопоставления изображений – оптическом потоке, но с учетом ограничений эпиполярной геометрии. Алгоритм пространственной реконструкции основывается на минимизации совместного функционала вычисления оптического потока и эпиполярной геометрии с одновременным определением пространственных координат точек сцены. Такой способ минимизации одного общего функционала для всех неизвестных обеспечивает более высокую точность их совместного вычисления и соответственно более качественное построение пространственной структуры сцены. Эксперименты показывают, что метод является хорошей альтернативой подходам, основанным на поиске особых точек на изображениях и вычислении их позиции в трехмерном пространстве по принципу триангуляции. В качестве входных данных требуется последовательность изображений статической сцены, полученных при движении наблюдателя по непрерывной траектории. Кроме того, предполагаются известными внутренние параметры камеры.

Сведения об авторе

Pavel Viktorovich Belyakov, Рязанский государственный радиотехнический университет имени В.Ф. Уткина

инженер, кафедра электронных вычислительных машин

Литература

[1] Gurov V.S. et al. [The image processing in aircraft vision systems]. Kostyashkin L.N., Nikiforov M.B. (eds). Fizmatlit, Moscow, 2016. (In Russ.)
[2] Schneevoigt T., Schroers C., Weickert J. A Dense Pipeline for 3D Reconstruction from Image Sequences. In: Jiang X., Hornegger J., Koch R. (eds). Pattern Recognition. GCPR 2014. Lecture Notes in Computer Science. Springer, Cham. 2014; 8753:629-640. (In Eng.) DOI: 10.1007/978-3-319-11752-2_52
[3] Hartley R., Zisserman A. Multiple View Geometry in Computer Vision. 2nd Edition. Cambridge University Press, Cambridge, UK, 2004. (In Eng.)
[4] Kuznetsov P.K., Martemyanov B.V., Semavin V.I. Machine Vision of Mobile Platforms. Method of the Optical Flow Analysis of Dynamic Images. Vestnik komp'iuternykh i informatsionnykh tekhnologii (Herald of computer and information technologies). 2014; 1(115):3-9. (In Russ., abstract in Eng.) DOI: 10.14489/vkit.2014.01.pp.003-009
[5] Kuznesov P.K., Martemyanov B.V., Semavin V.I., Chekotilo E.Yu. Method for Computing Velocity of Moving Objects by Image Analysis. Vestnik of Samara State Technical University (Technical Sciences Series). 2008; 2(22):96-110. Available at: https://elibrary.ru/item.asp?id=13089112 (accessed 06.06.2019). (In Russ., abstract in Eng.)
[6] Bruhn A., Weickert J, Schnörr C. Lucas/Kanade Meets Horn/Schunck: Combining Local and Global Optic Flow Methods. International Journal of Computer Vision. 2005; 61(3):211–231. (In Eng.) DOI: 10.1023/B:VISI.0000045324.43199.43
[7] Brox T., Bruhn A., Papenberg N., Weickert J. High Accuracy Optical Flow Estimation Based on a Theory for Warping. In: Pajdla T., Matas J. (eds). Computer Vision - ECCV 2004. ECCV 2004. Lecture Notes in Computer Science. Springer, Berlin, Heidelberg. 2004; 3024:25-36. (In Eng.) DOI: 10.1007/978-3-540-24673-2_3
[8] Valgaerts L., Bruhn A., Weickert J. A Variational Model for the Joint Recovery of the Fundamental Matrix and the Optical Flow. In: Rigoll G. (eds). Pattern Recognition. DAGM 2008. Lecture Notes in Computer Science. Springer, Berlin, Heidelberg. 2008; 5096:314-324. (In Eng.) DOI: 10.1007/978-3-540-69321-5_32
[9] Valgaerts L., Bruhn A., Mainberger M., Weickert J. Dense versus Sparse Approaches for Estimating the Fundamental Matrix. International Journal of Computer Vision. 2012; 96(2):212-234. (In Eng.) DOI: 10.1007/s11263-011-0466-7
[10] Bruhn A., Weickert J. Towards ultimate motion estimation: combining highest accuracy with real-time performance. Tenth IEEE International Conference on Computer Vision (ICCV'05). Vol. 1, Beijing. 2005; 749-755. (In Eng.) DOI: 10.1109/ICCV.2005.240
[11] Roxas M., Oishi T. Real-Time Simultaneous 3D Reconstruction and Optical Flow Estimation. 2018 IEEE Winter Conference on Applications of Computer Vision (WACV). Lake Tahoe, NV. 2018; 885-893.
(In Eng.) DOI: 10.1109/WACV.2018.00102
[12] Belyakov P.V., Nikiforov M.B. System-on-Chip variational optical flow computation. Digital Signal Processing. 2018; 3:76-82. Available at: https://elibrary.ru/item.asp?id=36276676 (accessed 06.06.2019). (In Russ., abstract in Eng.)
[13] Belyakov P.V., Larkin E.V., Nikiforov M.B. Variotional Optical Flow Method Modification FORFPGA Implementation. News of the Tula state university. Technical sciences. 2018; 9:19-28. Available at: https://elibrary.ru/item.asp?id=36394730 (accessed 06.06.2019). (In Russ., abstract in Eng.)
Опубликована
2019-07-25
Как цитировать
BELYAKOV, Pavel Viktorovich. Алгоритм построения пространственной структуры сцены. Современные информационные технологии и ИТ-образование, [S.l.], v. 15, n. 2, p. 331-339, july 2019. ISSN 2411-1473. Доступно на: <http://sitito.cs.msu.ru/index.php/SITITO/article/view/529>. Дата доступа: 22 nov. 2024 doi: https://doi.org/10.25559/SITITO.15.201902.331-339.
Раздел
Теоретические вопросы информатики, прикладной математики, компьютерных наук