Метод вычисления плотного оптического потока на ПЛИС в реальном времени

  • Alexander Vadimovich Bratulin Рязанский государственный радиотехнический университет им. В.Ф. Уткина http://orcid.org/0000-0003-3745-296X
  • Mikhail Borisovich Nikiforov Рязанский государственный радиотехнический университет им. В.Ф. Уткина http://orcid.org/0000-0002-4796-0776
  • Pavel Viktorovich Belyakov Рязанский государственный радиотехнический университет им. В.Ф. Уткина http://orcid.org/0000-0002-0757-1418
  • Yevgeny Yurievich Kholopov Рязанский государственный радиотехнический университет им. В.Ф. Уткина http://orcid.org/0000-0002-0541-2878

Аннотация

Одной из наиболее актуальных проблем, связанных с разработкой систем технического зрения, является проблема обнаружения и выделения объектов, находящихся в поле зрения датчика изображений. Область использования технологий автоматического обнаружения объектов и выделения объектов включает в себя задачи поиска и спасения, космический мониторинг Земли, анализ движения транспортных средств, контроль движения воздушного транспорта. Объекты могут быть неподвижными и движущимися. Движение на видеоизображении формализуется таким понятием, как оптический поток. Оптический поток является базовым инструментом для обработки и анализа видеопоследовательностей, а его вычисление – наиболее распространенный подход к обнаружению движущихся объектов. В статье рассмотрены особенности аппаратной реализации на ПЛИС метода вычисления плотного оптического потока на видеоизображении высокой четкости. Разработанный метод построен на базе корреляционно-экстремального алгоритма поиска минимальной суммы абсолютных разностей яркостей пикселей окон в окрестностях текущей точки соседних кадров видеоизображения. Приведено подробное описание основных этапов данного алгоритма. Рассмотрен принцип распараллеливания и конвейеризации, позволяющий минимизировать объем вычислений, благодаря повторному использованию промежуточных результатов, полученных на предыдущих шагах. Описанный подход позволяет вычислять оптический поток для каждого пикселя в темпе поступления входного видеоизображения. Проанализированы аппаратные затраты при реализации метода на ПЛИС Xilinx Zynq Ultra Scale+, входящей в состав отладочной платы Xilinx Zynq Ultra Scale+ MPSoC ZCU102 Evaluation Kit.

Сведения об авторах

Alexander Vadimovich Bratulin, Рязанский государственный радиотехнический университет им. В.Ф. Уткина

аспирант кафедры электронных вычислительных машин

Mikhail Borisovich Nikiforov, Рязанский государственный радиотехнический университет им. В.Ф. Уткина

директор НОЦ «СпецЭВМ», доцент кафедры электронных вычислительных машин, кандидат технических наук, доцент, член-корреспондент Академии информатизации образования

Pavel Viktorovich Belyakov, Рязанский государственный радиотехнический университет им. В.Ф. Уткина

инженер, кафедра электронных вычислительных машин

Yevgeny Yurievich Kholopov, Рязанский государственный радиотехнический университет им. В.Ф. Уткина

аспирант кафедры электронных вычислительных машин

Литература

[1] Computer Vision in Control Systems of the Mobile Objects. Proceedings of the Conference-Workshop-2010. Nazirov R.R. (ed). Issue. 4. Moscow: KDU, 2011. Available at: https:// http://www.iki.rssi.ru/books/2011tz.pdf (accessed 06.06.2019). (In Russ., abstract in Eng.)
[2] Alpatov B.A., Babayan P.V. Detection and tracking of moving objects in the presence of jitter and linear shifts of the image. Digital signal processing and its applications. Thesis of the best works of the 6th international conference. 2004; 2:95-96. Available at: http://www.autex.spb.su/download/dsp/dspa/dspa2004/t1_34.pdf (accessed 06.06.2019). (In Russ.)
[3] Gurov V.S. et al. [The image processing in aircraft vision systems]. Kostyashkin L.N., Nikiforov M.B. (eds). Fizmatlit, Moscow, 2016. (In Russ.)
[4] Vizilter Yu.V., Zheltov S.Yu., Bondarenko A.V., Ososkov M.B., Morzhin A.V. [Image Processing and Analysis Tasks in Machine Vision]. Fizmatkniga Publisher, Moscow, 2010. (In Russ.)
[5] Belyakov P.V., Larkin E.V., Nikiforov M.B. Variotional Optical Flow Method Modification FORFPGA Implementation. News of the Tula state university. Technical sciences. 2018; 9:19-28. Available at: https://elibrary.ru/item.asp?id=36394730 (accessed 06.06.2019). (In Russ., abstract in Eng.)
[6] Kozlov V.A., Potapov A.S. Analysis of extraction methods for moving objects on video sequences with noise. Scientific and Technical Journal of Information Technologies, Mechanics and Optics. 2011; 3(73):39-43. Available at: https://elibrary.ru/item.asp?id=16223309 (accessed 06.06.2019). (In Russ., abstract in Eng.)
[7] Agafonov V.Y. Application of Optical Flow Methods to Image Shift Estimation. Education and science in Russia and abroad. 2017; 35(6). Available at: https://www.gyrnal.ru/statyi/ru/314/ (accessed 06.06.2019). (In Russ., abstract in Eng.)
[8] Belyakov P. V., Nikiforov M. B. An FPGA-optimized architecture of variational optical Flow. 2018 IEEE East-West Design & Test Symposium (EWDTS). Kazan. 2018; 1-7. (In Eng.) DOI: 10.1109/EWDTS.2018.8524759
[9] Kholopov E.Y., Bratulin A.V., Baranchikov A.I. Hardware Video Information Module Fordetecting Moving Objects in Real. News of the Tula state university. Technical sciences. 2018; 9:564-570. Available at: https://elibrary.ru/item.asp?id=36394789 (accessed 06.06.2019). (In Russ., abstract in Eng.)
[10] Vaganov S.E. A method for dynamic segmentation of a pair of sequental video-frames. Computer Optics. 2019; 43(1):83-89. (In Russ., abstract in Eng.) DOI: 10.18287/2412-6179-2019-43-1-83-89
[11] Shinya M. Spatial anti-aliasing for animation sequences with spatio-temporal filtering. Proceedings of the 20th annual conference on Computer graphics and interactive techniques (SIGGRAPH '93). ACM, New York, NY, USA. 1993; 289-296. (In Eng.) DOI: 10.1145/166117.166154
[12] Elesina S.I., Kostyashkin L.N., Loginov A.A., Nikiforov M.B. [Images alignment in correlation-extreme navigation systems]. Radio Engineering, Moscow, 2015. (In Russ.)
[13] Kuznetsov P.K., Martemyanov B.V., Semavin V.I. Machine Vision of Mobile Platforms. Method of the Optical Flow Analysis of Dynamic Images. Vestnik komp'iuternykh i informatsionnykh tekhnologii (Herald of computer and information technologies). 2014; 1(115):3-9. (In Russ., abstract in Eng.) DOI: 10.14489/vkit.2014.01.pp.003-009
[14] Belyakov P.V., Nikiforov M.B. System-on-Chip variational optical flow computation. Digital Signal Processing. 2018; 3:76-82. Available at: https://elibrary.ru/item.asp?id=36276676 (accessed 06.06.2019). (In Russ., abstract in Eng.)
[15] Brox T., Malik J. Large Displacement Optical Flow: Descriptor Matching in Variational Motion Estimation. IEEE Transactions on Pattern Analysis and Machine Intelligence. 2011; 33(3):500-513. (In Eng.) DOI: 10.1109/TPAMI.2010.143
[16] Kuznesov P.K., Martemyanov B.V., Semavin V.I., Chekotilo E.Yu. Method for Computing Velocity of Moving Objects by Image Analysis. Vestnik of Samara State Technical University (Technical Sciences Series). 2008; 2(22):96-110. Available at: https://elibrary.ru/item.asp?id=13089112 (accessed 06.06.2019). (In Russ., abstract in Eng.)
[17] Chao H., Gu Y., Napolitano M. A Survey of Optical Flow Techniques for Robotics Navigation Applications. Journal of Intelligent & Robotic Systems. 2014; 73(1-4):361-372. (In Eng.) DOI: 10.1007/s10846-013-9923-6
[18] Cooke T. Two Applications of Graph-Cuts to Image Processing. 2008 Digital Image Computing: Techniques and Applications. Canberra, ACT. 2008; 498-504. (In Eng.) DOI: 10.1109/DICTA.2008.32
[19] Tao M., Bai J., Kohli P., Paris S. SimpleFlow: A Non-iterative, Sublinear Optical Flow Algorithm. Computer Graphics Forum. 2012; 31(2pt1):345-353. (In Eng.) DOI: 10.1111/j.1467-8659.2012.03013.x
[20] Xu L., Jia J., Matsushita Y. Motion Detail Preserving Optical Flow Estimation. IEEE Transactions on Pattern Analysis and Machine Intelligence. 2012; 34(9):1744-1757. (In Eng.) DOI: 10.1109/TPAMI.2011.236
[21] Alpatov B.A., Babayan P.V., Balashov O.E., Stepashkin A.I. [The methods of the automatically object detection and tracking. Image processing and control]. Radiotechnika, Moscow, 2008. (In Russ.)
[22] Hisham M.B., Yaakob S.N., Raof R.A.A., Nazren A.B.A., Embedded N.M.W. Template Matching using Sum of Squared Difference and Normalized Cross Correlation. 2015 IEEE Student Conference on Research and Development (SCOReD). Kuala Lumpur. 2015: 100-104. (In Eng.) DOI: 10.1109/SCORED.2015.7449303
[23] Vassiliadis S., Hakkennes E.A., Wong J.S.S.M., Pechanek G.G. The sum-absolute-difference motion estimation accelerator. Proceedings. 24th EUROMICRO Conference (Cat. No.98EX204). Vasteras, Sweden. 1998; 2:559-566. (In Eng.) DOI: 10.1109/EURMIC.1998.708071
Опубликована
2019-07-25
Как цитировать
BRATULIN, Alexander Vadimovich et al. Метод вычисления плотного оптического потока на ПЛИС в реальном времени. Международный научный журнал «Современные информационные технологии и ИТ-образование», [S.l.], v. 15, n. 2, p. 320-330, july 2019. ISSN 2411-1473. Доступно на: <http://sitito.cs.msu.ru/index.php/SITITO/article/view/528>. Дата доступа: 21 nov. 2019 doi: https://doi.org/10.25559/SITITO.15.201902.320-330.
Раздел
Теоретические вопросы информатики, прикладной математики, компьютерных наук