Метод вычисления плотного оптического потока на ПЛИС в реальном времени
Аннотация
Одной из наиболее актуальных проблем, связанных с разработкой систем технического зрения, является проблема обнаружения и выделения объектов, находящихся в поле зрения датчика изображений. Область использования технологий автоматического обнаружения объектов и выделения объектов включает в себя задачи поиска и спасения, космический мониторинг Земли, анализ движения транспортных средств, контроль движения воздушного транспорта. Объекты могут быть неподвижными и движущимися. Движение на видеоизображении формализуется таким понятием, как оптический поток. Оптический поток является базовым инструментом для обработки и анализа видеопоследовательностей, а его вычисление – наиболее распространенный подход к обнаружению движущихся объектов. В статье рассмотрены особенности аппаратной реализации на ПЛИС метода вычисления плотного оптического потока на видеоизображении высокой четкости. Разработанный метод построен на базе корреляционно-экстремального алгоритма поиска минимальной суммы абсолютных разностей яркостей пикселей окон в окрестностях текущей точки соседних кадров видеоизображения. Приведено подробное описание основных этапов данного алгоритма. Рассмотрен принцип распараллеливания и конвейеризации, позволяющий минимизировать объем вычислений, благодаря повторному использованию промежуточных результатов, полученных на предыдущих шагах. Описанный подход позволяет вычислять оптический поток для каждого пикселя в темпе поступления входного видеоизображения. Проанализированы аппаратные затраты при реализации метода на ПЛИС Xilinx Zynq Ultra Scale+, входящей в состав отладочной платы Xilinx Zynq Ultra Scale+ MPSoC ZCU102 Evaluation Kit.
Литература
[2] Alpatov B.A., Babayan P.V. Detection and tracking of moving objects in the presence of jitter and linear shifts of the image. Digital signal processing and its applications. Thesis of the best works of the 6th international conference. 2004; 2:95-96. Available at: http://www.autex.spb.su/download/dsp/dspa/dspa2004/t1_34.pdf (accessed 06.06.2019). (In Russ.)
[3] Gurov V.S. et al. [The image processing in aircraft vision systems]. Kostyashkin L.N., Nikiforov M.B. (eds). Fizmatlit, Moscow, 2016. (In Russ.)
[4] Vizilter Yu.V., Zheltov S.Yu., Bondarenko A.V., Ososkov M.B., Morzhin A.V. [Image Processing and Analysis Tasks in Machine Vision]. Fizmatkniga Publisher, Moscow, 2010. (In Russ.)
[5] Belyakov P.V., Larkin E.V., Nikiforov M.B. Variotional Optical Flow Method Modification FORFPGA Implementation. News of the Tula state university. Technical sciences. 2018; 9:19-28. Available at: https://elibrary.ru/item.asp?id=36394730 (accessed 06.06.2019). (In Russ., abstract in Eng.)
[6] Kozlov V.A., Potapov A.S. Analysis of extraction methods for moving objects on video sequences with noise. Scientific and Technical Journal of Information Technologies, Mechanics and Optics. 2011; 3(73):39-43. Available at: https://elibrary.ru/item.asp?id=16223309 (accessed 06.06.2019). (In Russ., abstract in Eng.)
[7] Agafonov V.Y. Application of Optical Flow Methods to Image Shift Estimation. Education and science in Russia and abroad. 2017; 35(6). Available at: https://www.gyrnal.ru/statyi/ru/314/ (accessed 06.06.2019). (In Russ., abstract in Eng.)
[8] Belyakov P. V., Nikiforov M. B. An FPGA-optimized architecture of variational optical Flow. 2018 IEEE East-West Design & Test Symposium (EWDTS). Kazan. 2018; 1-7. (In Eng.) DOI: 10.1109/EWDTS.2018.8524759
[9] Kholopov E.Y., Bratulin A.V., Baranchikov A.I. Hardware Video Information Module Fordetecting Moving Objects in Real. News of the Tula state university. Technical sciences. 2018; 9:564-570. Available at: https://elibrary.ru/item.asp?id=36394789 (accessed 06.06.2019). (In Russ., abstract in Eng.)
[10] Vaganov S.E. A method for dynamic segmentation of a pair of sequental video-frames. Computer Optics. 2019; 43(1):83-89. (In Russ., abstract in Eng.) DOI: 10.18287/2412-6179-2019-43-1-83-89
[11] Shinya M. Spatial anti-aliasing for animation sequences with spatio-temporal filtering. Proceedings of the 20th annual conference on Computer graphics and interactive techniques (SIGGRAPH '93). ACM, New York, NY, USA. 1993; 289-296. (In Eng.) DOI: 10.1145/166117.166154
[12] Elesina S.I., Kostyashkin L.N., Loginov A.A., Nikiforov M.B. [Images alignment in correlation-extreme navigation systems]. Radio Engineering, Moscow, 2015. (In Russ.)
[13] Kuznetsov P.K., Martemyanov B.V., Semavin V.I. Machine Vision of Mobile Platforms. Method of the Optical Flow Analysis of Dynamic Images. Vestnik komp'iuternykh i informatsionnykh tekhnologii (Herald of computer and information technologies). 2014; 1(115):3-9. (In Russ., abstract in Eng.) DOI: 10.14489/vkit.2014.01.pp.003-009
[14] Belyakov P.V., Nikiforov M.B. System-on-Chip variational optical flow computation. Digital Signal Processing. 2018; 3:76-82. Available at: https://elibrary.ru/item.asp?id=36276676 (accessed 06.06.2019). (In Russ., abstract in Eng.)
[15] Brox T., Malik J. Large Displacement Optical Flow: Descriptor Matching in Variational Motion Estimation. IEEE Transactions on Pattern Analysis and Machine Intelligence. 2011; 33(3):500-513. (In Eng.) DOI: 10.1109/TPAMI.2010.143
[16] Kuznesov P.K., Martemyanov B.V., Semavin V.I., Chekotilo E.Yu. Method for Computing Velocity of Moving Objects by Image Analysis. Vestnik of Samara State Technical University (Technical Sciences Series). 2008; 2(22):96-110. Available at: https://elibrary.ru/item.asp?id=13089112 (accessed 06.06.2019). (In Russ., abstract in Eng.)
[17] Chao H., Gu Y., Napolitano M. A Survey of Optical Flow Techniques for Robotics Navigation Applications. Journal of Intelligent & Robotic Systems. 2014; 73(1-4):361-372. (In Eng.) DOI: 10.1007/s10846-013-9923-6
[18] Cooke T. Two Applications of Graph-Cuts to Image Processing. 2008 Digital Image Computing: Techniques and Applications. Canberra, ACT. 2008; 498-504. (In Eng.) DOI: 10.1109/DICTA.2008.32
[19] Tao M., Bai J., Kohli P., Paris S. SimpleFlow: A Non-iterative, Sublinear Optical Flow Algorithm. Computer Graphics Forum. 2012; 31(2pt1):345-353. (In Eng.) DOI: 10.1111/j.1467-8659.2012.03013.x
[20] Xu L., Jia J., Matsushita Y. Motion Detail Preserving Optical Flow Estimation. IEEE Transactions on Pattern Analysis and Machine Intelligence. 2012; 34(9):1744-1757. (In Eng.) DOI: 10.1109/TPAMI.2011.236
[21] Alpatov B.A., Babayan P.V., Balashov O.E., Stepashkin A.I. [The methods of the automatically object detection and tracking. Image processing and control]. Radiotechnika, Moscow, 2008. (In Russ.)
[22] Hisham M.B., Yaakob S.N., Raof R.A.A., Nazren A.B.A., Embedded N.M.W. Template Matching using Sum of Squared Difference and Normalized Cross Correlation. 2015 IEEE Student Conference on Research and Development (SCOReD). Kuala Lumpur. 2015: 100-104. (In Eng.) DOI: 10.1109/SCORED.2015.7449303
[23] Vassiliadis S., Hakkennes E.A., Wong J.S.S.M., Pechanek G.G. The sum-absolute-difference motion estimation accelerator. Proceedings. 24th EUROMICRO Conference (Cat. No.98EX204). Vasteras, Sweden. 1998; 2:559-566. (In Eng.) DOI: 10.1109/EURMIC.1998.708071
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.
Редакционная политика журнала основывается на традиционных этических принципах российской научной периодики и строится с учетом этических норм работы редакторов и издателей, закрепленных в Кодексе поведения и руководящих принципах наилучшей практики для редактора журнала (Code of Conduct and Best Practice Guidelines for Journal Editors) и Кодексе поведения для издателя журнала (Code of Conduct for Journal Publishers), разработанных Комитетом по публикационной этике - Committee on Publication Ethics (COPE). В процессе издательской деятельности редколлегия журнала руководствуется международными правилами охраны авторского права, нормами действующего законодательства РФ, международными издательскими стандартами и обязательной ссылке на первоисточник.
Журнал позволяет авторам сохранять авторское право без ограничений. Журнал позволяет авторам сохранить права на публикацию без ограничений.
Издательская политика в области авторского права и архивирования определяются «зеленым цветом» в базе данных SHERPA/RoMEO.
Все статьи распространяются на условиях лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная, которая позволяет другим использовать, распространять, дополнять эту работу с обязательной ссылкой на оригинальную работу и публикацию в этом журналe.
