Методы обнаружения дипфейков в видеоконференциях в реальном времени
Аннотация
В последние годы видеоконференции приобретают все более широкий размах, став неотъемлемым инструментом для проведения деловых совещаний, образовательных мероприятий и даже официальных правительственных встреч. Стремительное развитие технологий интернет-связи и доступность платформ видеоконференций (таких как Zoom, Microsoft Teams и Google Meet) способствуют переходу множества организаций на гибридные и дистанционные форматы работы. В результате глобальная аудитория пользователей онлайн-встреч исчисляется сотнями миллионов, и это число продолжает расти. Одновременно с расширением сферы применения видеоконференций возникает новая волна угроз, связанных с безопасностью и доверием участников. Среди таких угроз особенно выделяется феномен "дипфейков" (от англ. deepfakes), то есть синтетически сгенерированных или модифицированных аудио- и видеозаписей, которые практически невозможно отличить от оригинала невооруженным глазом. В работе рассматривается вопрос детектирования дипфейков в реальном времени в видеоконференциях.
Литература
2. Namiot D.E., Ilyushin E.A. On Cyber Risks of Generative Artificial Intelligence. International Journal of Open Information Technologies. 2024;12(10):109-119. (In Russ., abstract in Eng.) EDN: JZCUQS
3. Namiot D.E. On Cyberattacks Using Artificial Intelligence Systems. International Journal of Open Information Technologies. 2024;12(9):132-141. (In Russ., abstract in Eng.) EDN: PEEQXY
4. Namiot D.E., Ilyushin E.A. Generative Models in Machine Learning. International Journal of Open Information Technologies. 2022;10(7):101-118. (In Russ., abstract in Eng.) EDN: WRIKRG
5. Bhattacharyya C., et al. Diffusion Deepfake. arXiv:2404.01579. 2024. https://doi.org/10.48550/arXiv.2404.01579
6. Rana Md S., et al. Deepfake Detection: A Systematic Literature Review. IEEE Access. 2022;10:25494-25513. https://doi.org/10.1109/ACCESS.2022.3154404
7. Dale K., et al. Video Face Replacement. ACM Transactions on Graphics. 2011;30(6):1-10. https://doi.org/10.1145/2070781.2024164
8. Thies, Justus, et al. Face2Face: real-time face capture and reenactment of RGB videos. Communications of the ACM. 2019;62(1):96-104. https://doi.org/10.1145/3292039
9. Goodfellow I.J., et al. Generative Adversarial Nets. In: Proceedings of the 28th International Conference on Neural Information Processing Systems. Vol. 2 (NIPS'14). Vol. 2. MIT Press, Cambridge, MA, USA; 2014. p. 2672-2680. Available at: https://proceedings.neurips.cc/paper_files/paper/2014/file/f033ed80deb0234979a61f95710dbe25-Paper.pdf (accessed 16.04.2025).
10. de Zeeuw D., Geil A. This Person Does Not Exist’: From Real Generalisation to Algorithmic Abstraction in Photographic Portraiture. In: Geil A., Jirsa T. (eds.) Reconfiguring the Portrait. Edinburgh University Press; 2023. p. 43-60. https://doi.org/10.1515/9781399525091-007
11. Skorokhodov I., Tulyakov S., Elhoseiny M. StyleGAN-V: A Continuous Video Generator with the Price, Image Quality and Perks of StyleGAN2. In: 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). New Orleans, LA, USA: IEEE Press; 2022. p. 3616-3626. https://doi.org/10.1109/CVPR52688.2022.00361
12. Qiu H., et al. StyleFaceV: Face Video Generation via Decomposing and Recomposing Pretrained StyleGAN3. arXiv:2208.07862. 2022. https://doi.org/10.48550/arXiv.2208.07862
13. Vyas H. Deep Fake Creation by Deep Learning. Extraction. 2020;07(07):960-963. Available at: https://www.irjet.net/archives/V7/i7/IRJET-V7I7168.pdf (accessed 16.04.2025).
14. Perov I., et al. DeepFaceLab: Integrated, flexible and extensible face-swapping framework. Pattern Recognition. 2023;141:109628. https://doi.org/10.1016/j.patcog.2023.109628
15. Lin B. -S., Hsu D. -W., Shen C. -H., Hsiao H. -F. Using Fully Connected and Convolutional Net for GAN-Based Face Swapping. In: 2020 IEEE Asia Pacific Conference on Circuits and Systems (APCCAS). Ha Long, Vietnam: IEEE Press; 2020. p. 185-188. https://doi.org/10.1109/APCCAS50809.2020.9301665.
16. Rafique R., et al. Deep fake detection and classification using error-level analysis and deep learning. Scientific Reports. 2023;13(1):7422. https://doi.org/10.1038/s41598-023-34629-3
17. Lyu S. Deepfake Detection: Current Challenges and Next Steps. In: 2020 IEEE International Conference on Multimedia & Expo Workshops (ICMEW). London, UK: IEEE Press; 2020. p. 1-6. https://doi.org/10.1109/ICMEW46912.2020.9105991
18. Afchar D., Nozick V., Yamagishi J., Echizen I. MesoNet: a Compact Facial Video Forgery Detection Network. In: 2018 IEEE International Workshop on Information Forensics and Security (WIFS). Hong Kong, China: IEEE Press; 2018. p. 1-7. https://doi.org/10.1109/WIFS.2018.8630761
19. Li Y., Chang M.-C., Lyu S. In Ictu Oculi: Exposing AI Generated Fake Face Videos by Detecting Eye Blinking. arXiv:1806.02877. 2018. https://doi.org/10.48550/arXiv.1806.02877
20. Jung T., Kim S., Kim K. DeepVision: Deepfakes Detection Using Human Eye Blinking Pattern. IEEE Access. 2020;8:83144-83154. https://doi.org/10.1109/ACCESS.2020.2988660
21. Yang X., Li Y., Lyu S. Exposing Deep Fakes Using Inconsistent Head Poses. In: ICASSP 2019 - 2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). Brighton, UK: IEEE Press; 2019. p. 8261-8265. https://doi.org/10.1109/ICASSP.2019.8683164
22. Ciftci U.A., Demir I., Yin L. FakeCatcher: Detection of Synthetic Portrait Videos using Biological Signals. IEEE Transactions on Pattern Analysis and Machine Intelligence. 2020. https://doi.org/10.1109/TPAMI.2020.3009287
23. Bian Y., et al. Revisiting the Effectiveness of Off-the-shelf Temporal Modeling Approaches for Large-scale Video Classification. arXiv:1708.03805. 2017. https://doi.org/10.48550/arXiv.1708.03805
24. Ashok V., Joy P.T. Deepfake Detection Using XceptionNet. In: 2023 IEEE International Conference on Recent Advances in Systems Science and Engineering (RASSE). Kerala, India: IEEE Press; 2023. p. 1-5. https://doi.org/10.1109/RASSE60029.2023.10363477
25. Rössler A., Cozzolino D., Verdoliva L., Riess C., Thies J., Niessner M. FaceForensics++: Learning to Detect Manipulated Facial Images. In: 2019 IEEE/CVF International Conference on Computer Vision (ICCV). Seoul, Korea (South): IEEE Press; 2019. p. 1-11. https://doi.org/10.1109/ICCV.2019.00009
26. Güera D., Delp E.J. Deepfake Video Detection Using Recurrent Neural Networks. In: 2018 15th IEEE International Conference on Advanced Video and Signal Based Surveillance (AVSS). Auckland, New Zealand: IEEE Press; 2018. p. 1-6. https://doi.org/10.1109/AVSS.2018.8639163
27. Nguyen D., et al. FakeFormer: Efficient Vulnerability-Driven Transformers for Generalisable Deepfake Detection. arXiv:2410.21964. 2024. https://doi.org/10.48550/arXiv.2410.21964
28. Dolhansky B., et al. The DeepFake Detection Challenge (DFDC) Dataset. arXiv:2006.07397. 2020. https://doi.org/10.48550/arXiv.2006.07397
29. Li Y., Yang X., Sun P., Qi H., Lyu S. Celeb-DF: A Large-Scale Challenging Dataset for DeepFake Forensics. In: 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Seattle, WA, USA: IEEE Press; 2020. p. 3204-3213. https://doi.org/10.1109/CVPR42600.2020.00327
30. Hondru V., et al. ExDDV: A New Dataset for Explainable Deepfake Detection in Video. arXiv:2503.14421. 2025. https://doi.org/10.48550/arXiv.2503.14421
31. Akhtar Z., Pendyala T.L., Athmakuri V.S. Video and Audio Deepfake Datasets and Open Issues in Deepfake Technology: Being Ahead of the Curve. Forensic Sciences. 2024;4(3):289-377. https://doi.org/10.3390/forensicsci4030021
32. Sandotra N., Arora B. A comprehensive evaluation of feature-based AI techniques for deepfake detection. Neural Computing and Applications. 2024;36(8):3859-3887. https://doi.org/10.1007/s00521-023-09288-0
33. Kaur A., et al. Deepfake video detection: challenges and opportunities. Artificial Intelligence Review. 2024;57(6):159. https://doi.org/10.1007/s10462-024-10810-6
34. Balafrej I., Dahmane M. Enhancing practicality and efficiency of deepfake detection. Scientific Reports. 2024;14(1):31084. https://doi.org/10.1038/s41598-024-82223-y
35. Romeo L., et al. Faster Than Lies: Real-time Deepfake Detection using Binary Neural Networks. arXiv:2406.04932. 2024. https://doi.org/10.48550/arXiv.2406.04932
36. Mittal G., Hegde C., Memon N. Gotcha: Real-Time Video Deepfake Detection via Challenge-Response. In: 2024 IEEE 9th European Symposium on Security and Privacy (EuroS&P). Vienna, Austria: IEEE Press; 2024. p. 1-20. https://doi.org/10.1109/EuroSP60621.2024.00009
37. Xie Z., Luo J. Shaking the Fake: Detecting Deepfake Videos in Real Time via Active Probes. arXiv:2409.10889. 2024. https://doi.org/10.48550/arXiv.2409.10889
38. Namiot D. Schemes of attacks on machine learning models. International Journal of Open Information Technologies. 2023;11(5):68-86. EDN: YVRDOB
39. Sukhomlin V.A. The Concept and Main Characteristics of the Master's Degree Program "Cybersecurity" of the faculty of Computational Mathematics and Cybernetics of Lomonosov Moscow State University. International Journal of Open Information Technologies. 2023;11(7):143-148. (In Russ., abstract in Eng.) EDN: MPHLSQ
40. Namiot D.E., Ilyushin E.A., Chizhov I.V. Attacks on Machine Learning Systems – Common Problems and Methods. International Journal of Open Information Technologies. 2022;10(3):17-22. (In Russ., abstract in Eng.) EDN: DZFSKQ
41. Ritter P., Lucian D., Anderies, Chowanda A. Comparative Analysis and Evaluation of CNN Models for Deepfake Detection. In; 2023 4th International Conference on Artificial Intelligence and Data Sciences (AiDAS). IPOH, Malaysia: IEEE Press; 2023. p. 250-255. https://doi.org/10.1109/AiDAS60501.2023.10284611
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.
Редакционная политика журнала основывается на традиционных этических принципах российской научной периодики и строится с учетом этических норм работы редакторов и издателей, закрепленных в Кодексе поведения и руководящих принципах наилучшей практики для редактора журнала (Code of Conduct and Best Practice Guidelines for Journal Editors) и Кодексе поведения для издателя журнала (Code of Conduct for Journal Publishers), разработанных Комитетом по публикационной этике - Committee on Publication Ethics (COPE). В процессе издательской деятельности редколлегия журнала руководствуется международными правилами охраны авторского права, нормами действующего законодательства РФ, международными издательскими стандартами и обязательной ссылке на первоисточник.
Журнал позволяет авторам сохранять авторское право без ограничений. Журнал позволяет авторам сохранить права на публикацию без ограничений.
Издательская политика в области авторского права и архивирования определяются «зеленым цветом» в базе данных SHERPA/RoMEO.
Все статьи распространяются на условиях лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная, которая позволяет другим использовать, распространять, дополнять эту работу с обязательной ссылкой на оригинальную работу и публикацию в этом журналe.
