Экспериментальный анализ моделей трансферного обучения для классификации изображений
Аннотация
Настоящее время характеризуется значительным повышением производительности в задачах классификации изображений, обусловленным использованием методов глубокого обучения. Но, как правило, эти методы требуют больших наборов аннотированных данных, что затрудняет их применение при небольших наборах. Многообещающей альтернативой преодоления проблемы стал метод трансферного обучения, используемый для оптимизации моделей глубокого обучения. Сущность оптимизации состоит в адаптации предварительно обученной нейронной сети к новой задаче средствами небольшого набора данных конкретной предметной области. Цель данной работы – сравнение производительности моделей трансферного обучения в задачах классификации изображений для разных способов их оптимизации. Выполнена квалиметрическая оценка трех отобранных моделей на двух целевых наборах данных – простом и сложном. Первая модель – MobileNetV3 от компании Google, предназначенная для устройств с ограниченными ресурсами, адаптировалась простым методом извлечения признаков. Вторая – ResNet-50, представленная компанией Microsoft Research, адаптировалась методом тонкой настройки параметров в модель под названием BigTransfer. Третья – гибридная модель, адаптировалась методом извлечения признаков, объединяет предварительно обученную ResNet-50 с преобразователем компьютерного зрения Vision Transformer для сложных изображений целевого набора. Работа содержит описание экспериментов, где построены графики производительности указанных моделей. С целью измерения производительности использовались такие оценочные метрики как точность, потери и время обучения. Результаты экспериментов выявили, что для сложного набора самой точной была гибридная модель, имеющая при этом наибольшее время обучения. Простой набор продемонстрировал лучшие значения точности в модели Big Transfer. MobileNetV3 имела схожую с ней точность, но меньшее время обучения и большую простоту использования. Проведенное исследование показало, что выбор метода оптимизации модели трансферного обучения в задачах классификации изображений на заданных целевых наборах – это компромисс между достижением высокой точности и малым временем обучения.
Литература
2. Gupta J., Pathak S., Kumar G. Deep learning (CNN) and transfer learning: a review. Journal of Physics: Conference Series. 2022;2273(1):012029. https://doi.org/10.1088/1742-6596/2273/1/012029
3. Petrov A.I., Belov Yu.S. Transfer learning in neural network processing of medical image data. E-Scio. 2023;(6):88-98. (In Russ., abstract in Eng.) EDN: LOUHOC
4. Theodoris C.V., Xiao L., Chopra A., Chaffin M.D., Al Sayed Z.R., Hill M.C., Mantineo H., Brydon E.M., Zeng Z., Liu X.S., Ellinor P.T. Transfer learning enables predictions in network biology. Nature. 2023;618(7965):616-624. https://doi.org/10.1038/s41586-023-06139-9
5. Hossen M.I., Awrangjeb M., Pan S., et al. Transfer learning in agriculture: a review. Artificial Intelligence Review. 2025;58:97. https://doi.org/10.1007/s10462-024-11081-x
6. Parfenov D.I., Bolodurina I.P., Grishina L.S., Zhigalov A.Yu., Tolmachev S.V. Investigation of Transfer Learning Efficiency in Adversarial Attacks. Modern Information Technologies and IT-Education. 2022;18(4):861-871. (In Russ., abstract in Eng.) https://doi.org/10.25559/SITITO.18.202204.861-871
7. Jha R., Bhattacharjee V., Mustafi A. Transfer learning with feature extraction modules for improved classifier performance on medical image data. Scientific Programming. 2022;2022(1):4983174. https://doi.org/10.1155/2022/4983174
8. Li X., et al. Improving feature extraction from histopathological images through a fine-tuning ImageNet model. Journal of Pathology Informatics. 2022;13:100115. https://doi.org/10.1016/j.jpi.2022.100115
9. Mputu H.S., Abdel-Mawgood A., Shimada A., Sayed M.S. Tomato Quality Classification Based on Transfer Learning Feature Extraction and Machine Learning Algorithm Classifiers. IEEE Access. 2024;12:8283-8295. https://doi.org/10.1109/ACCESS.2024.3352745
10. Kolesnikov A., et al. Big Transfer (BiT): General Visual Representation Learning. In: Vedaldi A., Bischof H., Brox T., Frahm J.M. (eds.) Computer Vision – ECCV 2020. ECCV 2020. Lecture Notes in Computer Science. Vol. 12350. Cham: Springer; 2020. p. 491-507. https://doi.org/10.1007/978-3-030-58558-7_29
11. Shahriar T. Comparative Analysis of Lightweight Deep Learning Models for Memory-Constrained Devices. arXiv:2505.03303. 2025. https://doi.org/10.48550/arXiv.2505.03303
12. Russakovsky J., Deng H., Su J., Krause S., Satheesh S., Ma Z., Huang A., Karpathy A., Khosla M., Bernstein, et al. Imagenet large scale visual recognition challenge. International Journal of Computer Vision. 2015;115:211-252. https://doi.org/10.1007/s11263-015-0816-y
13. Liao J., et al. A machine learning-based feature extraction method for image classification using ResNet architecture. Digital Signal Processing. 2025;160:105036. https://doi.org/10.1016/j.dsp.2025.105036
14. Joshi A.L., Veetil I.K., Premjith B., Sowmya V., Gopalakrishnan E.A., Vinayakumar R. Performance Analysis of Big Transfer Models on Biomedical Image Classification. In: Pham H. (eds.) Analytics Modeling in Reliability and Machine Learning and Its Applications. Springer Series in Reliability Engineering. Cham: Springer; 2025. p. 141-160. https://doi.org/10.1007/978-3-031-72636-1_7
15. Sun C., Shrivastava A., Singh S., Gupta A. Revisiting Unreasonable Effectiveness of Data in Deep Learning Era. In: 2017 IEEE International Conference on Computer Vision (ICCV). Venice, Italy: IEEE Press; 2017. p. 843-852. https://doi.org/10.1109/ICCV.2017.97
16. Samoilova T.A. Comparative Analysis of Hyperparameter Optimization Using Optuna and Hyperopt for Convolutional Neural Networks. Modern Information Technologies and IT-Education. 2024;20(3):656-665. (In Russ., abstract in Eng.) https://doi.org/10.25559/SITITO.020.202403.656-665
17. Dosovitskiy A., et al. An image is worth 16x16 words: Transformers for image recognition at scale. arXiv:2010.11929. 2020. https://doi.org/10.48550/arXiv.2010.11929
18. Vaswani A., Shazeer N., Parmar N., Uszkoreit J., Jones L., Gomez A.N., Kaiser L., Polosukhin I. Attention is all you need. In: Proceedings of the 31st International Conference on Neural Information Processing Systems (NIPS'17). Red Hook, NY, USA: Curran Associates Inc.; 2017. p. 6000-6010.
19. Tharani Pavithra P., Baranidharan B. A hybrid ViT-CNN model premeditated for rice leaf disease identification. International Journal of Computational Methods and Experimental Measurements. 2024;12(1):35-43. https://doi.org/10.18280/ijcmem.120104
20. Pantelaios D., Theofilou P.-A., Tzouveli P., Kollias S. Hybrid CNN-ViT Models for Medical Image Classification. In: 2024 IEEE International Symposium on Biomedical Imaging (ISBI). Athens, Greece: IEEE Press; 2024. p. 1-4. https://doi.org/10.1109/ISBI56570.2024.10635205
21. Netrapalli P. Stochastic Gradient Descent and Its Variants in Machine Learning. Journal of the Indian Institute of Science. 2019;99:201-213. https://doi.org/10.1007/s41745-019-0098-4
22. Sun H., Cai Y., Tao R., Shao Y., Xing L., Zhang C., Zhao Q. An Improved Reacceleration Optimization Algorithm Based on the Momentum Method for Image Recognition. Mathematics. 2024;12(11):1759. https://doi.org/10.3390/math12111759
23. Huang X. High Resolution Remote Sensing Image Classification Based on Deep Transfer Learning and Multi Feature Network. IEEE Access. 2023;11:110075-110085. https://doi.org/10.1109/ACCESS.2023.3320792
24. Kim J.I., Baek J.W., Kim C.B. Hierarchical image classification using transfer learning to improve deep learning model performance for amazon parrots. Scientific Reports. 2025;15:3790. https://doi.org/10.1038/s41598-025-88103-3
25. Shu M. Utilizing Transfer Learning for Deep Learning Based Image Classification. Journal of Intelligence Technology and Innovation (JITI). 2025;3(1):58-73. https://doi.org/10.30212/JITI.202503.004
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.
Редакционная политика журнала основывается на традиционных этических принципах российской научной периодики и строится с учетом этических норм работы редакторов и издателей, закрепленных в Кодексе поведения и руководящих принципах наилучшей практики для редактора журнала (Code of Conduct and Best Practice Guidelines for Journal Editors) и Кодексе поведения для издателя журнала (Code of Conduct for Journal Publishers), разработанных Комитетом по публикационной этике - Committee on Publication Ethics (COPE). В процессе издательской деятельности редколлегия журнала руководствуется международными правилами охраны авторского права, нормами действующего законодательства РФ, международными издательскими стандартами и обязательной ссылке на первоисточник.
Журнал позволяет авторам сохранять авторское право без ограничений. Журнал позволяет авторам сохранить права на публикацию без ограничений.
Издательская политика в области авторского права и архивирования определяются «зеленым цветом» в базе данных SHERPA/RoMEO.
Все статьи распространяются на условиях лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная, которая позволяет другим использовать, распространять, дополнять эту работу с обязательной ссылкой на оригинальную работу и публикацию в этом журналe.
