Применение моделей трансформеров для классификации рентгеновских снимков грудной клетки
Аннотация
В данной работе оценивается качество моделей визуальных трансформеров для решения задачи классификации рентгеновских снимков грудной клетки. Рентгеновские снимки грудной клетки являются наиболее известным и распространенным клиническим методом диагностики пневмонии. Однако диагностика пневмонии по рентгеновским снимкам грудной клетки является сложной задачей даже для опытных радиологов. Были проведены компьютерные эксперименты по применению переноса обучения для распознавания пневмонии на рентгеновских снимках грудной клетки. Для этого в качестве базовых моделей обучения были выбраны глубокие нейронные сети трансформеры ViT, Swin и глубокие сверточные сети ResNet и VGG-16, предобученные на датасете ImageNet. Обучение моделей проводилось с функцией потерь «CrossEntropyLoss» и показателями точности accuracy, precision, recall, f1-score и AUC (Area Under Curve). После обучения выбиралась лучшая предварительно обученная модель на основе вышеуказанных метрик точности, полученных на тестовом наборе. В результате экспериментов наилучшую точность классификации показала модель Swin (Tiny) с показателями точности accuracy, precision и recall, равными 88%, 89%, 94% соответственно. После тонкой настройки показатели достигли значений 90%, 94%, 90%, 92% и 90% соответственно.
Литература
2. Kwon T., Lee S.P., Kim D., Jang J., Lee M., Kang S.U., et al. Diagnostic performance of artificial intelligence model for pneumonia from chest radiography. PLoS ONE. 2021;16(4):e0249399. https://doi.org/10.1371/journal.pone.0249399
3. Krishnan Ko.S., Krishnan Ka.S. Vision Transformer based COVID-19 Detection using Chest X-rays. In: 2021 6th International Conference on Signal Processing, Computing and Control (ISPCC). Solan, India: IEEE Computer Society; 2021. p. 644-648. https://doi.org/10.1109/ISPCC53510.2021.9609375
4. Ma Y., Lv W. Identification of Pneumonia in Chest X-Ray Image Based on Transformer. International Journal of Antennas and Propagation. 2022;2022:5072666. https://doi.org/10.1155/2022/5072666
5. Parveen Z., Adinarayana S., Aamani R., Santoshi S., Tulasi S. Efficient pneumonia detection in chest X-ray images using convolution neural network. International Journal of All Research Education and Scientific Methods. 2021;9(7):2900-2905. https://doi.org/10.1371/journal.pone.0256630
6. Liang H., Fu W., Yi F. A Survey of Recent Advances in Transfer Learning. In: 2019 IEEE 19th International Conference on Communication Technology (ICCT). Xi'an, China: IEEE Computer Society; 2019. p. 1516-1523. https://doi.org/10.1109/ICCT46805.2019.8947072
7. Shorten C., Khoshgoftaar T.M. A survey on image data augmentation for deep learning. Journal of Big Data. 2019;6(1):1-48. https://doi.org/10.1186/s40537-019-0197-0
8. Shin H.-C., Roth H.R., Gao M., Lu L., Xu Z., Nogues I., Yao J., Mollura D., Summers R.M. Deep convolutional neural networks for computer-aided detection: CNN architectures, dataset characteristics and transfer learning. IEEE Transactions on Medical Imaging. 2016;35(5):1285-1298. https://doi.org/10.1109/TMI.2016.2528162
9. Shamshad F., Khan S., Zamir S.W., Khan M.H., Hayat M., Khan F.S., Fu H. Transformers in medical imaging: A survey. Med Image Analysis. 2023;88:102802. https://doi.org/10.1016/j.media.2023.102802
10. Khoiriyah S.A., Basofi A., Fariza A. Convolutional Neural Network for Automatic Pneumonia Detection in Chest Radiography. In: 2020 International Electronics Symposium (IES). Surabaya, Indonesia: IEEE Computer Society; 2020. p. 476-480. https://doi.org/10.1109/IES50839.2020.9231540
11. Dosovitskiy A., et al. An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale. arXiv:2010.11929v2. https://doi.org/10.48550/arXiv.2010.11929
12. Rajpurkar P., Irvin J., Zhu K., et al. CheXNet: Radiologist-Level Pneumonia Detection on Chest X-Rays with Deep Learning. arXiv:1711.05225v3. https://doi.org/10.48550/arXiv.1711.05225
13. Ayan E., Ünver H.M. Diagnosis of Pneumonia from Chest X-Ray Images Using Deep Learning. In: 2019 Scientific Meeting on Electrical-Electronics & Biomedical Engineering and Computer Science (EBBT). Istanbul, Turkey: IEEE Computer Society; 2019. p. 1-5. https://doi.org/10.1109/EBBT.2019.8741582
14. Simonyan K., Zisserman A. Very Deep Convolutional Networks for Large-Scale Image Recognition. arXiv:1409.1556v6. https://doi.org/10.48550/arXiv.1409.1556
15. Krizhevsky A., Sutskever I., Hinton G.E. ImageNet classification with deep convolutional neural networks. Communications of the ACM. 2017;60(6):84-90. https://doi.org/10.1145/3065386
16. Shchetinin E.Yu., Sevastianov L.A. On transfer learning methods in biomedical images classification tasks. Informatics and Applications. 2021;15(4):59-64. (In Russ., abstract in Eng.) https://doi.org/10.14357/19922264210408
17. Kermany D., Zhang K., Goldbaum M. Labeled optical coherence tomography (OCT) and chest X-ray images for classification. Mendeley Data. 2018;2. https://doi.org/10.17632/rscbjbr9sj.2
18. Liu Z., et al. Swin Transformer: Hierarchical Vision Transformer Using Shifted Windows. In: Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision. Montreal, QC, Canada: IEEE Computer Society; 2021. p. 10012-10022. https://doi.org/10.48550/arXiv.2103.14030
19. Giełczyk A., et al. Pre-processing methods in chest X-ray image classification. PLoS ONE. 2022;17(4):e0265949. https://doi.org/10.1371/journal.pone.0265949
20. Shelke A., et al. Chest X-ray classification using deep learning for automated COVID-19 screening. SN computer science. 2021;2(4):300. https://doi.org/10.1007/s42979-021-00695-5
21. Showkat S., Qureshi S. Efficacy of Transfer Learning-based ResNet models in Chest X-ray image classification for detecting COVID-19 Pneumonia. Chemometrics and Intelligent Laboratory Systems. 2022;224:104534. https://doi.org/10.1016/j.chemolab.2022.104534
22. Xia K., Wang J. Recent advances of transformers in medical image analysis: a comprehensive review. MedComm Future Medicine. 2023;2(1):e38. https://doi.org/10.1002/mef2.38
23. Zhou H.-Y., et al. A transformer-based representation-learning model with unified processing of multimodal input for clinical diagnostics. Nature Biomedical Engineering. 2023;7:743-755. https://doi.org/10.1038/s41551-023-01045-x
24. He K., Zhang X., Ren Sh., Sun J. Deep Residual Learning for Image Recognition. In: 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas, NV, USA: IEEE Computer Society; 2016. p. 770-778. https://doi.org/10.1109/CVPR.2016.90
25. Thrun S., Pratt L. Learning to Learn. Berlin: Springer Science and Business Media Publ.; 2012. 354 p. https://doi.org/10.1007/978-1-4615-5529-2
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.
Редакционная политика журнала основывается на традиционных этических принципах российской научной периодики и строится с учетом этических норм работы редакторов и издателей, закрепленных в Кодексе поведения и руководящих принципах наилучшей практики для редактора журнала (Code of Conduct and Best Practice Guidelines for Journal Editors) и Кодексе поведения для издателя журнала (Code of Conduct for Journal Publishers), разработанных Комитетом по публикационной этике - Committee on Publication Ethics (COPE). В процессе издательской деятельности редколлегия журнала руководствуется международными правилами охраны авторского права, нормами действующего законодательства РФ, международными издательскими стандартами и обязательной ссылке на первоисточник.
Журнал позволяет авторам сохранять авторское право без ограничений. Журнал позволяет авторам сохранить права на публикацию без ограничений.
Издательская политика в области авторского права и архивирования определяются «зеленым цветом» в базе данных SHERPA/RoMEO.
Все статьи распространяются на условиях лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная, которая позволяет другим использовать, распространять, дополнять эту работу с обязательной ссылкой на оригинальную работу и публикацию в этом журналe.
