Производительность параллельных вычислений при обучении моделей глубокого обучения
Аннотация
Потребность в вычислительных ресурсах, необходимых для обучения новых моделей глубокого обучения, в настоящее время постоянно растет. Этот рост привел к появлению специализированных процессоров, называемых ускорителями. Такие ускорители, как графические процессоры (GPU) и тензорные процессоры (TPU) достигают лучшей производительности, чем центральный процессор (CPU), благодаря своим ресурсам параллельной реализации операций и высокой пропускной способности памяти. Google Colaboratory (Colab) – облачный сервис, позволяющий писать код на Python в Jupyter Notebook, обеспечивает свободный доступ к аппаратным платформам TPU и GPU, позволяя разрабатывать в браузере современные модели глубокого обучения. Основная цель данной статьи – сравнение производительности обучения моделей, работающих на ускорителях облачной платформы Colaboratory, предназначенных для обработки текстовых и графических данных. Представлено сравнение CPU и ускорителей GPU, TPU при обучении распознаванию изображений средствами моделей сверточной нейронной сети (CNN) и глубокой сети доверия (DBN). Выполнено сравнение производительности этих платформ в ходе обучения двунаправленных рекуррентных моделей долговременной краткосрочной памяти (BILSTM) и управляемого рекуррентного блока (BIGRU) с текстовыми данными на входе. Получены зависимости временных характеристик и метрик качества обучения моделей от их параметров, позволяющие количественно оценить производительность платформ. Для реализации параллелизма всех отобранных моделей выбрана Google-библиотека Tensorflow, поддерживающая реализацию параллельных вычислений на ускорителях GPU и TPU. Обучение распознаванию изображений выполнялось с использованием набора данных MNIST (Modified National Institute of Standards and Technology – модифицированная база данных Национального института стандартов и технологий), обучение классификации текстов – с набором IMDB (Internet Movie Database – интернет-база фильмов). Показано, что при этом время обучения на графических и текстовых данных сокращается в разы. Однако в случае текстов степень сокращения оказалась меньшей.
Литература
2. Li X., et al. Deep Learning Attention Mechanism in Medical Image Analysis: Basics and Beyonds. International Journal of Network Dynamics and Intelligence. 2023;2(1):93-116. https://doi.org/10.53941/ijndi0201006
3. Bharadiya J. A Comprehensive Survey of Deep Learning Techniques Natural Language Processing. European Journal of Technology. 2023;7(1):58-66. https://doi.org/10.47672/ejt.1473
4. Yin X., Liu C., Fang X. Sentiment analysis based on BiGRU information enhancement. Journal of Physics: Conference Series. 2021;1748(3):032054. https://doi.org/10.1088/1742-6596/1748/3/032054
5. Mijwil M.M., Salem I.E., Ismaeel M.M. The Significance of Machine Learning and Deep Learning Techniques in Cybersecurity: A Comprehensive Review. Iraqi Journal For Computer Science and Mathematics. 2023;4(1):87-101. https://doi.org/10.52866/ijcsm.2023.01.01.008
6. Shiri F.M., et al. A Comprehensive Overview and Comparative Analysis on Deep Learning Models. Journal on Artificial Intelligence. 2024;6:301-360. https://doi.org/10.32604/jai.2024.054314
7. Venkatesan R., Li B. Convolutional neural networks in visual computing: a concise guide. CRC Press; 2017. 186 p. https://doi.org/10.4324/9781315154282
8. Naskath J., Sivakamasundari G., Begum A.A.S. A study on different deep learning algorithms used in deep neural nets: MLP SOM and DBN. Wireless Personal Communications. 2023;128(4):2913-2936. https://doi.org/10.1007/s11277-022-10079-4
9. Mikolov T., et al. Recurrent neural network based language model. Interspeech. 2010;2(3):1045-1048. https://doi.org/10.21437/Interspeech.2010-343
10. Dally W.J., Keckler S.W., Kirk D.B. Evolution of the graphics processing unit (GPU). IEEE Micro. 2021;41(6):42-51. https://doi.org/10.1109/MM.2021.3113475
11. Künas C.A., Padoin E.L., Navaux P.O. A. Accelerating Deep Learning Model Training on Cloud Tensor Processing Unit. In: Proceedings of the 13th International Conference on Cloud Computing and Services Science – CLOSER. Vol. 1. SciTePress; 2023. p. 316-323. https://doi.org/10.5220/0012017300003488
12. Qin C., et al. Long short-term memory with activation on gradient. Neural Networks. 2023;164:135-145. https://doi.org/10.1016/j.neunet.2023.04.026
13. Patil G.G., Banyal R.K. Techniques of deep learning for image recognition. In: 2019 IEEE 5th International Conference for Convergence in Technology (I2CT). Bombay, India: IEEE Press; 2019. p. 1-5. https://doi.org/10.1109/I2CT45611.2019.9033628
14. Ravikumar A., et al. Effect of neural network structure in accelerating performance and accuracy of a convolutional neural network with GPU/TPU for image analytics. PeerJ Computer Science. 2022;8:e909. https://doi.org/10.7717/peerj-cs.909
15. Islam M.S., Ghani N.A. A Novel BiGRUBiLSTM Model for Multilevel Sentiment Analysis Using Deep Neural Network with BiGRU-BiLSTM. In: Ab. Nasir A.F., Ibrahim A.N., Ishak I., Mat Yahya N., Zakaria M.A., P. P. Abdul Majeed A. (eds.) Recent Trends in Mechatronics Towards Industry 4.0. Lecture Notes in Electrical Engineering. Vol. 730. Singapore: Springer; 2021. p. 403-414. https://doi.org/10.1007/978-981-33-4597-3_37
16. Khasanah I.N. Sentiment classification using fasttext embedding and deep learning model. Procedia Computer Science. 2021;189:343-350. https://doi.org/10.1016/j.procs.2021.05.103
17. Geiping J., Goldstein T. Cramming: training a language model on a single GPU in one day. In: Proceedings of the 40th International Conference on Machine Learning (ICML'23). Vol. 202. JMLR.org; 2023. Article number: 446. p. 11117-11143.
18. Siek M. Benchmarking CPU vs. GPU performance in building predictive LSTM deep learning models. AIP Conference Proceedings. 2023;2510(1):030017. https://doi.org/10.1063/5.0128638
19. Kimm H., Paik I., Kimm H. Performance comparision of TPU, GPU, CPU on Google colaboratory over distributed deep learning. In: 2021 IEEE 14th International Symposium on Embedded Multicore/Many-core Systems-on-Chip (MCSoC). Singapore, Singapore: IEEE Press; 2021. p. 312-319. https://doi.org/10.1109/MCSoC51149.2021.00053
20. Zhao X., Wang L., Zhang Y., et al. A review of convolutional neural networks in computer vision. Artificial Intelligence Review. 2024;57:99. https://doi.org/10.1007/s10462-024-10721-6
21. Sharma S., Guleria K. Deep learning models for image classification: comparison and applications. In: 2022 2nd International Conference on Advance Computing and Innovative Technologies in Engineering (ICACITE). Greater Noida, India: IEEE Press; 2022. p. 1733-1738. https://doi.org/10.1109/ICACITE53722.2022.9823516
22. Zhu W. Classification of MNIST handwritten digit database using neural network. In: Proceedings of the research school of computer science. Acton: Australian National University; 2018. Vol. 2601. Available at: https://users.cecs.anu.edu.au/~Tom.Gedeon/conf/ABCs2018/paper/ABCs2018_paper_117.pdf (accessed 06.10.2023).
23. Dewi C., Chen R.C., Hendry, Hung H.T. Comparative Analysis of Restricted Boltzmann Machine Models for Image Classification. In: Nguyen N., Jearanaitanakij K., Selamat A., Trawiński B., Chittayasothorn S. (eds.) Intelligent Information and Database Systems. ACIIDS 2020. Lecture Notes in Computer Science. Vol. 12034. Cham: Springer; 2020. p. 285-296. https://doi.org/10.1007/978-3-030-42058-1_24
24. Yang T., Silver D.L. The Disadvantage of CNN versus DBN Image Classification Under Adversarial Conditions. Canadian AI 2021. Canadian Artificial Intelligence Association (CAIAC); 2021. Article number: 2021S18. https://doi.org/10.21428/594757db.b65acd40
25. Liu G., Xiao L., Xiong C. Image classification with deep belief networks and improved gradient descent. In: 2017 IEEE International Conference on Computational Science and Engineering (CSE) and IEEE International Conference on Embedded and Ubiquitous Computing (EUC). Guangzhou, China: IEEE Press; 2017. p. 375-380. https://doi.org/10.1109/CSE-EUC.2017.74
26. Hochreiter S., Schmidhuber J. Long short-term memory. Neural computation. 1997;9(8):1735-1780. https://doi.org/10.1162/neco.1997.9.8.1735
27. Kim J., Lee J.H. Multiple range-restricted bidirectional gated recurrent units with attention for relation classification. arXiv:1707.01265. 2017. https://doi.org/10.48550/arXiv.1707.01265
28. Tripathi S., et al. Analyzing sentiment using IMDb dataset. In: 2020 12th International Conference on Computational Intelligence and Communication Networks (CICN). Bhimtal, India: IEEE Press; 2020. p. 30-33. https://doi.org/10.1109/CICN49253.2020.9242570
29. Cho K., et al. Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation. In: Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP). Doha, Qatar: Association for Computational Linguistics; 2013. p. 1724-1734. https://doi.org/10.3115/v1/D14-1179
30. Qin C., et al. Long short-term memory with activation on gradient. Neural Networks. 2023;164:135-145. https://doi.org/10.1016/j.neunet.2023.04.026
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.
Редакционная политика журнала основывается на традиционных этических принципах российской научной периодики и строится с учетом этических норм работы редакторов и издателей, закрепленных в Кодексе поведения и руководящих принципах наилучшей практики для редактора журнала (Code of Conduct and Best Practice Guidelines for Journal Editors) и Кодексе поведения для издателя журнала (Code of Conduct for Journal Publishers), разработанных Комитетом по публикационной этике - Committee on Publication Ethics (COPE). В процессе издательской деятельности редколлегия журнала руководствуется международными правилами охраны авторского права, нормами действующего законодательства РФ, международными издательскими стандартами и обязательной ссылке на первоисточник.
Журнал позволяет авторам сохранять авторское право без ограничений. Журнал позволяет авторам сохранить права на публикацию без ограничений.
Издательская политика в области авторского права и архивирования определяются «зеленым цветом» в базе данных SHERPA/RoMEO.
Все статьи распространяются на условиях лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная, которая позволяет другим использовать, распространять, дополнять эту работу с обязательной ссылкой на оригинальную работу и публикацию в этом журналe.
