Сравнительный анализ архитектур ResNet и типов спектральных данных для классификации речи пациентов после гемиглоссэктомии
Аннотация
Введение. Рак языка – серьёзная онкологическая проблема, лечение которой часто сопровождается нарушениями речевых функций. Гемиглоссэктомия, как основной метод хирургического вмешательства, требует длительной реабилитации, а традиционные методы оценки восстановления речи основываются на субъективных наблюдениях. В данной работе предложен упрощенный метод оценки речи пациентов после гемиглоссэктомии с использованием нейронных сетей ResNet, что позволяет перейти к объективному анализу на основе спектральных данных и повысить точность диагностики.
Материалы и методы. Исследование основано на аудиозаписях 29 пациентов, перенёсших гемиглоссэктомию с реконструкцией и без неё. Записи были сделаны на трёх этапах: до операции, сразу после неё и после трёхмесячной реабилитации. Аудиофайлы преобразовывались в три типа спектральных данных: спектрограммы, мел-спектрограммы и MFCC (мел-частотные кепстральные коэффициенты). В ходе обучения моделей применялись различные архитектуры семейства ResNet – 18, 34, 50, 101 и 152 – с вариацией параметров dropout и размеров входных изображений. Данные были случайным образом разделены на обучающий (70%), проверочный (15%) и тестовый (15%) наборы.
Результаты исследования. Максимальная точность классификации составила 0,69 для полного набора данных (ResNet-152), 0,71 для пациентов без реконструкции и 0,77 для пациентов с реконструкцией (ResNet-34). Разделение данных по типу операции позволило улучшить точность до 0,7692 для пациентов с реконструкцией при использовании мел-спектрограмм и ResNet-34, что подтверждает их преимущество для анализа нелинейных изменений частотных характеристик.
Обсуждение и заключение. Предложенный метод позволяет упростить оценку речи, обеспечивая объективный и стандартизированный мониторинг динамики восстановления речевых функций. Это снижает нагрузку на медицинский персонал и повышает эффективность реабилитационных программ. Для дальнейшего улучшения точности планируется реализовать ансамблевый подход, объединяющий результаты анализа различных спектральных представлений, а также анализировать только значимые части спектрограмм, что позволит повысить надёжность классификации.
Литература
2. Dil O.S., Kulbakin D.E., Choinzonov E.L., et al. Pregnancy and oral cancer. Issues of oncology. 2023;69(6):1014-1020. (In Russ., abstract in Eng.) https://doi.org/10.37469/0507-3758-2023-69-6-1014-1020
3. Sdvizhkov A.M., Kozhanov L.G., Shatskaia N.Kh., Belov E.N. Analysis of the causes of cancer negligence and low survival in the patients with malignant neoplasms of ENT and oral cavity in the city of Moscow. Russian Bulletin of Otorhinolaryngology. 2014;(1):20-23. (In Russ., abstract in Eng.)
4. Dasgupta S., Samuel S. Assessment of Speech in Patients Undergoing Hemiglossectomy with Pri-mary Closure and Radiotherapy – A Prospective Study. Annals of Maxillofacial Surgery. 2022;12:157. https://doi.org/10.4103/ams.ams_76_22
5. Monish V., Jaya V., Rani R. Effect of tongue reconstruction following hemiglossectomy on articulation and speech intelligibility. IP Indian Journal of Anatomy and Surgery of Head, Neck and Brain. 2022;7:103-106. https://doi.org/10.18231/j.ijashnb.2021.027
6. Girish K.S., Thejaswini M.R., Surabhi M.Y. Functional Outcomes in a Client with Hemiglossectomy and Segmental Mandibulectomy: A Case Report. Research & Reviews Journal of Surgery. 2022;11(2):1-6.
7. Dasgupta S., Samuel S. Assessment of Dysphagia after Hemiglossectomy and Radiotherapy: A Prospective Study. Journal of Health and Allied Sciences NU. 2022;13(2):257-261. https://doi.org/10.1055/s-0042-1755451
8. Novokhrestova D., Hodashinsky I., Kostyuchenko E., Sarin K., Bardamova M. Fuzzy Classifier for Speech Assessment in Speech Rehabilitation. In: Prasanna S.R.M., Karpov A., Samudravijaya K., Agrawal S.S. (eds.) Speech and Computer. SPECOM 2022. Lecture Notes in Computer Science. Vol. 13721. Cham: Springer; 2022. p. 522-532. https://doi.org/10.1007/978-3-031-20980-2_44
9. Novokhrestova D., Kostyuchenko E., Borovskoy A. Classifier-Based Combined Measure of Syllable Pronunciation Similarity in Speech Rehabilitation. In: Kovalev S., Kotenko I., Sukhanov A. (eds.) Proceedings of the Seventh International Scientific Conference "Intelligent Information Technologies for Industry" (IITI’23). IITI 2023. Lecture Notes in Networks and Systems. Vol. 777. Cham: Springer; 2023. p. 127-136. https://doi.org/10.1007/978-3-031-43792-2_13
10. Lysova M.E., Kuznetsov M.E. Neural networks in medicine. Automation using artificial intelligence. In: Achievements of science and technology-DNiT-11-2023: Collection of scientific articles based on the materials of the II All-Russian Scientific Conference, Krasnoyarsk. Krasnoyarsk: Krasnoyarsk Regional House of Science and Technology of the Russian Union of Scientific and Engineering Public Associations; 2023. Vol. 7. p. 581-586. (In Russ., abstract in Eng.) https://doi.org/10.47813/dnit-II.2023.7.581-586
11. Yi Zh., Lai X., Sun A., Fang S. Tongue feature recognition to monitor rehabilitation: deep neural network with visual attention mechanism. Frontiers in Bioengineering and Biotechnology. 2024;12:1392513. https://doi.org/10.3389/fbioe.2024.1392513
12. Yenikaya M., Kerse G., Oktaysoy O. Artificial intelligence in the healthcare sector: comparison of deep learning networks using chest X-ray images. Frontiers in Public Health. 2024;12:1386110. https://doi.org/10.3389/fpubh.2024.1386110
13. Wu M., Cui G., Lv Sh., Chen L., Tian Z., Yang M., Bai W. Deep convolutional neural networks for multiple histologic types of ovarian tumors classification in ultrasound images. Frontiers in Oncology. 2023;13:1154200. https://doi.org/10.3389/fonc.2023.1154200
14. Vijaya K.V., Sharma L. Multi-stage glaucoma classification using pre-trained convolutional neural networks and voting-based classifier fusion. Frontiers in Physiology. 2023;14:1175881. https://doi.org/10.3389/fphys.2023.1175881
15. Yeoh P., Lai Kh. W., Goh S.L., Hasikin Kh., Wu X., Li P. Transfer learning-assisted 3D deep learning models for knee osteoarthritis detection: Data from the osteoarthritis initiative. Frontiers in Bioengineering and Biotechnology. 2023;11:1164655. https://doi.org/10.3389/fbioe.2023.1164655
16. Hwang I., Trivedi H., Brown-Mulry B., Zhang L., Nalla V., Gastounioti A., Gichoya J., Seyyed-Kalantari L., Banerjee I., Woo M. Impact of multi-source data augmentation on performance of convolutional neural networks for abnormality classification in mammography. Frontiers in Radiology. 2023;3:1181190. https://doi.org/10.3389/fradi.2023.1181190
17. Diaz Ochoa, Juan G., Maier, Lukas, Csiszár, Orsolya. Bayesian logical neural networks for human-centered applications in medicine. Frontiers in Bioinformatics. 2023;3:1082941. https://doi.org/10.3389/fbinf.2023.1082941
18. Youvan D. Neurological Disorder Simulations: Leveraging Quantum Computing and Neural Networks. 2024. https://doi.org/10.13140/RG.2.2.10851.98086
19. Kufel J., Bargieł-Łączek K., Kocot Sz., Koźlik M., Bartnikowska W., Janik M., Czogalik Ł., Dudek P., Magiera M., Lis A., Paszkiewicz I., Nawrat Z., Cebula M., Gruszczynska K. What Is Machine Learning, Artificial Neural Networks and Deep Learning?–Examples of Practical Applications in Medicine. Diagnostics. 2023;13:2582. https://doi.org/10.3390/diagnostics13152582
20. Chakraborty M. Rule extraction from convolutional neural networks for heart disease prediction. Biomedical Engineering Letters. 2024;14:649-661. https://doi.org/10.1007/s13534-024-00358-3
21. Joshi Sr., Kumar V., Venkataramanan V., C S K. A Review on Neural Networks and its Applications. Journal of Computer Technology & Applications. 2023;14(2):60-71. https://doi.org/10.37591/jocta.v14i2.1062
22. Volkov N.A., Ivanov A.V., Karpova N.E., Chuvakov A.V. Issledovanie zashumlennoi audiozapisi rechi dlya obrabotki v avtomatizirovannoi sisteme [Investigation of noisy audio recordings of speech for processing in an automated system]. Bezopasnost' tsifrovykh tekhnologii = Digital Technology Security. 2022;(2):9-20. (In Russ., abstract in Eng.) https://doi.org/10.17212/2782-2230-2022-2-9-20
23. Semenyuk V.V., Skladchikov M.V. Development of an algorithm for recognizing human emotions using a convolutional neural network using Python tools. Engineering Bulletin of the Don. 2023;(12):231-245. (In Russ., abstract in Eng.) EDN: TBESZT
24. Dvoynikova A.A. Cough recognition using spectrogram analysis. In: Bobtsov A.A. (ed.) The Almanac of scientific works of young scientists of ITMO University. St. Petersburg: ITMO National Research University; 2022. Vol. 2. p. 230-234. (In Russ., abstract in Eng.) EDN: TGGMEA
25. Novokhrestova D., Tomilina S., Laptev P., Kostyuchenko E. Classifier Based on Neural Networks to Determine the Patient’s Speech State. In: Kovalev S., Kotenko I., Sukhanov A., Li Y., Li Y. (eds.) Proceedings of the Eighth International Scientific Conference "Intelligent Information Technologies for Industry" (IITI'24), Vol. 2. IITI 2024. Lecture Notes in Networks and Systems. Vol. 1210. Cham: Springer; 2024. p. 236-244. https://doi.org/10.1007/978-3-031-77411-9_22
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.
Редакционная политика журнала основывается на традиционных этических принципах российской научной периодики и строится с учетом этических норм работы редакторов и издателей, закрепленных в Кодексе поведения и руководящих принципах наилучшей практики для редактора журнала (Code of Conduct and Best Practice Guidelines for Journal Editors) и Кодексе поведения для издателя журнала (Code of Conduct for Journal Publishers), разработанных Комитетом по публикационной этике - Committee on Publication Ethics (COPE). В процессе издательской деятельности редколлегия журнала руководствуется международными правилами охраны авторского права, нормами действующего законодательства РФ, международными издательскими стандартами и обязательной ссылке на первоисточник.
Журнал позволяет авторам сохранять авторское право без ограничений. Журнал позволяет авторам сохранить права на публикацию без ограничений.
Издательская политика в области авторского права и архивирования определяются «зеленым цветом» в базе данных SHERPA/RoMEO.
Все статьи распространяются на условиях лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная, которая позволяет другим использовать, распространять, дополнять эту работу с обязательной ссылкой на оригинальную работу и публикацию в этом журналe.
