Дистанционное обучение как современный формат совершенствования навыка чтения с губ
на базе корпуса омовизем
Аннотация
Статья посвящена актуальной проблеме в области визуального восприятия и понимания устной речи человеком с ограниченными возможностями по слуху. Низкая вероятность правильного понимания визуальной информации объясняется соответствием одной виземы нескольким фонемам. Это влияет на образование в устной речи разнозначных слов со схожими артикуляционными рисунками. Для определения этих слов использован введённый авторами термин «омовиземы». Большое количество в русской речи таких слов приводит к их взаимозаменяемости и не позволяет различить их между собой не только вне контекста, но в отдельных случаях и при его наличии Цель исследования заключается в анализе возможности и целесообразности использования корпуса омовизем для решения определённых трудностей в процессе обучения чтению с губ. В настоящее время одним из перспективных направлений в образовании является дистанционное обучение. В статье рассматривается использование дистанционной формы для анализа структуры чтения с губ на основе корпуса омовизем русского языка. Данный корпус разработан на основе подготовленного материала, сгруппированного в отдельные цепочки по принципу одинаковых артикуляционных оболочек слов, за исключением псевдослов. Он предназначен для ознакомления пользователя с наличием в устной русской речи омовизем. Это позволит ему пополнить свой словарный запас и упростить визуальное восприятие устного сообщения. Приведены примеры возможных вариантов распознанных слов со схожими виземами на основе контента разработанного корпуса. Полученные результаты исследования позволяют сделать вывод об актуальности выбранной темы. Они помогут спрогнозировать неопределённость при выборе правильного значения. Дистанционное обучение как современный формат направлено на развитие личностных способностей людей с ограниченными способностями по слуху, повышении их навыков в плане понимания устного высказывания, полноценной социальной адаптации в обществе.
Литература
2. Myasoedova M.A., Myasoedova Z.P. Interlingual Homonymy Hinders Communication when a Person Reads Foreign Words from the Lips (from the Position of a Native Russian Speaker). Sovremennye informacionnye tehnologii i IT-obrazovanie = Modern Information Technologies and IT-Education. 2020; 16(2):379-388. (In Eng.) doi: https://doi.org/10.25559/SITITO.16.202002.379-388
3. Cutler A., Butterfield S. Word boundary cues in clear speech: A supplementary report. Speech Communication. 1991; 10(4):335-353. (In Eng.) doi: https://doi.org/10.1016/0167-6393(91)90002-B
4. Cheng S., et al. Towards Pose-Invariant Lip-Reading. ICASSP 2020-2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). IEEE Computer Society, Barcelona, Spain; 2020. p. 4357-4361. (In Eng.) doi: https://doi.org/10.1109/ICASSP40776.2020.9054384
5. Ganzeyeva E.O. Problema rechevospriyatiya i recheponimaniya v sovremennoy nauke [The problem of speech perception and speech understanding in modern science]. Materialy yezhegodnoy nauchnoy konferentsii prepodavateley i aspirantov universiteta = Proceedings of the annual scientific conference of teachers and graduate students of the university. Minsk State Linguistic University, Minsk; 2021. Part 1. p. 66-68. Available at: http://e-lib.mslu.by/handle/edoc/8507 (accessed 28.05.2022). (In Russ., abstract in Eng.)
6. Xiao J., Yang S., Zhang Y., Shan S., Chen X. Deformation Flow Based Two-Stream Network for Lip Reading. 2020 15th IEEE International Conference on Automatic Face and Gesture Recognition (FG 2020). IEEE Computer Society, Buenos Aires, Argentina; 2020. p. 364-370. (In Eng.) doi: https://doi.org/10.1109/FG47880.2020.00132
7. Plungyan V.A. Korpus kak instrument i kak ideologiya: o nekotorykh urokakh sovremennoy korpusnoy lingvistiki [Corpus as a tool and as an ideology: on some lessons of modern corpus linguistics]. Russkij jazyk v nauchnom osveshchenii = Russian Language and Linguistic Theory. 2008; (2):7-20. Available at: https://elibrary.ru/item.asp?id=15127694 (accessed 28.05.2022). (In Russ.)
8. Savchuk S.O., Sichinava D.V. Obuchayushchiy korpus russkogo yazyka i yego ispol’zovaniye v prepodavatel’skoy praktike [Russian Educational Corpus and its use in teaching practice]. Natsional’nyy korpus russkogo yazyka: 2006-2008. Novyye rezul’taty i perspektivy = Russian National Corpus: 2006-2008. New results and prospects. Saint Petersburg, Nestor-Istoriya Publ.; 2009. p. 317-334. Available at: https://elibrary.ru/item.asp?id=18933892 (accessed 28.05.2022). (In Russ.)
9. Nagel' O.V. Korpusnaya lingvistika i yeye ispol'zovaniye v komp'yuterizirovannom yazykovom obuchenii [Corpus linguistics and its use in computer-based language teaching]. Jazyk i kul'tura = Language and Culture. 2008; (4):53-59. Available at: https://elibrary.ru/item.asp?id=11990991 (accessed 28.05.2022). (In Russ., abstract in Eng.)
10. Irgizova K.V. Korpusnaya lingvistika v otechestvennom i zarubezhnom yazykoznanii na sovremennom etape [Current state of Russian and international corpus linguistics]. Ogarev-online. 2019; (6):1-9. Available at: https://elibrary.ru/item.asp?id=39195626 (accessed 28.05.2022). (In Russ., abstract in Eng.)
11. Al-Hamzi A.M.S., Gougui A., Sari Amalia Y., Suhardijanto T. Corpus Linguistics and Corpus-Based Research and Its Implication in Applied Linguistics: A Systematic Review. PAROLE: Journal of Linguistics and Education. 2020; 10(2):176-181. (In Eng.) doi: https://doi.org/10.14710/parole.v10i2.176-181
12. Petajan E., Bischoff B., Bodoff D., Brooke N.M. An improved automatic lipreading system to enhance speech recognition. Proceedings of the SIGCHI Conference on Human Factors in Computing Systems (CHI'88). Association for Computing Machinery, New York, NY, USA; 1988. p. 19-25. (In Eng.) doi: https://doi.org/10.1145/57167.57170
13. Myasoyedova M.A., Myasoedova Z.P. Computer assessment of how well a person visually recognizes verbal Russian speech. 2018 IEEE 12th International Conference on Application of Information and Communication Technologies (AICT). IEEE Computer Society, Almaty, Kazakhstan; 2018. p. 1-5. (In Eng.) doi: https://doi.org/10.1109/ICAICT.2018.8747072
14. Myasoyedova M.A., Myasoyedova Z.P., Farkhadov M.P. Articulatory Uncertainty as a Result of Visual Recognition of Modified Sounds in Russian Speech. Proceedings of the 11th IEEE International Conference on Application of Information and Communication Technologies (AICT2017). IEEE Computer Society, Moscow, Russian Federation; 2017. Vol. 1. p. 169-172. (In Eng.) doi: https://doi.org/10.1109/ICAICT.2017.8686938
15. Matveeva L.Y. Veroyatnostnoye prognozirovaniye zvuchashchey rechi: k postanovke problemy (obzor) [Probable prognosis of speech: the issue considering (review)]. Saratovskiy nauchno-meditsinskiy zhurnal = Saratov Journal of Medical Scientific Research. 2015; 11(2):216-220. Available at: https://elibrary.ru/item.asp?id=27121628 (accessed 28.05.2022). (In Russ., abstract in Eng.)
16. Ibrahim M.Z., Mulvaney D.J. Geometrical-based lip-reading using template probabilistic multi-dimension dynamic time warping. Journal of Visual Communication and Image Representation. 2015; 30:219-233. (In Eng.) doi: https://doi.org/10.1016/j.jvcir.2015.04.013
17. Peymanfard J., Reza Mohammadi M., Zeinali H., Mozayani N. Lip reading using external viseme decoding. 2022 International Conference on Machine Vision and Image Processing (MVIP). IEEE Computer Society; 2022. p. 1-5. (In Eng.) doi: https://doi.org/10.1109/MVIP53647.2022.9738749
18. Sheng C., Zhu X., Xu H., Pietikäinen M., Liu L. Adaptive Semantic-Spatio-Temporal Graph Convolutional Network for Lip Reading. IEEE Transactions on Multimedia. 2022; 24:3545-3557. (In Eng.) doi: https://doi.org/10.1109/TMM.2021.3102433
19. Qu L., Weber C., Wermter S. LipSound2: Self-Supervised Pre-Training for Lip-to-Speech Reconstruction and Lip Reading. IEEE Transactions on Neural Networks and Learning Systems. 2022. p. 1-11. (In Eng.) doi: https://doi.org/10.1109/TNNLS.2022.3191677
20. Ma P., Wang Y., Petridis S., Shen J., Pantic M. Training Strategies for Improved Lip-Reading. 2022 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). IEEE Computer Society; 2022. p. 8472-8476. (In Eng.) doi: https://doi.org/10.1109/ICASSP43922.2022.9746706
21. Deng M., Xiong S. Phoneme-based lipreading of silent sentences. 2022 IEEE Asia-Pacific Conference on Image Processing, Electronics and Computers (IPEC). IEEE Computer Society; 2022. p. 206-210. (In Eng.) doi: https://doi.org/10.1109/IPEC54454.2022.9777317
22. Prajwal K., Afouras T., Zisserman A. Sub-word Level Lip Reading With Visual Attention. 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). IEEE Computer Society, New Orleans, LA, USA; 2022. p. 5152-5162. (In Eng.) doi: https://doi.org/10.1109/CVPR52688.2022.00510
23. Wang H., Pu G., Chen T. A Lip Reading Method Based on 3D Convolutional Vision Transformer // IEEE Access, 2022. Vol. 10. Pp. 77205-77212. (In Eng.) doi: https://doi.org/10.1109/ACCESS.2022.3193231
24. Zhang X., et al. Boosting Lip Reading with a Multi-View Fusion Network. 2022 IEEE International Conference on Multimedia and Expo (ICME). IEEE Computer Society, Taipei, Taiwan. 2022. p. 1-6. (In Eng.) doi: https://doi.org/10.1109/ICME52920.2022.9859810
25. Ren S., Du Y., Lv J., Han G., He S. Learning from the Master: Distilling Cross-modal Advanced Knowledge for Lip Reading. 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). IEEE Computer Society, Nashville, TN, USA. 2021. p. 13320-13328. (In Eng.) doi: https://doi.org/10.1109/CVPR46437.2021.01312
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.
Редакционная политика журнала основывается на традиционных этических принципах российской научной периодики и строится с учетом этических норм работы редакторов и издателей, закрепленных в Кодексе поведения и руководящих принципах наилучшей практики для редактора журнала (Code of Conduct and Best Practice Guidelines for Journal Editors) и Кодексе поведения для издателя журнала (Code of Conduct for Journal Publishers), разработанных Комитетом по публикационной этике - Committee on Publication Ethics (COPE). В процессе издательской деятельности редколлегия журнала руководствуется международными правилами охраны авторского права, нормами действующего законодательства РФ, международными издательскими стандартами и обязательной ссылке на первоисточник.
Журнал позволяет авторам сохранять авторское право без ограничений. Журнал позволяет авторам сохранить права на публикацию без ограничений.
Издательская политика в области авторского права и архивирования определяются «зеленым цветом» в базе данных SHERPA/RoMEO.
Все статьи распространяются на условиях лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная, которая позволяет другим использовать, распространять, дополнять эту работу с обязательной ссылкой на оригинальную работу и публикацию в этом журналe.
