ОБЗОР МЕТОДОВ РАСПОЗНАВАНИЯ ВНУТРЕННЕГО ПРОГОВАРИВАНИЯ НА ОСНОВЕ ДАННЫХ ЭЛЕКТРОЭНЦЕФАЛОГРАММЫ
Аннотация
В статье представлен обзор исследований о разработке интерфейсов мозг-компьютер, распознающих внутреннее проговаривания на основании данных электроэнцефалограммы (ЭЭГ). Интерфейс мозг-компьютер - система, которая поддерживает взаимодействие мозга и электронного устройства, а в частности, интерфейс безмолвного доступа - система, позволяющая распознавать внутреннее проговаривание, может помочь людям, имеющим проблемы с воспроизведением речи. Эти проблемы могут быть вызваны особенностями нейродегенеративных заболеваний. Нейроинтерфейсы, способные моделировать речь, уже существуют, например, Speller P300, однако, не смотря на свою эффективность, подобное устройство не позволяет достичь высокой скорости генерации речи. Интересной является разработка ИМК, основывающегося на внутреннем проговаривании - процессе, в котором человек представляет звучание слов или фонем без самого произнесения звуков. Известно, что восстановление внутреннего проговаривания на основе данных биоэлектрической активности мозга возможно, так как в процессе внутреннего проговаривания генерируется активность артикуляторов, нервных путей между ними, а также самого головного мозга. ЭЭГ - метод электромагнитного исследования мозга, который регистрирует сигналы, возникающие при биоэлектрической активности нейронов. Технология ЭЭГ является удобной для исследования мозговых сигналов в процессе внутреннего проговаривания, поскольку она не является инвазивной и предоставляет отличное временное разрешение вплоть до одной тысячной секунды, хоть данные ЭЭГ и обладают большим количеством артефактов и не предоставляет высокого пространственного разрешения. Рассмотренные в статье исследования были разделены по типу языковой единицы, распознаваемой в течение эксперимента - слова, фонемы и гласные буквы. Исходя из результатов, полученных авторами обозреваемых статей, классификация слов практически не превосходит тех точностей, которые можно было бы получить случайно, однако классификация фонем и гласных обладает достаточно высокой точностью, что говорит о перспективности исследования распознавания внутреннего проговаривания фонем и гласных.
Литература
[2] Porbadnigk A., Wester M., Calliess J., Schultz T. EEG-based Speech Recognition - Impact of Temporal Effects. In: Proceedings of the International Conference on Bio-inspired Systems and Signal Processing – Vol. 1: BIOSIGNALS, (BIOSTEC 2009), 2009, pp. 376-381. (In Eng.) DOI: 10.5220/0001554303760381
[3] Chia X., Hagedorna J.B., Schoonovera D., D’zmura M. EEG-based discrimination of imagined speech phonemes. International Journal of Bioelectromagnetism. 2011; 13(4):201-206. Available at: https://pdfs.semanticscholar.org/b74f/c325556d1a7b5eb05fe90cde1f0c891357a3.pdf?_ga=2.236761025.1328281046.1558969187-1926881747.1554310837 (accessed 11.12.2018). (In Eng.)
[4] Brigham K., Kumar B.V.K.V. Imagined Speech Classification with EEG Signals for Silent Communication: A Preliminary Investigation into Synthetic Telepathy. Proceedings of the 4th International Conference on Bioinformatics and Biomedical Engineering, Chengdu, 2010, pp. 1-4. (In Eng.) DOI: 10.1109/ICBBE.2010.5515807
[5] DaSalla C.S., Kambara H., Sato M., Koike Y. Single-trial classification of vowel speech imagery using common spatial patterns. Neural Netw. 2009; 22(9):1334-1339. (In Eng.) DOI: 10.1016/j.neunet.2009.05.008
[6] Matsumoto M., Hori J. Classification of silent speech using support vector machine and relevance vector machine. Applied Soft Computing. 2014; 20:95-102. (In Eng.) DOI: 10.1016/j.asoc.2013.10.023
[7] Sarmiento L.C., Lorenzana P., Cortes C.J., Arcos W.J., Bacca J.A., Tovar A. Brain computer interface (BCI) with EEG signals for automatic vowel recognition based on articulation mode. Proceedings of the 5th ISSNIP-IEEE Biosignals and Biorobotics Conference (2014): Biosignals and Robotics for Better and Safer Living (BRC), Salvador, 2014, pp. 1-4. (In Eng.) DOI: 10.1109/BRC.2014.6880997
[8] Min B., Kim J., Park H.J., Lee B. Vowel Imagery Decoding toward Silent Speech BCI Using Extreme Learning Machine with Electroencephalogram. BioMed Research International. 2016; 2016:2618265. 11 p. (In Eng.) DOI: 10.1155/2016/2618265
[9] Kamalakkannan R., Rajkumar R., Madan R.M., Shenbaga D.S. Imagined Speech Classification using EEG. Advances in Biomedical Science and Engineering. 2014; 1(2):20-32. (In Eng.)
[10] Naci L., Cusack R., Jia V.Z., Owen A.M. The Brain's Silent Messenger: Using Selective Attention to Decode Human Thought for Brain-Based Communication. Journal of Neuroscience. 2013; 33(22):9385-9393. (In Eng.) DOI: 10.1523/JNEUROSCI.5577-12.2013
[11] AlSaleh M.M., Arvaneh M., Christensen H., Moore R.K. Brain-computer interface technology for speech recognition: A review. Proceedings of the 2016 Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA), Jeju, 2016, pp. 1-5. (In Eng.) DOI: 10.1109/APSIPA.2016.7820826
[12] Hashim N., Ali A., Mohd-Isa W.N. Word-Based Classification of Imagined Speech Using EEG. In: Alfred R., Iida H., Ag. Ibrahim A., Lim Y. (eds) Computational Science and Technology. ICCST 2017. Lecture Notes in Electrical Engineering. Springer, Singapore, 2018; 488:195-204. (In Eng.) DOI: 10.1007/978-981-10-8276-4_19
[13] Denby B., Schultz T., Honda K., Hueber T., Gilbert J.M., Brumberg, J.S. Silent Speech Interfaces. Speech Communication. 2009; 52(4):270-287. (In Eng.) DOI: 10.1016/j.specom.2009.08.002
[14] Suppes P., Lu Zh.-L., Han B. Brain Wave Recognition of Words. Proceedings of the National Academy of Sciences. 1997; 94(26):14965-14969. (In Eng.) DOI: 10.1073/pnas.94.26.14965
[15] Bogue R. Brain‐computer interfaces: control by thought. Industrial Robot: An International Journal. 2010; 37(2):126-132. (In Eng.) DOI: 10.1108/01439911011018894
[16] Qureshi M.N.I., Min B., Park H., Cho D., Choi W., Lee B. Multiclass Classification of Word Imagination Speech With Hybrid Connectivity Features. IEEE Transactions on Biomedical Engineering. 2018; 65(10):2168-2177. (In Eng.) DOI: 10.1109/TBME.2017.2786251
[17] Nguyen C.H., Karavas G.K., Artemiadis P. Inferring imagined speech using EEG signals: A new approach using Riemannian manifold features. Journal of Neural Engineering. 2018; 15(1):016002. (In Eng.) DOI: 10.1088/1741-2552/aa8235
[18] Combaz A., Manyakov N.V., Chumerin N., Suykens J.A.K., Hulle M.M.V. Feature Extraction and Classification of EEG Signals for Rapid P300 Mind Spelling. Proceedings of the 2009 International Conference on Machine Learning and Applications, Miami Beach, FL, 2009, pp. 386-391. (In Eng.) DOI: 10.1109/ICMLA.2009.27
[19] Martin S., Brunner P., Iturrate I., Millán J.R., Schalk G., Knight R.T., Pasley, B.N. Word pair classification during imagined speech using direct brain recordings. Scientific Reports. 2016; 6:25803. 10 p. (In Eng.) DOI: 10.1038/srep25803
[20] Sereshkeh A.R., Trott R., Bricout A., Chau T. Online EEG Classification of Covert Speech for Brain-Computer Interfacing. International Journal of Neural Systems. 2017; 27(8):1750033. (In Eng.) DOI: 10.1142/S0129065717500332
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.
Редакционная политика журнала основывается на традиционных этических принципах российской научной периодики и строится с учетом этических норм работы редакторов и издателей, закрепленных в Кодексе поведения и руководящих принципах наилучшей практики для редактора журнала (Code of Conduct and Best Practice Guidelines for Journal Editors) и Кодексе поведения для издателя журнала (Code of Conduct for Journal Publishers), разработанных Комитетом по публикационной этике - Committee on Publication Ethics (COPE). В процессе издательской деятельности редколлегия журнала руководствуется международными правилами охраны авторского права, нормами действующего законодательства РФ, международными издательскими стандартами и обязательной ссылке на первоисточник.
Журнал позволяет авторам сохранять авторское право без ограничений. Журнал позволяет авторам сохранить права на публикацию без ограничений.
Издательская политика в области авторского права и архивирования определяются «зеленым цветом» в базе данных SHERPA/RoMEO.
Все статьи распространяются на условиях лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная, которая позволяет другим использовать, распространять, дополнять эту работу с обязательной ссылкой на оригинальную работу и публикацию в этом журналe.
