ОБЗОР МЕТОДОВ РАСПОЗНАВАНИЯ ВНУТРЕННЕГО ПРОГОВАРИВАНИЯ НА ОСНОВЕ ДАННЫХ ЭЛЕКТРОЭНЦЕФАЛОГРАММЫ

Аннотация

В статье представлен обзор исследований о разработке интерфейсов мозг-компьютер, распознающих внутреннее проговаривания на основании данных электроэнцефалограммы (ЭЭГ). Интерфейс мозг-компьютер - система, которая поддерживает взаимодействие мозга и электронного устройства, а в частности, интерфейс безмолвного доступа - система, позволяющая распознавать внутреннее проговаривание, может помочь людям, имеющим проблемы с воспроизведением речи. Эти проблемы могут быть вызваны особенностями нейродегенеративных заболеваний. Нейроинтерфейсы, способные моделировать речь, уже существуют, например, Speller P300, однако, не смотря на свою эффективность, подобное устройство не позволяет достичь высокой скорости генерации речи. Интересной является разработка ИМК, основывающегося на внутреннем проговаривании - процессе, в котором человек представляет звучание слов или фонем без самого произнесения звуков. Известно, что восстановление внутреннего проговаривания на основе данных биоэлектрической активности мозга возможно, так как в процессе внутреннего проговаривания генерируется активность артикуляторов, нервных путей между ними, а также самого головного мозга. ЭЭГ - метод электромагнитного исследования мозга, который регистрирует сигналы, возникающие при биоэлектрической активности нейронов. Технология ЭЭГ является удобной для исследования мозговых сигналов в процессе внутреннего проговаривания, поскольку она не является инвазивной и предоставляет отличное временное разрешение вплоть до одной тысячной секунды, хоть данные ЭЭГ и обладают большим количеством артефактов и не предоставляет высокого пространственного разрешения. Рассмотренные в статье исследования были разделены по типу языковой единицы, распознаваемой в течение эксперимента - слова, фонемы и гласные буквы. Исходя из результатов, полученных авторами обозреваемых статей, классификация слов практически не превосходит тех точностей, которые можно было бы получить случайно, однако классификация фонем и гласных обладает достаточно высокой точностью, что говорит о перспективности исследования распознавания внутреннего проговаривания фонем и гласных.

Сведения об авторах

Yuliya Yuryevna Gavrilenko, Московский государственный университет имени М.В. Ломоносова

студент, Филиал МГУ имени М.В. Ломоносова в городе Севастополе

Daniel Firasovich Saada, Московский государственный университет имени М.В. Ломоносова

студент, Филиал МГУ имени М.В. Ломоносова в городе Севастополе

Andrey Olegovych Shevchenko, Московский государственный университет имени М.В. Ломоносова

студент, факультет психологии

Eugene Albinovich Ilyushin, Московский государственный университет имени М.В. Ломоносова

аспирант, ведущий программист, лаборатория открытых информационных технологий, факультет вычислительной математики и кибернетики

Литература

[1] Yamaguchi H., Yamazaki T., Yamamoto K., Ueno S., Yamaguchi A. et al. Decoding Silent Speech in Japanese from Single Trial EEGS: Preliminary Results. Journal of Computer Science & Systems Biology. 2015; 08:285-291. (In Eng.) DOI: 10.4172/jcsb.1000202
[2] Porbadnigk A., Wester M., Calliess J., Schultz T. EEG-based Speech Recognition - Impact of Temporal Effects. In: Proceedings of the International Conference on Bio-inspired Systems and Signal Processing – Vol. 1: BIOSIGNALS, (BIOSTEC 2009), 2009, pp. 376-381. (In Eng.) DOI: 10.5220/0001554303760381
[3] Chia X., Hagedorna J.B., Schoonovera D., D’zmura M. EEG-based discrimination of imagined speech phonemes. International Journal of Bioelectromagnetism. 2011; 13(4):201-206. Available at: https://pdfs.semanticscholar.org/b74f/c325556d1a7b5eb05fe90cde1f0c891357a3.pdf?_ga=2.236761025.1328281046.1558969187-1926881747.1554310837 (accessed 11.12.2018). (In Eng.)
[4] Brigham K., Kumar B.V.K.V. Imagined Speech Classification with EEG Signals for Silent Communication: A Preliminary Investigation into Synthetic Telepathy. Proceedings of the 4th International Conference on Bioinformatics and Biomedical Engineering, Chengdu, 2010, pp. 1-4. (In Eng.) DOI: 10.1109/ICBBE.2010.5515807
[5] DaSalla C.S., Kambara H., Sato M., Koike Y. Single-trial classification of vowel speech imagery using common spatial patterns. Neural Netw. 2009; 22(9):1334-1339. (In Eng.) DOI: 10.1016/j.neunet.2009.05.008
[6] Matsumoto M., Hori J. Classification of silent speech using support vector machine and relevance vector machine. Applied Soft Computing. 2014; 20:95-102. (In Eng.) DOI: 10.1016/j.asoc.2013.10.023
[7] Sarmiento L.C., Lorenzana P., Cortes C.J., Arcos W.J., Bacca J.A., Tovar A. Brain computer interface (BCI) with EEG signals for automatic vowel recognition based on articulation mode. Proceedings of the 5th ISSNIP-IEEE Biosignals and Biorobotics Conference (2014): Biosignals and Robotics for Better and Safer Living (BRC), Salvador, 2014, pp. 1-4. (In Eng.) DOI: 10.1109/BRC.2014.6880997
[8] Min B., Kim J., Park H.J., Lee B. Vowel Imagery Decoding toward Silent Speech BCI Using Extreme Learning Machine with Electroencephalogram. BioMed Research International. 2016; 2016:2618265. 11 p. (In Eng.) DOI: 10.1155/2016/2618265
[9] Kamalakkannan R., Rajkumar R., Madan R.M., Shenbaga D.S. Imagined Speech Classification using EEG. Advances in Biomedical Science and Engineering. 2014; 1(2):20-32. (In Eng.)
[10] Naci L., Cusack R., Jia V.Z., Owen A.M. The Brain's Silent Messenger: Using Selective Attention to Decode Human Thought for Brain-Based Communication. Journal of Neuroscience. 2013; 33(22):9385-9393. (In Eng.) DOI: 10.1523/JNEUROSCI.5577-12.2013
[11] AlSaleh M.M., Arvaneh M., Christensen H., Moore R.K. Brain-computer interface technology for speech recognition: A review. Proceedings of the 2016 Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA), Jeju, 2016, pp. 1-5. (In Eng.) DOI: 10.1109/APSIPA.2016.7820826
[12] Hashim N., Ali A., Mohd-Isa W.N. Word-Based Classification of Imagined Speech Using EEG. In: Alfred R., Iida H., Ag. Ibrahim A., Lim Y. (eds) Computational Science and Technology. ICCST 2017. Lecture Notes in Electrical Engineering. Springer, Singapore, 2018; 488:195-204. (In Eng.) DOI: 10.1007/978-981-10-8276-4_19
[13] Denby B., Schultz T., Honda K., Hueber T., Gilbert J.M., Brumberg, J.S. Silent Speech Interfaces. Speech Communication. 2009; 52(4):270-287. (In Eng.) DOI: 10.1016/j.specom.2009.08.002
[14] Suppes P., Lu Zh.-L., Han B. Brain Wave Recognition of  Words. Proceedings of the National Academy of Sciences. 1997; 94(26):14965-14969. (In Eng.) DOI: 10.1073/pnas.94.26.14965
[15] Bogue R. Brain‐computer interfaces: control by thought. Industrial Robot: An International Journal. 2010; 37(2):126-132. (In Eng.) DOI: 10.1108/01439911011018894
[16] Qureshi M.N.I., Min B., Park H., Cho D., Choi W., Lee B. Multiclass Classification of Word Imagination Speech With Hybrid Connectivity Features. IEEE Transactions on Biomedical Engineering. 2018; 65(10):2168-2177. (In Eng.) DOI: 10.1109/TBME.2017.2786251
[17] Nguyen C.H., Karavas G.K., Artemiadis P. Inferring imagined speech using EEG signals: A new approach using Riemannian manifold features. Journal of Neural Engineering. 2018; 15(1):016002. (In Eng.) DOI: 10.1088/1741-2552/aa8235
[18] Combaz A., Manyakov N.V., Chumerin N., Suykens J.A.K., Hulle M.M.V. Feature Extraction and Classification of EEG Signals for Rapid P300 Mind Spelling. Proceedings of the 2009 International Conference on Machine Learning and Applications, Miami Beach, FL, 2009, pp. 386-391. (In Eng.) DOI: 10.1109/ICMLA.2009.27
[19] Martin S., Brunner P., Iturrate I., Millán J.R., Schalk G., Knight R.T., Pasley, B.N. Word pair classification during imagined speech using direct brain recordings. Scientific Reports. 2016; 6:25803. 10 p. (In Eng.) DOI: 10.1038/srep25803
[20] Sereshkeh A.R., Trott R., Bricout A., Chau T. Online EEG Classification of Covert Speech for Brain-Computer Interfacing. International Journal of Neural Systems. 2017; 27(8):1750033. (In Eng.) DOI: 10.1142/S0129065717500332
Опубликована
2019-04-19
Как цитировать
GAVRILENKO, Yuliya Yuryevna et al. ОБЗОР МЕТОДОВ РАСПОЗНАВАНИЯ ВНУТРЕННЕГО ПРОГОВАРИВАНИЯ НА ОСНОВЕ ДАННЫХ ЭЛЕКТРОЭНЦЕФАЛОГРАММЫ. Международный научный журнал «Современные информационные технологии и ИТ-образование», [S.l.], v. 15, n. 1, p. 164-171, apr. 2019. ISSN 2411-1473. Доступно на: <http://sitito.cs.msu.ru/index.php/SITITO/article/view/487>. Дата доступа: 18 aug. 2019 doi: https://doi.org/10.25559/SITITO.15.201901.164-171.
Раздел
Исследования и разработки в области новых ИТ и их приложений