Дистрибутивный интеллектуальный анализатор

Mariia Vladimirovna Proshina

doi:10.25559/SITITO.019.202304.991-1003

Mariia Vladimirovna Proshina Российский университет дружбы народов имени Патриса Лумумбы http://orcid.org/0000-0001-5571-9571

DOI: https://doi.org/10.25559/SITITO.019.202304.991-1003

Аннотация

Основой настоящей работы является реализация дистрибутивного интеллектуального анализатора, выдающего наиболее семантически близкие рекомендации в ответ на запрос пользователя в медицинской области. Система позволяет получить релевантный и полезный контент, что дает возможность упростить работу с поиском специализированной литературы и сократить время для подбора и поиска того или иного научного материала (поскольку в библиотеках научных публикаций отсутствует возможность проведения семантического поиска). Данная работа базируется на применении двух подходов векторизации: Word2Vec - анализирует слова, Phrase2Vec – анализирует фразы, а исследования сосредоточены на автоматизации процесса выделения качественных фраз. В работе представлена комбинация двух основных методов выделения фраз - основанных на данных (использующих n-граммы) и основанных на грамматике (с использованием POS-разметки), а также система для извлечения качественных фраз из медицинских статей. Выводы статьи подтверждают эффективность и применимость комбинированного подхода к интеллектуальному анализу фраз, а также успешное применение разработанного анализатора в медицинской области. Данная работа оказывает положительное влияние на развитие методов анализа текстовых коллекций и может быть полезной в других научных областях. В ходе разработки программного кода был создан дистрибутивный интеллектуальный анализатор медицинских текстов, корректно работающий как с фразами, так и с отдельно взятыми словами и выдающий для пользователя результаты на основе сходства между словами (мера косинусной близости их векторных представлений). Для написания оптимально работающей системы был применен язык программирования Python, который является одним из основных инструментов для осуществления интеллектуального анализа текстовых данных.

Сведения об авторе

Mariia Vladimirovna Proshina, Российский университет дружбы народов имени Патриса Лумумбы

аспирант кафедры математического моделирования и искусственного интеллекта факультета физико-математических и естественных наук

Литература

1. Teng H., Wang N., Zhao H., Hu Y., Jin H. Enhancing semantic text similarity with functional semantic knowledge (FOP) in patents. Journal of Informetrics. 2024;18(1):101467. https://doi.org/10.1016/j.joi.2023.101467
2. Jehangir B., Radhakrishnan S., Agarwal R. A survey on Named Entity Recognition – datasets, tools, and methodologies. Natural Language Processing Journal. 2023;3:100017. https://doi.org/10.1016/j.nlp.2023.100017
3. Morozovskii D., Ramanna S. Rare words in text summarization. Natural Language Processing Journal. 2023;3:100014. https://doi.org/10.1016/j.nlp.2023.100014
4. Wu Y., Zhao S., Li W. Phrase2Vec: Phrase embedding based on parsing. Information Sciences. 2020;517:100-127. https://doi.org/10.1016/j.ins.2019.12.031
5. Sharma A., Kumar S. Ontology-based semantic retrieval of documents using Word2vec model. Data & Knowledge Engineering. 2023;144:102110. https://doi.org/10.1016/j.datak.2022.102110
6. Ye L., Wei C., Heran N., Yimeng Y. Review Mining for Experiential Products Incorporating Word2vec and Review Sentiment Tendencies. Procedia Computer Science. 2022;214:1492-1499. https://doi.org/10.1016/j.procs.2022.11.335
7. Wan Q., Xu X., Han J. A Dimensionality Reduction Method for Large-scale Group Decision-making Using TF-IDF Feature Similarity and Information Loss Entropy. Applied Soft Computing. 2024;150:111039. https://doi.org/10.1016/j.asoc.2023.111039
8. Wu Y., Zhao S., Dou S., Li J. ParsingPhrase: Parsing-based automated quality phrase mining. Information Sciences. 2023;633:531-548. https://doi.org/10.1016/j.ins.2023.03.089
9. Ceci M., Loglisci C., Macchia L. Ranking Sentences for Keyphrase Extraction: A Relational Data Mining Approach. Procedia Computer Science. 2014;38:52-59. https://doi.org/10.1016/j.procs.2014.10.011
10. Ye L., Yimeng Y., Wei C. Analyzing Public Perception of Educational Books via Text Mining of Online Reviews. Procedia Computer Science. 2023;221:617-625. https://doi.org/10.1016/j.procs.2023.08.030
11. Jothi N., Abdul Rashid N.A., Husain W. Data Mining in Healthcare – A Review. Procedia Computer Science. 2015;72:306-13. https://doi.org/10.1016/j.procs.2015.12.145
12. Gemechu E.A., Kanagachidambaresan G.R. Grammar-aware phrase dataset generated using a novel python package. Data in Brief. 2023;48:109237. https://doi.org/10.1016/j.dib.2023.109237
13. Liu S., Cao J., Yang R., Wen Z. Key phrase aware transformer for abstractive summarization. Information Processing & Management. 2022;59(3):102913. https://doi.org/10.1016/j.ipm.2022.102913
14. Radygin V.Yu., Kupriyanov D.Yu., Bessonov R.A., Ivanov M.N., Osliakova I.V. Application of text mining technologies in Russian language for solving the problems of primary financial monitoring. Procedia Computer Science. 2021;190:678-83. https://doi.org/10.1016/j.procs.2021.06.078
15. Nathania G.H., Siautama R., Claire I.A.A., Derwin S. Extractive Hotel Review Summarization based on TF/IDF and Adjective-Noun Pairing by Considering Annual Sentiment Trends. Procedia Computer Science. 2021;179:558-565. https://doi.org/10.1016/j.procs.2021.01.040
16. Nguyen N.T.H., Miwa M., Tsuruoka Y., Tojo S. Identifying synonymy between relational phrases using word embeddings. Journal of Biomedical Informatics. 2015;56:94-102. https://doi.org/10.1016/j.jbi.2015.05.010
17. Gero Z., Ho J. PMCVec: Distributed phrase representation for biomedical text processing. Journal of Biomedical Informatics. 2019;100(Supplement):100047. https://doi.org/10.1016/j.yjbinx.2019.100047
18. Smalheiser N.R., Cohen A.M., Bonifield G. Unsupervised low-dimensional vector representations for words, phrases and text that are transparent, scalable, and produce similarity metrics that are not redundant with neural embeddings. Journal of Biomedical Informatics. 2019;90:103096. https://doi.org/10.1016/j.jbi.2019.103096
19. Mao R., He K., Zhang X., Chen G., Ni J., Yang Z., Cambria E. A survey on semantic processing techniques. Information Fusion. 2024;101:101988. https://doi.org/10.1016/j.inffus.2023.101988
20. Sun G., Cheng Y., Zhang Z., Tong X., Chai T. Text classification with improved word embedding and adaptive segmentation. Expert Systems with Applications. 2024;238(Part B):121852. https://doi.org/10.1016/j.eswa.2023.121852
21. López W., Merlino J., Rodríguez-Bocca P. Learning semantic information from Internet Domain Names using word embeddings. Engineering Applications of Artificial Intelligence. 2020;94:103823. https://doi.org/10.1016/j.engappai.2020.103823
22. Li R., Yu Q., Huang S., Shen L., Wei C., Sun X. Phrase embedding learning from internal and external information based on autoencoder. Information Processing & Management. 2021;58(1):102422. https://doi.org/10.1016/j.ipm.2020.102422
23. Li M., Lu Q., Xiong D., Long Y. Phrase embedding learning based on external and internal context with compositionality constraint. Knowledge-Based Systems. 2018;152:107-16. https://doi.org/10.1016/j.knosys.2018.04.009
24. Gakis P., Kokkinos T., Tsalidis C. Extraction and normalization of IR indexing terms and phrases in a highly inflectional language. Journal of Greek Linguistics. 2023;23(1):79-96. https://doi.org/10.1163/15699846-02301001
25. Korach Z.T., Yang J., Rossetti S.C., Cato K.D., Kang M.J., Knaplund C., Schnock K.O., Garcia J.P., Jia H., Schwartz J.M., Zhou L. Mining clinical phrases from nursing notes to discover risk factors of patient deterioration. International Journal of Medical Informatics. 2020;135:104053. https://doi.org/10.1016/j.ijmedinf.2019.104053