Исследование использование RAG в корпоративном сегменте в сфере документооборота

Arsenii Pavlovich Kaliuzhnyi; Sofiia Aleksandrovna Aleksanian; Roman Eduardovich Semenov

doi:10.25559/SITITO.021.202503.467-475

Arsenii Pavlovich Kaliuzhnyi МИРЭА – Российский технологический университет http://orcid.org/0009-0005-8721-3862
Sofiia Aleksandrovna Aleksanian МИРЭА – Российский технологический университет http://orcid.org/0009-0001-6037-1319
Roman Eduardovich Semenov МИРЭА – Российский технологический университет http://orcid.org/0000-0002-9593-8936

DOI: https://doi.org/10.25559/SITITO.021.202503.467-475

Аннотация

Введение. Построение RAG-систем является одним из самых динамически развивающихся направлений в области машинного обучения. В последние годы рынок труда активно пополняется вакансиями, связанными с разработкой и внедрением подобных решений как для внутренних нужд компаний, так и для внешних продуктов. Основная идея RAG заключается в объединении возможностей генеративных языковых моделей с поисковыми механизмами, обеспечивающими доступ к релевантным фрагментам текстов. Такая комбинация позволяет значительно повысить точность и достоверность ответов моделей при работе с большими корпусами данных.
Материалы и методы. Основа этой технологии - это работа с текстом, где в зависимости от него результаты могут сильно измениться. Меняются запросы, модели, их параметры, размеры, содержания фрагментов, их количество. В статье рассматривается задача использования RAG-систем для работы с корпоративной документацией на русском языке, которая имеет свою специфику делового стиля, терминологии и семантику языка.
Результаты исследования. Важно учитывать возможности масштабирования системы под мощностные ограничения, а также политику компании, ведь использовать слишком большие языковые модели локально слишком дорого, а использование API порой влечет за собой утечку информации. И требуется понять на сколько RAG хорошо работает без сложной структуры и мощных моделей.
Обсуждение и заключение. Проведена работа, направленная на исследование эффективности предложенного метода, влияния внутренних параметров, описанных выше, на систему за счет анализа метрик. Так же поднимаются основные проблемы реализации системы. Полученные результаты могут быть использованы при проектировании корпоративных RAG-решений и оптимизации их производительности.

Сведения об авторах

Arsenii Pavlovich Kaliuzhnyi, МИРЭА – Российский технологический университет

студент Института информационных технологий

Sofiia Aleksandrovna Aleksanian, МИРЭА – Российский технологический университет

студент Института информационных технологий

Roman Eduardovich Semenov, МИРЭА – Российский технологический университет

старший преподаватель кафедры вычислительной техники Института информационных технологий

Литература

1. Li D., Jiang B., Huang L., Beigi A., Zhao C., Tan Z., Bhattacharjee A., Jiang Y., Chen C., Wu T., Shu K., Cheng L., Liu H. From Generation to Judgment: Opportunities and Challenges of LLM-as-a-Judge. arXiv preprint arXiv:2411.16594. 2024. Available at: https: //arxiv.org/abs/2411.16594 (accessed 01.11.2025).
2. Shevtsov E.S., Shamin R.V. Logical integration of information systems based on expert systems. Russian Technological Journal. 2025;13(2):27-35. Available at: https: //doi.org/10.32362/2500-316X-2025-13-2-27-35 (accessed 01.11.2025).
3. Mozaidze E.S. Topic modeling in the stream of short messages in Russian. Russian Technological Journal. 2025;13(1):38-48. Available at: https: //doi.org/10.32362/2500-316X-2025-13-1-38-48 (accessed 01.11.2025).
4. Radyush D.V. Knowledge injection methods in question answering. Russian Technological Journal. 2025;13(3):21-43. Available at https: //doi.org/10.32362/2500-316X-2025-13-3-21-43 (accessed 01.11.2025).
5. Gao Y., Xiong Y., Gao X., Jia K., Pan J., Bi Y., Dai Y., Sun J., Wang M., Wang H. Retrieval-Augmented Generation for Large Language Models: A Survey. arXiv preprint arXiv:2312.10997. 2023. Available at: https: //arxiv.org/abs/2312.10997 (accessed 01.11.2025).
6. Panickssery A., Bowman S. R., Feng S. LLM Evaluators Recognize and Favor Their Own Generations. arXiv preprint arXiv:2404.13076. 2024. Available at: https: //arxiv.org/abs/2404.13076 (accessed 01.11.2025).
7. Gu J., Jiang X., Shi Z., Tan H., Zhai X., Xu C., Li W., Shen Y., Ma S., Liu H., Wang S., Zhang K., Wang Y., Gao W., Ni L., Guo J. A Survey on LLM-as-a-Judge. arXiv preprint arXiv:2411.15594. 2024. Available at: https: //arxiv.org/abs/2411.15594 (accessed 01.11.2025).
8. Sawarkar K., Mangal A., Solanki S. Blended RAG: Improving RAG (Retriever-Augmented Generation) Accuracy with Semantic Search and Hybrid Query-Based Retrievers. arXiv preprint arXiv:2404.07220. 2024. Available at: https: //arxiv.org/abs/2404.07220 (accessed 01.11.2025).
9. Nguyen H. T., Nguyen T. D., Nguyen V. H. Enhancing Retrieval Augmented Generation with Hierarchical Text Segmentation Chunking. arXiv preprint arXiv:2507.09935v1. 2025. Available at: https: //arxiv.org/abs/2507.09935v1 (accessed 01.11.2025).
10. Zheng L., Chiang W-L., Sheng Y., Zhuang S., Wu Z., Zhuang Y., Lin Z., Li Z., Li D., Xing E. P., Zhang H., Gonzalez J. E., Stoica I. Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. arXiv preprint arXiv:2306.05685. 2023. Available at: https: //arxiv.org/abs/2306.05685 (accessed 01.11.2025).
11. Su W., Tang Y., Ai Q., Yan J., Wang C., Wang H., Ye Z., Zhou Y., Liu Y. Parametric Retrieval Augmented Generation. arXiv preprint arXiv:2501.15915. 2025. Available at: https: //arxiv.org/abs/2501.15915 (accessed 01.11.2025)
12. Douglas M. R. Large Language Models. arXiv preprint arXiv:2307.05782. 2023. Available at: https: //arxiv.org/abs/2307.05782 (accessed 01.11.2025).
13. Jing Z., Su Y., Han Y., Yuan B., Liu C., Xu H., Chen K. When Large Language Models Meet Vector Databases: A Survey. arXiv preprint arXiv:2402.01763v1. 2024. Available at: https: //arxiv.org/abs/2402.01763v1 (accessed 01.11.2025).
14. Cheng M., Luo Y., Ouyang J., Liu Q., Liu H., Li L., Yu S., Zhang B., Cao J., Ma J., Wang D. A Survey on Knowledge-Oriented Retrieval-Augmented Generation. arXiv preprint arXiv:2503.10677. 2025. Available at: https: //arxiv.org/abs/2503.10677 (accessed 01.11.2025)
15. Gan A., Yu H., Zhang K., Liu Q., Yan W., Huang Z., Tong S., Hu G. Retrieval-Augmented Generation Evaluation in the Era of Large Language Models: A Comprehensive Survey. arXiv preprint arXiv:2504.14891. 2025. Available at: https: //arxiv.org/abs/2504.14891 (accessed 01.11.2025).
16. Douze M., Guzhva A., Deng C., Johnson J., Szilvasy G., Mazaré P-E., Lomeli M., Hosseini L., Jégou H. The Faiss library. arXiv preprint arXiv:2401.08281. 2024. Available at: https: //arxiv.org/abs/2401.08281 14. (accessed 01.11.2025).
17. Li H., Dong Q., Chen J., Su H., Zhou Y., Ai Q., Ye Z., Liu Y. LLMs-as-Judges: A Comprehensive Survey on LLM-based Evaluation Methods. arXiv preprint arXiv:2412.05579. 2024. Available at: https: //arxiv.org/abs/2412.05579 (accessed 01.11.2025).
18. Liu S., Li X., Liu Z., Yan Y., Yang C., Zeng Z., Liu Z., Sun M., Yu G. Judge as A Judge: Improving the Evaluation of Retrieval-Augmented Generation through the Judge-Consistency of Large Language Models. arXiv preprint arXiv:2502.18817. 2025. Available at: https: //arxiv.org/abs/2502.18817 (accessed 01.11.2025).
19. Manathunga S. S., Illangasekara Y. A. Retrieval Augmented Generation and Representative Vector Summarization for large unstructured textual data in Medical Education. arXiv preprint arXiv:2308.00479. 2023. Available at: https: //arxiv.org/abs/2308.00479 (accessed 01.11.2025).
20. Asai A., Wu Z., Wang Y., Sil A., Hajishirzi H. Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection. arXiv preprint arXiv:2310.11511. 2023. Available at: https: //arxiv.org/abs/2310.11511 (accessed 01.11.2025).
21. Zhao J., Ji Z., Feng Y., Qi P., Niu S., Tang B., Xiong F., Li Z. Meta-Chunking: Learning Efficient Text Segmentation via Logical Perception. arXiv preprint arXiv:2410.12788. 2024. Available at: https: //arxiv.org/abs/2410.12788 (accessed 01.11.2025).
22. Minaee S., Mikolov T., Nikzad N., Chenaghlu M., Socher R., Amatriain X., Gao J. Large Language Models: A Survey. arXiv preprint arXiv:2402.06196. 2024. Available at: https: //arxiv.org/abs/2402.06196 (accessed 01.11.2025).
23. Liu X., Zhang Y., Wang Y., Xu M., Lin J., Sun M., Liu Z. Efficient Large Language Models: A Survey. arXiv preprint arXiv:2312.03863. 2023. Available at: https: //arxiv.org/abs/2312.03863 (accessed 01.11.2025).
24. Zhao W., Hu X., Huang J., Li J., Chen X., Qin B. Multimodal Large Language Models: A Survey. arXiv preprint arXiv:2405.13164. 2024. Available at: https: //arxiv.org/abs/2405.13164 (accessed 01.11.2025).
25. Wang C., Huang T., Chen Y., Xu X., Li J., Wang H. AgentBench: Evaluating LLMs as Agents. arXiv preprint arXiv:2308.03688. 2023. Available at: https: //arxiv.org/abs/2308.03688 (accessed 01.11.2025).
26. Li S., Ning X., Wang L., Liu T., Shi X., Yan S., Dai G., Yang H., Wang Y. Evaluating Quantized Large Language Models. arXiv preprint arXiv:2402.18158. 2024. Available at: https: //arxiv.org/abs/2402.18158 (accessed 01.11.2025)
27. Caspari L., Ghosh Dastidar K., Zerhoudi S., Mitrovic J., Granitzer M. Beyond Benchmarks: Evaluating Embedding Model Similarity for Retrieval Augmented Generation Systems. arXiv preprint arXiv:2407.08275. 2024. Available at: https: //arxiv.org/abs/2407.08275 (accessed 01.11.2025).
28. Snegirev A., Tikhonova M., Maksimova A., Fenogenova A., Abramov A. The Russian-focused embedders’ exploration: ruMTEB benchmark and Russian embedding model design. arXiv preprint arXiv:2408.12503v2. 2025. Available at: https: //arxiv.org/abs/2408.12503v2 (accessed 01.11.2025).