Исследование использование RAG в корпоративном сегменте в сфере документооборота

Аннотация

Введение. Построение RAG-систем является одним из самых динамически развивающихся направлений в области машинного обучения. В последние годы рынок труда активно пополняется вакансиями, связанными с разработкой и внедрением подобных решений как для внутренних нужд компаний, так и для внешних продуктов. Основная идея RAG заключается в объединении возможностей генеративных языковых моделей с поисковыми механизмами, обеспечивающими доступ к релевантным фрагментам текстов. Такая комбинация позволяет значительно повысить точность и достоверность ответов моделей при работе с большими корпусами данных.
Материалы и методы. Основа этой технологии - это работа с текстом, где в зависимости от него результаты могут сильно измениться. Меняются запросы, модели, их параметры, размеры, содержания фрагментов, их количество.  В статье рассматривается задача использования RAG-систем для работы с корпоративной документацией на русском языке, которая имеет свою специфику делового стиля, терминологии и семантику языка.
Результаты исследования. Важно учитывать возможности масштабирования системы под мощностные ограничения, а также политику компании, ведь использовать слишком большие языковые модели локально слишком дорого, а использование API порой влечет за собой утечку информации. И требуется понять на сколько RAG хорошо работает без сложной структуры и мощных моделей.
Обсуждение и заключение. Проведена работа, направленная на исследование эффективности предложенного метода, влияния внутренних параметров, описанных выше, на систему за счет анализа метрик. Так же поднимаются основные проблемы реализации системы. Полученные результаты могут быть использованы при проектировании корпоративных RAG-решений и оптимизации их производительности.