Способ оценки достоверности работы локальной LLM в условиях нехватки ОЗУ компьютера

в задаче мониторинга научных знаний

Аннотация

Статья посвящена автоматизации, с помощью локальных нейронных сетей, процессов особой разновидности мониторинга – мониторинга получения научных знаний о текущем состоянии и тенденциях развития выбранной научной или инженерной области на основе разбора научных публикаций, доступных в Интернет. Знания выражаются в графовой и табличной форме сети научных проблем. Мониторинг рассматривается как частный случай передачи знаний, жизненно важный для ведения любой научной и инженерной деятельности. В статье описана архитектура разработанной мониторинговой системы "Поиск-УМ", предназначеной для извлечения научных знаний из корпусов научных публикаций, доступных в Интернет. В дополнение к основным компонентам, система включает в себя ИИ-ассистента, расположенного локально на компьютере пользователя, работающего по принципам большой языковой модели, и выполняющего извлечение элементов решений научных проблем из исходных текстов научных публикаций, найденных в глобальных сетях. Предложен способ локального размещения LLM на персональном вычислителе при помощи механизмов квантизации весов нейронной сети и удаления неиспользуемых нейронов, позволяющий уменьшить размер модели до объемов, позволяющих ее запуск на типовой конфигурации ЭВМ с объемом оперативной памяти до 16 ГБ. Предложен механизм дообучения LLM на базе кэширования промпта, отличающийся от стандартного дообучения отсутствием необходимости полного перестроения весов модели. Предложен способ вычисления оценки достоверности генерируемых нейронной сетью ответов в части извлечения элементов научных знаний из публикаций в Интернет с использованием алгоритма рассчета семантической схожести между генерируемым сетью ответом и исходным текстом. Авторами предложено использовать для рассчета достоверности работы LLM алгоритм косинусной схожести, основанный на коэффициенте Отиаи с методом векторизации документов Bag-of-Bigrams. Проведены эксперименты на массиве публикаций объемом 20-35 страниц из журналов Scientometrics и Data Mining за 2025 год, показывающие, что средняя семантическая схожесть между извлеченными элементами и исходными текстами, подсчитанная по предлагаемой авторами мере, составила 85-90%, что свидетельствует о высокой степени достоверности работы модели даже на относительно слабом персональном вычислительном оборудовании.