Метод обнаружения галлюцинаций в текстовых математических задачах, сгенерированных языковыми моделями

Аннотация

Введение. Большие языковые модели всё чаще применяются для генерации учебных текстовых математических задач, однако такой контент может содержать галлюцинации: правдоподобные, но фактически неверные, противоречивые или не соответствующие заданию фрагменты.
Материалы и методы. В статье предложен метод на основе правил для обнаружения галлюцинаций в задачах для 4-го класса начальной школы. Метод использует предметные знания о математических отношениях, единицах измерения, реалистичных скоростях и ценах, а также опирается на таксономию из пяти типов ошибок: структурные, фактические, внутренне противоречивые, неразрешимые и тематические. Проверка выполняется по семи формальным критериям без обращений к API больших языковых моделей.
Результаты исследования. Экспериментальная оценка проведена на корпусе из 1218 задач: 318 эталонных задач из учебников и 900 задач, сгенерированных ChatGPT-5.2, DeepSeek-V3 и Qwen3-Max по трём темам. На отложенной синтетической тестовой выборке из 446 задач метод достиг значения F1-меры 0,982 при полноте 0,964, точности (Precision) 1,000 и коэффициенте корреляции Мэтьюса 0,965; скорость обработки составила около 7 785 задач/с на одном CPU-ядре. Метод превзошёл лучший базовый подход на регулярных выражениях на 0,327 по F1-мере. Анализ сгенерированных задач выявил статистически значимые различия между моделями: доля обнаруженных галлюцинаций у Qwen3-Max составила 7,3 %, у ChatGPT-5.2 – 1,0 %, у DeepSeek-V3 – 0,7 %; преобладающим типом стали тематические галлюцинации H5.
Обсуждение и заключение. Полученные результаты показывают, что предметно-ориентированная проверка на основе правил может служить эффективным первым фильтром качества образовательного контента.