Автоматизация диагностики знаний обучающихся средствами больших языковых моделей и облачных интеграционных платформ

Аннотация

Массовое образование, в настоящий момент, сталкивается с фундаментальной проблемой масштабируемости оценки знаний. Тотальная ручная проверка тестов при нагрузке в сотни студентов неизбежно создает критическую временную нагрузку на преподавателей. При этом неизбежные субъективные искажения влияют на объективность оценивания. Существующие системы автоматизированной проверки с одной стороны сложно интегрировать в свои процессы, а с другой они, как правило, могут лишь ограничиваться подсчетом правильных ответов, игнорируя контекстуальные аспекты и аномальные паттерны. В данном исследовании предложена интеллектуальная система автоматизации тестирования, которая основана на комбинации генеративных языковых моделей и интеграционных платформ. Система реализована на базе российской платформы Albato с использованием Yandex.Forms для сбора данных, Google Sheets в качестве единой шины данных и API больших языковых моделей (OpenAI ChatGPT, Sber GigaChat). Архитектурный принцип предлагаемого решения - специализированная интеграционная связка, обеспечивающая полный цикл обработки ответов без интенсивного профессионального программирования со стороны преподавателя. Научная новизна заключается в двухступенчатом механизме анализа аномалий. На первом уровне применяется критериальный анализ с жестко заданными пороговыми значениями (ниже 20 и выше 85 баллов), выявляющий явные случаи экстремальных результатов. Второй уровень представляет интеллектуальный LLM-анализ, где проинструктированная генеративная модель принимает финальное решение о наличии аномалии на основе комплексного анализа ответов студента, предварительной LLM-оценки от другой проинструктированной моделии результатов критериального анализа. Такой подход, по сути, переводит систему от дихотомической оценки к контекстуальному пониманию результатов ответа каждого обучающегося на тест. Практическая значимость подтверждается функционирующим прототипом, готовым к внедрению и повторению в образовательной практике преподавателя. Система освобождает преподавателей от рутинной проверки, позволяя сконцентрироваться на анализе аномальных случаев и индивидуальной работе со студентами.