VEXL: Предметно-ориентированный язык для унифицированной автоматизированной проверки практических заданий
Аннотация
Введение. В сфере современного ИТ-образования существует проблема отсутствия универсальных инструментов для автоматизированной проверки практических заданий, которые бы одинаково эффективно работали как с программным кодом, так и с ответами на естественном языке. Существующие платформы либо специализируются на одном типе задач, либо требуют от преподавателей сложных настроек. Данная работа представляет язык VEXL, разработанный для решения этой проблемы.
Материалы и методы. В основе VEXL лежит концепция предметно-ориентированного языка (DSL) с интуитивно понятным синтаксисом. Для валидации заданий используется модульная архитектура на основе «движков». Для задач по программированию (Python) применяется движок, последовательно исполняющий код студента, код настройки среды и логические проверки. Для задач на естественном языке (NL) используется движок, реализующий подход "LLM как судья", который выполняет семантический анализ ответа для проверки наличия ключевых тезисов.
Результаты исследования. Результатом работы является язык VEXL, обладающий единым синтаксисом для описания принципиально разных типов заданий. Разработана грамматика языка и реализованы два движка валидации для Python и NL-задач. Синтаксис включает конструкции для позитивных и негативных тестов, что позволяет гибко настраивать систему оценки. Система успешно справляется с проверкой как корректности вывода программ, так и смыслового содержания текстовых ответов.
Обсуждение и заключение. Представленный язык VEXL является гибким и расширяемым инструментом, который позволяет преподавателям без глубоких знаний в программировании создавать комплексные сценарии автоматизированной проверки. Его модульная архитектура открывает перспективы для поддержки других дисциплин (например, SQL-запросов). VEXL способствует повышению объективности оценки и снижению временных затрат преподавателей, что делает его ценным вкладом в развитие современных образовательных технологий.
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.
Редакционная политика журнала основывается на традиционных этических принципах российской научной периодики и строится с учетом этических норм работы редакторов и издателей, закрепленных в Кодексе поведения и руководящих принципах наилучшей практики для редактора журнала (Code of Conduct and Best Practice Guidelines for Journal Editors) и Кодексе поведения для издателя журнала (Code of Conduct for Journal Publishers), разработанных Комитетом по публикационной этике - Committee on Publication Ethics (COPE). В процессе издательской деятельности редколлегия журнала руководствуется международными правилами охраны авторского права, нормами действующего законодательства РФ, международными издательскими стандартами и обязательной ссылке на первоисточник.
Журнал позволяет авторам сохранять авторское право без ограничений. Журнал позволяет авторам сохранить права на публикацию без ограничений.
Издательская политика в области авторского права и архивирования определяются «зеленым цветом» в базе данных SHERPA/RoMEO.
Все статьи распространяются на условиях лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная, которая позволяет другим использовать, распространять, дополнять эту работу с обязательной ссылкой на оригинальную работу и публикацию в этом журналe.
