Моделирование адаптивного теста по результатам классического тестирования
Аннотация
Тестирование широко используется учителями и преподавателями вузов, как для текущего, так и для аттестационного контроля знаний. По сравнению с традиционными методами оценки, тестирование – более быстрый, менее трудоемкий и более объективный метод. Однако тестирование часто вызывает нарекания. Его называют «лотереей», вспоминая случаи, когда удачливый троечник выполнял тест на «отлично», а отличник не мог справиться с тем же тестом. Тестирование – случайный процесс, в котором мы можем гарантировать только вероятности, а не его результат. Чтобы снизить воздействие случайных факторов, тест должен соответствовать рекомендациям теории педагогических измерений (IRT). Такие параметры теста, как: метод проведения тестирования, содержание и количество заданий в тесте, их распределение по трудности выполнения, рейтинговая шкала и т.д., должны задаваться исходя из целей тестирования, с учетом подготовленности аудитории. Обычно в педагогической практике используются классические алгоритмы тестирования, однако их цель: с максимальной точностью оценить уровень подготовленности испытуемых, не соответствуют цели проведения тестирования: расставить оценки, т.е. отнести каждого испытуемого к одной из заданных категорий. Более подходящим для этого является адаптивное тестирование, базирующееся на алгоритме Байеса, цель которого: наиболее точно оценить вероятности принадлежности тестируемого к каждой категории. Настоящая публикация посвящена сравнительному анализу алгоритмов классического и адаптивного тестирования. Для их сопоставления на результатах классического тестирования был имитирован адаптивный тест. Для сравнения достоверности результатов тестирования были рассчитаны матрицы рассеяния. Эксперимент показал, что достоверность адаптивного тестирования выше, чем классического, при том, что число выполненных заданий составляет 60% от заданий, при классическом тестировании. Результаты работы показывают важность внедрения адаптивных методов в системы компьютерного тестирования, используемые при контроле знаний.
Литература
2. Belous N.V., Kutsevich I.V. Model' adaptivnogo kontrolya znanij [Model of adaptive control of knowledge]. Radioelektronika, informatika, upravlenie = Radio Electronics. Computer Science. Control. 2010;(1):39-44. (In Russ., abstract in Eng.) EDN: SAZQLJ
3. Kornilov D.E. Sravnitel'nyj analiz adaptivnoj i klassicheskoj modeli testirovaniya [Comparative analysis of adaptive and classical testing models]. Perspektivy razvitiya informacionnyh tekhnologij = Prospects for the development of information technologies. 2014;(19):119-124. (In Russ., abstract in Eng.) EDN: SEFOEJ
4. Oppl S., Reisinger F., Eckmaier A. et al. A flexible online platform for computerized adaptive testing. International Journal of Educational Technology in Higher Education. 2017;14:2. https://doi.org/10.1186/s41239-017-0039-0
5. Nurakhmetov D. Reinforcement Learning Applied to Adaptive Classification Testing. In: Veldkamp B., Sluijter C. (eds.) Theoretical and Practical Advances in Computer-based Educational Measurement. Methodology of Educational Measurement and Assessment. Cham: Springer; 2019. p. 325-366. https://doi.org/10.1007/978-3-030-18480-3_17
6. [ 5]Gamage S.H.P.W., Ayres J.R., Behrend M.B. et al. Optimising Moodle quizzes for online assessments. International Journal of STEM Education. 2019;6:27. https://doi.org/10.1186/s40594-019-0181-4
7. Romanenko D. Computer Testing as a Form of Students Knowledge Control. CEUR Workshop Proceedings. 2020;2770:196-203. Available at: https://ceur-ws.org/Vol-2770/paper23.pdf (accessed 11.02.2023).
8. Maslova O., Kuklina A. Adaptive testing model based on IRT techniques. The Scientific Heritage. 2020;(43):41-44. EDN: AGLIOQ
9. Riza L.S., Nurjanah N.S., Wihardi Y. The development of computer adaptive test and item response theory with 4 parameters based the logistics model. Journal of Physics: Conference Series. 2019;1280:032033. https://doi.org/10.1088/1742-6596/1280/3/032033
10. Wulandari F., Hadi S., Haryanto. Computer-based Adaptive Test Development Using Fuzzy Item Response Theory to Estimate Student Ability. Computer Science and Information Technology. 2020;8(3):66-73. https://doi.org/10.13189/csit.2020.080302
11. Hu Z.F., Lin L., Wang Y.H., Li J.W. The Integration of Classical Testing Theory and Item Response Theory. Psychology. 2021;12:1397-1409. https://doi.org/10.4236/psych.2021.129088
12. Kimura T. The impacts of computer adaptive testing from a variety of perspectives. Journal of Educational Evaluation for Health Professions. 2017;14:12. https://doi.org/10.3352/jeehp.2017.14.12
13. Sijtsma K. Developments in Measurement of Persons and Items by Means of Item Response Models. Behaviormetrika. 2001;28:65-94. https://doi.org/10.2333/bhmk.28.65
14. Bortolotti S.L.V., Tezza R., de Andrade D.F. et al. Relevance and advantages of using the item response theory. Quality & Quantity. 2013;47:2341-2360. https://doi.org/10.1007/s11135-012-9684-5
15. Koliada M., Bugayova T., Miklashevich N. Intelligent Testing Systems Based on Adaptive Algorithms. CEUR Workshop Proceedings. 2020;2770:172-186. Available at: https://ceur-ws.org/Vol-2770/paper21.pdf (accessed 11.02.2023).
16. Almansour F.M., Alroobaea R., Ghiduk A.S. An Empirical Comparison of the Efficiency and Effectiveness of Genetic Algorithms and Adaptive Random Techniques in Data-Flow Testing. IEEE Access. 2020;8:12884-12896. https://doi.org/10.1109/ACCESS.2020.2966433
17. Starichenko B.E., Gizatullin M.G., Istomina E.A. Assessment of the level of readiness and quality of test materials using the online form test_results. Pedagogical Education in Russia. 2016;(7):104-112. (In Russ., abstract in Eng.) https://doi.org/10.26170/po16-07-15
18. Buravlev A.I., Pereverzev V.Yu., Golyaeva N.V. Ocenka kachestva podgotovki na osnove bajesovskoj procedury adaptivnogo kriterial'no-orientirovannogo testirovaniya [Evaluation of the quality of training based on the Bayesian procedure of adaptive criterion-oriented testing]. Srednee professional'noe obrazovanie = Secondary vocational education. 2006;(9):18-21. (In Russ., abstract in Eng.) EDN: KTOGIR
19. Gusyatnikov V.N., Sokolova T.N., Bezrukov A.I., Kayukova I.V., Adaptive model for testing several competencies based on the Bayes algorithm. Modern high technologies. 2022;(1):40-46. (In Russ., abstract in Eng.) https://doi.org/10.17513/snt.39007
20. Nekhaev I., Zhuykov I., Manukyants S., Maslennikov A. Applying Bayesian Network to Assess the Levels of Skills Mastering in Adaptive Dynamic OER-Systems. In: Silhavy R., Silhavy P., Prokopova Z. (eds.) Software Engineering Perspectives in Intelligent Systems. CoMeSySo 2020. Advances in Intelligent Systems and Computing. Vol. 1294. Cham: Springer; 2020. p. 1090-1116. https://doi.org/10.1007/978-3-030-63322-6_94
21. Bezrukov A.I., Grakholskaya L.V. Imitacionnaya model' dlya vybora strategii adaptivnogo testirovaniya [Simulation model for choosing an adaptive testing strategy]. Matematicheskoe i komp'yuternoe modelirovanie v ekonomike, strahovanii i upravlenii riskami = Mathematical and computer modeling in economics, insurance and risk management. 2020;(5):145-151. (In Russ., abstract in Eng.) EDN: KYXXJM
22. Bloem R., Fey G., Greif F. et al. Synthesizing adaptive test strategies from temporal logic specifications. Formal Methods in System Design. 2019;55:103-135. https://doi.org/10.1007/s10703-019-00338-9
23. Rodríguez I., Rubio D., Rubio F. Complexity of adaptive testing in scenarios defined extensionally. Frontiers of Computer Science. 2023;17:173206. https://doi.org/10.1007/s11704-022-1673-9
24. Kostikov A., Vlasenko K., Lovianova I., Volkov S., Kovalova D., Zhuravlov M. Assessment of Test Items Quality and Adaptive Testing on the Rasch Model. In: Ermolayev V., et al. (eds.) Information and Communication Technologies in Education, Research, and Industrial Applications. ICTERI 2021. Communications in Computer and Information Science. Vol. 1698. Cham: Springer; 2022. p. 252-271. https://doi.org/10.1007/978-3-031-20834-8_12
25. Tagirova L.F., Zubkova T.M. Intelligent adaptive testing system. Scientific and Technical Journal of Information Technologies, Mechanics and Optics. 2023;23(4):757-766. (In Russ., abstract in Eng.) https://doi.org/10.17586/2226-1494-2023-23-4-757-766
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.
Редакционная политика журнала основывается на традиционных этических принципах российской научной периодики и строится с учетом этических норм работы редакторов и издателей, закрепленных в Кодексе поведения и руководящих принципах наилучшей практики для редактора журнала (Code of Conduct and Best Practice Guidelines for Journal Editors) и Кодексе поведения для издателя журнала (Code of Conduct for Journal Publishers), разработанных Комитетом по публикационной этике - Committee on Publication Ethics (COPE). В процессе издательской деятельности редколлегия журнала руководствуется международными правилами охраны авторского права, нормами действующего законодательства РФ, международными издательскими стандартами и обязательной ссылке на первоисточник.
Журнал позволяет авторам сохранять авторское право без ограничений. Журнал позволяет авторам сохранить права на публикацию без ограничений.
Издательская политика в области авторского права и архивирования определяются «зеленым цветом» в базе данных SHERPA/RoMEO.
Все статьи распространяются на условиях лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная, которая позволяет другим использовать, распространять, дополнять эту работу с обязательной ссылкой на оригинальную работу и публикацию в этом журналe.
