Минимизация ошибок нейросетевых моделей в библиотечно-издательской сфере
подходы и их эффективность
Аннотация
Внедрение нейросетевых технологий в библиотечно-издательскую сферу открывает значительные перспективы для автоматизации задач поиска, классификации и систематизации информации. Однако одной из ключевых проблем, ограничивающих точность и надёжность таких систем, являются галлюцинации - ошибки генерации, приводящие к созданию недостоверных данных. В данной статье рассматриваются основные причины возникновения галлюцинаций в нейросетевых моделях, используемых в библиотечных системах, и предлагаются методы их минимизации.
В рамках исследования проведен анализ распространенных ошибок, возникающих при выполнении библиотечных задач, включая фактологические несоответствия, ошибки библиографических ссылок, некорректные рекомендации и смешение жанров. Для снижения частоты ошибок предложены методы уточнения запросов, включая Chain-of-Thought, Tree-of-Thought, Temperature Scaling, Beam Search и смешанную стратегию. Разработанный метод уточнения запросов позволяет повысить точность поиска и сократить вероятность генерации нерелевантных ответов за счет устранения сленга, улучшения формулировки и добавления уточняющих параметров.
Экспериментальная оценка предложенных методов показала, что их применение позволяет снизить частоту галлюцинаций до 95%, а точность выполнения библиотечных задач, таких как поиск автора, фактологическая проверка и рекомендации литературы, существенно возрастает. Представленные результаты подтверждают эффективность предложенного подхода и демонстрируют потенциал его практического использования для повышения надежности библиотечно-издательских нейросетевых систем.
Литература
2. Manakul P., Liusie A., Gales M.J.F. SelfCheckGPT: Zero-resource black-box hallucination detection for generative large language models. In: The 2023 Conference on Empirical Methods in Natural Language Processing. Singapore; 2023. Available at: https://openreview.net/pdf?id=RwzFNbJ3Ez (accessed 13.04.2025).
3. Nonkes N., Agaronian S., Kanoulas E., Petcu R. Leveraging graph structures to detect hallucinations in large language models. ACM Transactions on Information Systems. 2024;42(3):15-27. https://doi.org/10.1145/3597891
4. Elaraby M., Lu M., Dunn J., et al. Halo: Estimation and reduction of hallucinations in open-source weak large language models. arXiv:2308.11764. 2023. https://doi.org/10.48550/arXiv.2308.11764
5. Lai K. How well does ChatGPT handle reference inquiries? An analysis based on question types and complexities. College & Research Libraries. 2023;84(6):974-995. https://doi.org/10.5860/crl.84.6.974
6. Chelli M., Descamps J., Lavoué V., et al. Hallucination rates and reference accuracy of ChatGPT and Bard for systematic reviews: Comparative analysis. Journal of Medical Internet Research. 2024;26. https://doi.org/10.2196/53164
7. Walters W.H., Wilder E.I. Fabrication and errors in the bibliographic citations generated by ChatGPT. Scientific Reports. 2023;13:14045. https://doi.org/10.1038/s41598-023-41032-5
8. Østergaard S.D., Nielbo K.L. False responses from artificial intelligence models are not hallucinations. Schizophrenia Bulletin. 2023;49(5):1105-1107. https://doi.org/10.1093/schbul/sbad068
9. Brichkovsky V.I., Kanashevich E.D., Kovalevsky A.V. Prospects and problems of using artificial intelligence systems based on neural networks in the library sphere. Bibliatetchni Vesnik. 2023;15:27-41.
10. Gabdrakhmanova N.T. Clustering of documents using neural networks. Speech Technologies. 2019;(1):45-53. (In Russ., abstract in Eng.) EDN: UHSEKF
11. Maleki N., Padmanabhan B., Dutta K. AI Hallucinations: A Misnomer Worth Clarifying. In: 2024 IEEE Conference on Artificial Intelligence (CAI). Singapore, Singapore: IEEE Press; 2024. p. 133-138. https://doi.org/10.1109/CAI59869.2024.00033
12. Chang T.A., Bergen B.K. Language model behavior: A comprehensive survey. Computational Linguistics. 2024;50(1):293-350. https://doi.org/10.1162/coli_a_00492
13. Lee N., et al. Factuality enhanced language models for open-ended text generation. In: Proceedings of the 36th International Conference on Neural Information Processing Systems (NIPS '22). Curran Associates Inc., Red Hook, NY, USA; 2022. Article number: 2506. p. 34586-34599.
14. Dentella V., Guenther F., Leivada E. Language in vivo vs. in silico: Size matters but Larger Language Models still do not comprehend language on a par with humans due to impenetrable semantic reference. PLoS One. 2025;20(7):e0327794. https://doi.org/10.1371/journal.pone.0327794
15. Monti C.B., Ambrogi F., Sardanelli F. Sample size calculation for data reliability and diagnostic performance: A go-to review. European Radiology Experimental. 2024;8:79. https://doi.org/10.1186/s41747-024-00474-w
16. Thakur A.S., Choudhary K., Ramayapally V.S., et al. Judging the judges: Evaluating alignment and vulnerabilities in LLMs-as-judges. arXiv:2406.12624v4. 2024. https://doi.org/10.48550/arXiv.2406.12624
17. Wilimitis D., Walsh C.G. Practical considerations and applied examples of cross-validation for model development and evaluation in health care. JMIR AI. 18;2:e49023. https://doi.org/10.2196/49023
18. Pyrnova O.A., Zaripova R.S. Methods and Problems of Retraining a Multilayer Neural Network. Information Technologies in Construction, Social and Economic Systems. 2020;2(20):101-102. (In Russ., abstract in Eng.) EDN: FZQBTP
19. Wei J., et al. Chain-of-thought prompting elicits reasoning in large language models. In: Proceedings of the 36th International Conference on Neural Information Processing Systems (NIPS '22). Curran Associates Inc., Red Hook, NY, USA, Article number: 1800. p. 24824–24837.
20. Yao S., et al. Tree of thoughts: Deliberate problem solving with large language models. arXiv:2305.10601. 2023. https://doi.org/10.48550/arXiv.2305.10601
21. Ayala O., Bechard P. Reducing hallucination in structured outputs via Retrieval-Augmented Generation. In: Proceedings of the 2024 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (Volume 6: Industry Track). Mexico City, Mexico: Association for Computational Linguistics; 2024. p. 228-238. https://doi.org/10.18653/v1/2024.naacl-industry.19
22. Dhuliawala S., Komeili M., Xu J., et al. Chain of verification reduces hallucination in large language models. arXiv:2309.11495. 2023. https://doi.org/10.48550/arXiv.2309.11495
23. Salvagno M., Taccone F.S., Gerli A.G. Artificial intelligence hallucinations. Critical Care. 2023;27:180. https://doi.org/10.1186/s13054-023-04473-y
24. Lee G.G., Latif E., Wu X., et al. Applying large language models and chain-of-thought for automatic scoring. Computers and Education: Artificial Intelligence. 2024;6:100213. https://doi.org/10.1016/j.caeai.2024.100213
25. Sennrich R., Vamvas J., Mohammadshahi A. Mitigating hallucinations and off-target machine translation with source-contrastive and language-contrastive decoding. arXiv:2309.07098. 2023. https://doi.org/10.48550/arXiv.2309.07098
26. De Sio C., Azimi S., Sterpone L. FireNN: Neural networks reliability evaluation on hybrid platforms. IEEE Transactions on Emerging Topics in Computing. 2022;10(2):549-563.
27. Chen B., Lyu X., Gao L., Song J., Shen H.T. Alleviating hallucinations in large vision-language models through hallucination-induced optimization. In: 38th Conference on Neural Information Processing Systems (NeurIPS 2024). p. 13245-13257. https://doi.org/10.1109/CVPR.2024.01345
28. Boyle A., et al. iToT: An interactive system for customized tree-of-thought generation. arXiv:2409.00413. 2024. https://doi.org/10.48550/arXiv.2409.00413
29. Ranaldi L., et al. Empowering multi-step reasoning across languages via tree-of-thoughts. arXiv:2311.08097. 2023. https://doi.org/10.48550/arXiv.2311.08097
30. Cai C., et al. T² of thoughts: Temperature tree elicits reasoning in large language models. arXiv:2405.14075. 2024. https://doi.org/10.48550/arXiv.2405.14075
31. Besta M., et al. Graph of thoughts: Solving elaborate problems with large language models. Proceedings of AAAI. 2024;38(16):17682-17690. https://doi.org/10.1609/aaai.v38i16.29720
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.
Редакционная политика журнала основывается на традиционных этических принципах российской научной периодики и строится с учетом этических норм работы редакторов и издателей, закрепленных в Кодексе поведения и руководящих принципах наилучшей практики для редактора журнала (Code of Conduct and Best Practice Guidelines for Journal Editors) и Кодексе поведения для издателя журнала (Code of Conduct for Journal Publishers), разработанных Комитетом по публикационной этике - Committee on Publication Ethics (COPE). В процессе издательской деятельности редколлегия журнала руководствуется международными правилами охраны авторского права, нормами действующего законодательства РФ, международными издательскими стандартами и обязательной ссылке на первоисточник.
Журнал позволяет авторам сохранять авторское право без ограничений. Журнал позволяет авторам сохранить права на публикацию без ограничений.
Издательская политика в области авторского права и архивирования определяются «зеленым цветом» в базе данных SHERPA/RoMEO.
Все статьи распространяются на условиях лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная, которая позволяет другим использовать, распространять, дополнять эту работу с обязательной ссылкой на оригинальную работу и публикацию в этом журналe.
