Сравнительный анализ методов построения нейросетевых моделей для задач с параметризованными дифференциальными уравнениями
Аннотация
Проведено комплексное исследование эффективности нейроморфных моделей для решения обыкновенных дифференциальных уравнений. Рассмотрен пример параметризованного дифференциального уравнения второго порядка. Разработана двухэтапная методика, сочетающая аналитический вывод решений на основе обобщенного метода трапеций для различного количества слоев и последующую нейросетевую оптимизацию с различным количеством нейронов. На первом этапе для каждого количества слоев выведены аналитические выражения решения. На втором этапе проведена оптимизация весовых коэффициентов методом случайного поиска по набору начальных приближений с дальнейшей минимизацией функционала ошибки. В качестве нейросетевых базисных функций используются произведения гиперболических тангенсов, что позволяет учитывать зависимость решения как от пространственной переменной, так и от параметра уравнения. Дополнительно исследован метод регулировки разбиения интервалов, основанный на адаптивном изменении длины шага интегрирования. Установлено, что увеличение количества слоёв приводит к последовательному снижению ошибки. Показано, что для каждого количества слоёв существует оптимальное количество нейронов, обеспечивающее баланс между точностью и вычислительной сложностью.
Литература
2. Rasheed A., San O., Kvamsdal T. Digital Twin: Values, Challenges and Enablers From a Modeling Perspective. IEEE Access. 2020;8:21980-22012. https://doi.org/10.1109/ACCESS.2020.2970143
3. Gulin A.V., Samarskii A.A. On some results and problems of the stability theory of difference schemes. Mathematics of the USSR-Sbornik. 1976;28(3):263-290. https://doi.org/10.1070/SM1976v028n03ABEH001651
4. Raissi M., Perdikaris P., Karniadakis G.E. Physics-informed neural networks: A deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations. Journal of Computational Physics. 2019;378:686-707. https://doi.org/10.1016/j.jcp.2018.10.045
5. Lagaris I.E., Likas A., Fotiadis D.I. Artificial neural networks for solving ordinary and partial differential equations. IEEE Transactions on Neural Networks. 1998;9(5):987-1000. https://doi.org/10.1109/72.712178
6. Lazovskaya T., Malykhina G., Tarkhov D. Physics-Based Neural Network Methods for Solving Parameterized Singular Perturbation Problem. Computation. 2021;9(9):97. https://doi.org/10.3390/computation9090097
7. Tarkhov D.A., Vasilyev A.N. Semi-empirical Neural Network Modeling and Digital Twins Development. Academic Press, Elsevier; 2020. 288 p. https://doi.org/10.1016/C2017-0-02027-X
8. Budkina E.M., Kuznetsov E.B., Lazovskaya T.V., Leonov S.S., Tarkhov D.A., Vasilyev A.N. Neural Network Technique in Boundary Value Problems for Ordinary Differential Equations. In: Cheng L., Liu Q., Ronzhin A. (eds.) Advances in Neural Networks – ISNN 2016. ISNN 2016. Lecture Notes in Computer Science. Vol. 9719. Cham: Springer; 2016. p. 277-283. https://doi.org/10.1007/978-3-319-40663-3_32
9. Lazovskaya T.V., Tarkhov D.A. Fresh approaches to the construction of parameterized neural network solutions of a stiff differential equation. St. Petersburg Polytechnical University Journal: Physics and Mathematics. 2015;1(2):192-198. http://dx.doi.org/10.1016/j.spjpm.2015.07.005
10. Lazovskaya T., Tarkhov D. Multilayer neural network models based on grid methods. IOP Conference Series: Materials Science and Engineering. 2016;158:012061. https://doi.org/10.1088/1757-899X/158/1/012061
11. Tarkhov D., Lazovskaya T., Malykhina G. Constructing Physics-Informed Neural Networks with Architecture Based on Analytical Modification of Numerical Methods by Solving the Problem of Modelling Processes in a Chemical Reactor. Sensors. 2023;23(2):663. https://doi.org/10.3390/s23020663
12. Shemyakina T.A., Tarkhov D.A., Beliaeva A.R., Zulkarnay I.U. Neural Network Method of Restoring an Initial Profile of the Shock Wave. Modern Information Technologies and IT-Education. 2018;14(1):222-232. https://doi.org/10.25559/SITITO.14.201801.222-232
13. Lazovskaya T., Tarkhov D., Vasilyev А. Multi-Layer Solution of Heat Equation. In: Kryzhanovsky B., Dunin-Barkowski W., Redko V. (eds.) Advances in Neural Computation, Machine Learning, and Cognitive Research. NEUROINFORMATICS 2017. Studies in Computational Intelligence. Vol. 736. Cham: Springer; 2018. p. 17-22. https://doi.org/10.1007/978-3-319-66604-4_3
14. Vasilyev A.N., Tarkhov D.A., Tereshin V.A., Berminova M.S., Galyautdinova A.S. Semi-empirical Neural Network Model of Real Thread Sagging. B. Kryzhanovsky, W. Dunin-Barkowski, V. Redko (eds.) Advances in Neural Computation, Machine Learning, and Cognitive Research. Studies in Computational Intelligence. Vol. 736. Springer International Publishing, 2018. p. 138-146. https://doi.org/10.1007/978-3-319-66604-4_21
15. Zulkarnay I.U., Kaverzneva T.T., Tarkhov D.A., Tereshin V.A., Vinokhodov T.V., Kapitsin D.R. A Two-layer Semi Empirical Model of Nonlinear Bending of the Cantilevered Beam. Journal of Physics: Conference Series. 2018;1044:012005. https://doi.org/10.1088/1742-6596/1044/1/012005
16. Bortkovskaya M.R., Vasilyev A.N., Zulkarnay I.U., Semenova D.A., Tarkhov D.A., Udalov P.P., Shishkina I.A. Modeling of the membrane bending with multilayer semi-empirical models based on experimental data. CEUR Workshop Proceedings. 2017;2064:150-156. Available at: http://ceur-ws.org/Vol-2064/paper18.pdf (accessed 26.07.2025).
17. Budkina E.M., Kuznetsov E.B., Lazovskaya T.V., Tarkhov D.A., Shemyakina T.A., Vasilyev A.N. Neural network approach to intricate problems solving for ordinary differential equations. Optical Memory and Neural Networks. 2017;26(2):96-109. https://doi.org/10.3103/S1060992X17020011
18. Kaverzneva T.T., Malykhina G.F., Tarkhov D.A. From Differential Equations to Multilayer Neural Network Models. In: Lu H., Tang, H., Wang, Z. (eds.) Advances in Neural Networks – ISNN 2019. ISNN 2019. Lecture Notes in Computer Science. Vol. 11554. Cham: Springer; 2019. p. 19-27. https://doi.org/10.1007/978-3-030-22796-8_3
19. Rai R., Sahu C.K. Driven by Data or Derived through Physics? A Review of Hybrid Physics Guided Machine Learning Techniques with Cyber-Physical System (CPS) Focus. IEEE Access. 2020;8:71050-71073. https://doi.org/10.1109/ACCESS.2020.2987324.
20. Vasilyev A.N., Tarkhov D.A. Mathematical Models of Complex Systems on the Basis of Artificial Neural Networks. Nonlinear Phenomena in Complex Systems. 2014;17(3):327-335. EDN: YMVZGV
21. Lazovskaya T.N., Tarkhov D.A., Vasilyev A.N. Parametric Neural Network Modeling in Engineering. Recent Patents on Engineering. 2017;11(1):10-15. https://doi.org/10.2174/1872212111666161207155157
22. Antonov V., Tarkhov D., Vasilyev A. Unified approach to constructing the neural network models of real objects. Part 1. Mathematical Models and Methods in Applied Sciences. 2018;41(18):9244-9251. https://doi.org/10.1002/mma.5205
23. Tarkhov D.A., Vasilyev A.N. New neural network technique to the numerical solution of mathematical physics problems. I: Simple problems. Optical Memory and Neural Networks (Information Optics). 2005;14(1):59-72.
24. Tarkhov D.A., Vasilyev A.N. New neural network technique to the numerical solution of mathematical physics problems. II: Complicated and nonstandard problems. Optical Memory and Neural Networks (Information Optics).2005;14(2):97-122.
25. Yadav N., Yadav A., Kumar M. An Introduction to Neural Network Methods for Differen-tial Equations. SpringerBriefs in Applied Sciences and Technology. Dordrecht: Springer; 2015. 114 p. https://doi.org/10.1007/978-94-017-9816-7
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.
Редакционная политика журнала основывается на традиционных этических принципах российской научной периодики и строится с учетом этических норм работы редакторов и издателей, закрепленных в Кодексе поведения и руководящих принципах наилучшей практики для редактора журнала (Code of Conduct and Best Practice Guidelines for Journal Editors) и Кодексе поведения для издателя журнала (Code of Conduct for Journal Publishers), разработанных Комитетом по публикационной этике - Committee on Publication Ethics (COPE). В процессе издательской деятельности редколлегия журнала руководствуется международными правилами охраны авторского права, нормами действующего законодательства РФ, международными издательскими стандартами и обязательной ссылке на первоисточник.
Журнал позволяет авторам сохранять авторское право без ограничений. Журнал позволяет авторам сохранить права на публикацию без ограничений.
Издательская политика в области авторского права и архивирования определяются «зеленым цветом» в базе данных SHERPA/RoMEO.
Все статьи распространяются на условиях лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная, которая позволяет другим использовать, распространять, дополнять эту работу с обязательной ссылкой на оригинальную работу и публикацию в этом журналe.
