Модели физически информированных / осведомленных классических Лагранжевых / Гамильтоновых нейронных сетей в глубоком обучении
Аннотация
Рассмотрены принципы построения систем глубокого машинного обучения на основе учета информации о физических свойствах исследуемого объекта управления типа автономного робота. Платформой для разработки интеллектуального инструментария являются модели глубокого машинного обучения с применением физически информированных нейронных сетей. Большинство из разрабатываемых методов построения моделей идентификации системы представляют собой либо модели "черного ящика" (т. е. общие модели, основанные на обучающих данных), либо так называемые модели "белого ящика" (например, модели пространства состояний/управления, которые могут быть явно выражены математически). Таким образом, направление развития состоит в исследовании модели "серого ящика" в пространстве состояний. Модель «серого ящика» означает модель, которая обучается на данных, руководствуясь при этом информацией о применяемых некоторых физических свойств или законов. Такие модели можно в дальнейшем применять для адаптивного управления и самоорганизации. Следовательно, рассматривается использование моделей в пространстве состояний. Особенность физически информированных нейронных сетей заключается в том, что изначально учитывают лежащее в основе описание физической интерпретации уравнений в частных или обыкновенных производных, то есть физику проблемы вместо того, чтобы пытаться вывести решение на основе исключительно данных, то есть путем аппроксимации нейронной сетью набора пар "состояние-значение". В качестве такого класса систем обучения рассмотрены Лагранжевы и Ньютоновы нейронные сети. На конкретных примерах показаны преимущества и особенности применения обсуждаемых типов физически информированных нейронных сетей.
Литература
2. Thuerey N., et al. Physics-based Deep Learning. arXiv:2109.05237. 2022. Available at: https://arxiv.org/pdf/2109.05237.pdf (accessed 19.05.2022). (In Eng.)
3. Raissi M., Perdikaris P., Karniadakis G.E. Physics-informed neural networks: A deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations. Journal of Computational Physics. 2019; 378:686-707. (In Eng.) doi: https://doi.org/10.1016/j.jcp.2018.10.045
4. Karniadakis G.E., Kevrekidis I.G., Lu L., et al. Physics-informed machine learning. Nature Reviews Physics. 2021; 3:423-440. (In Eng.) doi: http://dx.doi.org/10.1038/s42254-021-00314-5
5. Cuomo S. et al. Scientific Machine Learning Through Physics-Informed Neural Networks: Where we are and What’s Next. Journal of Scientific Computing. 2022; 92(3):88. (In Eng.) doi: https://doi.org/10.48550/arXiv.2201.05624
6. Greydanus S., Dzamba M., Yosinski J. Hamiltonian Neural Networks. In: Wallach H., Larochelle H., Beygelzimer A., d'Alché-Buc F., Fox E., Garnett R. (eds.) Advances in Neural Information Processing Systems (NeurIPS 2019). Vol. 32. Curran Associates, Inc.; 2019. p. 1-11. Available at: https://proceedings.neurips.cc/paper/2019/file/26cd8ecadce0d4efd6cc8a8725cbd1f8-Paper.pdf (accessed 19.05.2022). (In Eng.)
7. Sosanya A., Greydanus S. Dissipative Hamiltonian Neural Networks: Learning Dissipative and Conservative Dynamics Separately. arXiv:2201.10085. 2022. Available at: https://arxiv.org/pdf/2201.10085.pdf (accessed 19.05.2022). (In Eng.)
8. Dhulipala S.L.N., Che Y., Shields M.D. Bayesian Inference with Latent Hamiltonian Neural Networks. arXiv:2208.06120. 2022. (In Eng.) doi: https://doi.org/10.48550/arXiv.2208.06120
9. Cranmer M., Greydanus S., Hoyer S., Battaglia P., Spergel D., Ho S. Lagrangian Neural Networks. ICLR 2020 Workshop on Integration of Deep Neural Models and Differential Equations. Addis Ababa, Ethiopia; 2019. Available at: https://openreview.net/forum?id=iE8tFa4Nq (accessed 19.05.2022). (In Eng.)
10. Liu Z., Wang B., Meng Q., Chen W., Tegmark M., Liu T.-Y. Machine-Learning Non-Conservative Dynamics for New-Physics Detection. Physical Review E. 2021; 104:055302. (In Eng.) doi: https://doi.org/10.1103/PhysRevE.104.055302
11. Meng C., Seo S., Cao D., Griesemer S., Liu Y. When Physics Meets Machine Learning: A Survey of Physics-Informed Machine Learning. arXiv:2203.16797. 2022. (In Eng.) doi: https://doi.org/10.48550/arXiv.2203.16797
12. Zhai H., Sands T. Controlling Chaos in Van Der Pol Dynamics Using Signal-Encoded Deep Learning. Mathematics. 2022; 10(3):453. (In Eng.) doi: https://doi.org/10.3390/math10030453
13. Denman H.H., Buch L.H. Solution of the Hamilton-Jacobi equation for certain dissipative classical mechanical systems. Journal of Mathematical Physics. 1973; 14:326-329. (In Eng.) doi: https://doi.org/10.1063/1.1666316
14. Ohsawa T., Bloch A.M. Nonholomonic Hamilton-Jacobi equation and integrability. Journal of Geometric Mechanics. 2009; 1(4):461-481. (In Eng.) doi: https://doi.org/10.3934/jgm.2009.1.461
15. Balseiro P., Marrero J.C., de Diego D.M., Padron E. A unified framework for mechanics: Hamilton-Jacobi equation and applications. Nonlinearity. 2010; 23(8):1887-1918. (In Eng.) doi: https://doi.org/10.1088/0951-7715/23/8/006
16. Flannery M.R. d’Alembert-Lagrange analytical dynamics for nonholonomic systems. Journal of Mathematical Physics. 2011; 52(3):032705. (In Eng.) doi: https://doi.org/10.1063/1.3559128
17. Litvintseva L.V., Ul’yanov S.V., Ul’yanov S.S. Design of robust knowledge bases of fuzzy controllers for intelligent control of substantially nonlinear dynamic systems: II. A soft computing optimizer and robustness of intelligent control systems. Journal of Computer and Systems Sciences International. 2006; 45(5):744-771. (In Eng.) doi: https://doi.org/10.1134/S106423070605008X
18. Valelis C., Anagnostopoulos F.K., Basilakos S., Saridakis E.N. Building healthy Lagrangian theories with machine learning. International Journal of Modern Physics D. 2021; 30(11):2150085. (In Eng.) doi: https://doi.org/10.1142/S0218271821500851
19. Waltz D., Buchanan B.G. Automating Science. Science. 2009; 324(5923):43-44. (In Eng.) doi: https://doi.org/10.1126/science.1172781
20. Chiu P.-H., Wong J.C., Ooi C., Dao M.H., Ong Y.-S. CAN-PINN: A fast physics-informed neural network based on coupled-automatic-numerical differentiation method. Computer Methods in Applied Mechanics and Engineering. 2022; 395:114909. (In Eng.) doi: https://doi.org/10.1016/j.cma.2022.114909
21. Fang Z. A High-Efficient Hybrid Physics-Informed Neural Networks Based on Convolutional Neural Network. IEEE Transactions on Neural Networks and Learning Systems. 2022; 33(10):5514-5526. (In Eng.) doi: https://doi.org/10.1109/TNNLS.2021.3070878
22. Rouhani B.D., Mirhoseini A., Koushanfar F. Going deeper than deep learning for massive data analytics under physical constraints. Proceedings of the Eleventh IEEE/ACM/IFIP International Conference on Hardware/Software Codesign and System Synthesis (CODES '16). Association for Computing Machinery, New York, NY, USA; 2016. Article number: 17. p. 1-3. (In Eng.) doi: https://doi.org/10.1145/2968456.2976766
23. Zhang Y. Towards Piecewise-Linear Primal Neural Networks for Optimization and Redundant Robotics. 2006 IEEE International Conference on Networking, Sensing and Control. IEEE Computer Society; 2006. p. 374-379. (In Eng.) doi: https://doi.org/10.1109/ICNSC.2006.1673175
24. Zhang C., Shafieezadeh A. Simulation-free reliability analysis with active learning and Physics-Informed Neural Network. Reliability Engineering & System Safety. 2022; 226:108716. (In Eng.) doi: https://doi.org/10.1016/j.ress.2022.108716
25. Dierkes E., Flaßkamp K. Learning Hamiltonian Systems considering System Symmetries in Neural Networks. IFAC-PapersOnLine. 2021; 54(19):210-216. (In Eng.) doi: https://doi.org/10.1016/j.ifacol.2021.11.080
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.
Редакционная политика журнала основывается на традиционных этических принципах российской научной периодики и строится с учетом этических норм работы редакторов и издателей, закрепленных в Кодексе поведения и руководящих принципах наилучшей практики для редактора журнала (Code of Conduct and Best Practice Guidelines for Journal Editors) и Кодексе поведения для издателя журнала (Code of Conduct for Journal Publishers), разработанных Комитетом по публикационной этике - Committee on Publication Ethics (COPE). В процессе издательской деятельности редколлегия журнала руководствуется международными правилами охраны авторского права, нормами действующего законодательства РФ, международными издательскими стандартами и обязательной ссылке на первоисточник.
Журнал позволяет авторам сохранять авторское право без ограничений. Журнал позволяет авторам сохранить права на публикацию без ограничений.
Издательская политика в области авторского права и архивирования определяются «зеленым цветом» в базе данных SHERPA/RoMEO.
Все статьи распространяются на условиях лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная, которая позволяет другим использовать, распространять, дополнять эту работу с обязательной ссылкой на оригинальную работу и публикацию в этом журналe.
