Модели физически информированных / осведомленных классических Лагранжевых / Гамильтоновых нейронных сетей в глубоком обучении

Аннотация

Рассмотрены принципы построения систем глубокого машинного обучения на основе учета информации о физических свойствах исследуемого объекта управления типа автономного робота. Платформой для разработки интеллектуального инструментария являются модели глубокого машинного обучения с применением физически информированных нейронных сетей. Большинство из разрабатываемых методов построения моделей идентификации системы представляют собой либо модели "черного ящика" (т. е. общие модели, основанные на обучающих данных), либо так называемые модели "белого ящика" (например, модели пространства состояний/управления, которые могут быть явно выражены математически). Таким образом, направление развития состоит в исследовании модели "серого ящика" в пространстве состояний. Модель «серого ящика» означает модель, которая обучается на данных, руководствуясь при этом информацией о применяемых некоторых физических свойств или законов. Такие модели можно в дальнейшем применять для адаптивного управления и самоорганизации. Следовательно, рассматривается использование моделей в пространстве состояний. Особенность физически информированных нейронных сетей заключается в том, что изначально учитывают лежащее в основе описание физической интерпретации уравнений в частных или обыкновенных производных, то есть физику проблемы вместо того, чтобы пытаться вывести решение на основе исключительно данных, то есть путем аппроксимации нейронной сетью набора пар "состояние-значение". В качестве такого класса систем обучения рассмотрены Лагранжевы и Ньютоновы нейронные сети. На конкретных примерах показаны преимущества и особенности применения обсуждаемых типов физически информированных нейронных сетей.

Сведения об авторах

Daria Petrovna Zrelova, Объединенный институт ядерных исследований; Государственный университет "Дубна"

стажер-исследователь Лаборатории информационных технологий имени М.Г. Мещерякова; аспирант Института системного анализа и управления

Sergey Victorovich Ulyanov, Объединенный институт ядерных исследований

главный научный сотрудник Лаборатории информационных технологий имени М.Г. Мещерякова, доктор физико-математических наук, профессор

Литература

1. Carleo G., et al. Machine learning and the physical sciences. Reviews of Modern Physics. 2019; 91(4):045002. (In Eng.) doi: https://doi.org/10.1103/RevModPhys.91.045002
2. Thuerey N., et al. Physics-based Deep Learning. arXiv:2109.05237. 2022. Available at: https://arxiv.org/pdf/2109.05237.pdf (accessed 19.05.2022). (In Eng.)
3. Raissi M., Perdikaris P., Karniadakis G.E. Physics-informed neural networks: A deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations. Journal of Computational Physics. 2019; 378:686-707. (In Eng.) doi: https://doi.org/10.1016/j.jcp.2018.10.045
4. Karniadakis G.E., Kevrekidis I.G., Lu L., et al. Physics-informed machine learning. Nature Reviews Physics. 2021; 3:423-440. (In Eng.) doi: http://dx.doi.org/10.1038/s42254-021-00314-5
5. Cuomo S. et al. Scientific Machine Learning Through Physics-Informed Neural Networks: Where we are and What’s Next. Journal of Scientic Computing. 2022; 92(3):88. (In Eng.) doi: https://doi.org/10.48550/arXiv.2201.05624
6. Greydanus S., Dzamba M., Yosinski J. Hamiltonian Neural Networks. In: Wallach H., Larochelle H., Beygelzimer A., d'Alché-Buc F., Fox E., Garnett R. (eds.) Advances in Neural Information Processing Systems (NeurIPS 2019). Vol. 32. Curran Associates, Inc.; 2019. p. 1-11. Available at: https://proceedings.neurips.cc/paper/2019/file/26cd8ecadce0d4efd6cc8a8725cbd1f8-Paper.pdf (accessed 19.05.2022). (In Eng.)
7. Sosanya A., Greydanus S. Dissipative Hamiltonian Neural Networks: Learning Dissipative and Conservative Dynamics Separately. arXiv:2201.10085. 2022. Available at: https://arxiv.org/pdf/2201.10085.pdf (accessed 19.05.2022). (In Eng.)
8. Dhulipala S.L.N., Che Y., Shields M.D. Bayesian Inference with Latent Hamiltonian Neural Networks. arXiv:2208.06120. 2022. (In Eng.) doi: https://doi.org/10.48550/arXiv.2208.06120
9. Cranmer M., Greydanus S., Hoyer S., Battaglia P., Spergel D., Ho S. Lagrangian Neural Networks. ICLR 2020 Workshop on Integration of Deep Neural Models and Differential Equations. Addis Ababa, Ethiopia; 2019. Available at: https://openreview.net/forum?id=iE8tFa4Nq (accessed 19.05.2022). (In Eng.)
10. Liu Z., Wang B., Meng Q., Chen W., Tegmark M., Liu T.-Y. Machine-Learning Non-Conservative Dynamics for New-Physics Detection. Physical Review E. 2021; 104:055302. (In Eng.) doi: https://doi.org/10.1103/PhysRevE.104.055302
11. Meng C., Seo S., Cao D., Griesemer S., Liu Y. When Physics Meets Machine Learning: A Survey of Physics-Informed Machine Learning. arXiv:2203.16797. 2022. (In Eng.) doi: https://doi.org/10.48550/arXiv.2203.16797
12. Zhai H., Sands T. Controlling Chaos in Van Der Pol Dynamics Using Signal-Encoded Deep Learning. Mathematics. 2022; 10(3):453. (In Eng.) doi: https://doi.org/10.3390/math10030453
13. Denman H.H., Buch L.H. Solution of the Hamilton-Jacobi equation for certain dissipative classical mechanical systems. Journal of Mathematical Physics. 1973; 14:326-329. (In Eng.) doi: https://doi.org/10.1063/1.1666316
14. Ohsawa T., Bloch A.M. Nonholomonic Hamilton-Jacobi equation and integrability. Journal of Geometric Mechanics. 2009; 1(4):461-481. (In Eng.) doi: https://doi.org/10.3934/jgm.2009.1.461
15. Balseiro P., Marrero J.C., de Diego D.M., Padron E. A unified framework for mechanics: Hamilton-Jacobi equation and applications. Nonlinearity. 2010; 23(8):1887-1918. (In Eng.) doi: https://doi.org/10.1088/0951-7715/23/8/006
16. Flannery M.R. d’Alembert-Lagrange analytical dynamics for nonholonomic systems. Journal of Mathematical Physics. 2011; 52(3):032705. (In Eng.) doi: https://doi.org/10.1063/1.3559128
17. Litvintseva L.V., Ul’yanov S.V., Ul’yanov S.S. Design of robust knowledge bases of fuzzy controllers for intelligent control of substantially nonlinear dynamic systems: II. A soft computing optimizer and robustness of intelligent control systems. Journal of Computer and Systems Sciences International. 2006; 45(5):744-771. (In Eng.) doi: https://doi.org/10.1134/S106423070605008X
18. Valelis C., Anagnostopoulos F.K., Basilakos S., Saridakis E.N. Building healthy Lagrangian theories with machine learning. International Journal of Modern Physics D. 2021; 30(11):2150085. (In Eng.) doi: https://doi.org/10.1142/S0218271821500851
19. Waltz D., Buchanan B.G. Automating Science. Science. 2009; 324(5923):43-44. (In Eng.) doi: https://doi.org/10.1126/science.1172781
20. Chiu P.-H., Wong J.C., Ooi C., Dao M.H., Ong Y.-S. CAN-PINN: A fast physics-informed neural network based on coupled-automatic-numerical differentiation method. Computer Methods in Applied Mechanics and Engineering. 2022; 395:114909. (In Eng.) doi: https://doi.org/10.1016/j.cma.2022.114909
21. Fang Z. A High-Efficient Hybrid Physics-Informed Neural Networks Based on Convolutional Neural Network. IEEE Transactions on Neural Networks and Learning Systems. 2022; 33(10):5514-5526. (In Eng.) doi: https://doi.org/10.1109/TNNLS.2021.3070878
22. Rouhani B.D., Mirhoseini A., Koushanfar F. Going deeper than deep learning for massive data analytics under physical constraints. Proceedings of the Eleventh IEEE/ACM/IFIP International Conference on Hardware/Software Codesign and System Synthesis (CODES '16). Association for Computing Machinery, New York, NY, USA; 2016. Article number: 17. p. 1-3. (In Eng.) doi: https://doi.org/10.1145/2968456.2976766
23. Zhang Y. Towards Piecewise-Linear Primal Neural Networks for Optimization and Redundant Robotics. 2006 IEEE International Conference on Networking, Sensing and Control. IEEE Computer Society; 2006. p. 374-379. (In Eng.) doi: https://doi.org/10.1109/ICNSC.2006.1673175
24. Zhang C., Shafieezadeh A. Simulation-free reliability analysis with active learning and Physics-Informed Neural Network. Reliability Engineering & System Safety. 2022; 226:108716. (In Eng.) doi: https://doi.org/10.1016/j.ress.2022.108716
25. Dierkes E., Flaßkamp K. Learning Hamiltonian Systems considering System Symmetries in Neural Networks. IFAC-PapersOnLine. 2021; 54(19):210-216. (In Eng.) doi: https://doi.org/10.1016/j.ifacol.2021.11.080
Опубликована
2022-07-20
Как цитировать
ZRELOVA, Daria Petrovna; ULYANOV, Sergey Victorovich. Модели физически информированных / осведомленных классических Лагранжевых / Гамильтоновых нейронных сетей в глубоком обучении. Современные информационные технологии и ИТ-образование, [S.l.], v. 18, n. 2, p. 310-325, july 2022. ISSN 2411-1473. Доступно на: <http://sitito.cs.msu.ru/index.php/SITITO/article/view/851>. Дата доступа: 24 feb. 2024 doi: https://doi.org/10.25559/SITITO.18.202202.310-325.
Раздел
Исследования и разработки в области новых ИТ и их приложений