Прогнозирование сбоев приложений по журналам состояния программных объектов

Roman Germanovich Blednov; Nikolay Alexeyevich Skvortsov

doi:10.25559/SITITO.15.201904.945-953

Roman Germanovich Blednov Московский государственный университет имени М.В. Ломоносова http://orcid.org/0000-0002-2378-4050
Nikolay Alexeyevich Skvortsov Федеральный исследовательский центр «Информатика и управление» Российской академии наук http://orcid.org/0000-0003-3207-4955

DOI: https://doi.org/10.25559/SITITO.15.201904.945-953

Аннотация

Программные сбои являются ощутимой и неизбежной проблемой при работе корпоративных программных систем. Обычно сбои обнаруживают при помощи слежения за превышением пороговых значений критических показателей системы. При этом предпринимать меры по предотвращению сбоев или их последствий часто не удаётся из-за недостатка времени на эти действия. Необходимо своевременно прогнозировать сбои, основываясь на журналах состояния приложений. Для этого были изучены различные подходы к прогнозированию сбоев, один из которых основан на обнаружении предшествующих им аномалий в данных состояния приложений. В работе предлагается несколько подходов, основанных на машинном обучении, для прогнозирования сбоев при помощи обнаружения аномалий. Лучшие результаты прогнозирования сбоев достигнуты при использовании метода градиентного бустинга над деревьями решений с применением метода скользящего окна и исключаемой преданомальной областью временного ряда в данных журналов. Это позволяет находить сбои в используемом наборе данных за приемлемое время до момента отказа системы. На случай отсутствия размеченных экспертом данных для обучения предложен подход к обучению без учителя с использованием изолирующих лесов и подход к автоматической разметке данных.

Сведения об авторах

Roman Germanovich Blednov, Московский государственный университет имени М.В. Ломоносова

студент факультета вычислительной математики и кибернетики

Nikolay Alexeyevich Skvortsov, Федеральный исследовательский центр «Информатика и управление» Российской академии наук

научный сотрудник Института проблем информатики

Литература

[1] Ceccarelli A., Zoppi T., Itria M., Bondavalli A. A Multi-layer Anomaly Detector for Dynamic Service-Based Systems. In: Koornneef F., van Gulijk C. (Eds.) Computer Safety, Reliability, and Security. SAFECOMP 2014. Lecture Notes in Computer Science, vol. 9337. Springer, Cham, 2015, pp. 166-180. (In Eng.) DOI: 10.1007/978-3-319-24255-2_13
[2] Wan J., Al-awlaqi M.A.A.H., Li M., O’Grady M., Gu X., Wang J., Cao N. Wearable IoT enabled real-time health monitoring system.EURASIP Journal on Wireless Communications and Networking. 2018; 2018:298. (In Eng.) DOI: 10.1186/s13638-018-1308-x
[3] Sterritt R. Pulse monitoring: extending the health-check for the autonomic grid. In: IEEE International Conference on Industrial Informatics, 2003. INDIN 2003. Proceedings, Banff, Alberta, Canada, 2003, pp. 433-440. (In Eng.) DOI: 10.1109/INDIN.2003.1300375
[4] Malhotra P., Vig L., Shroff G., Agarwal P. Long Short Term Memory Networks for Anomaly Detection in Time Series. In: ESANN 2015 proceedings, European Symposium on Artificial Neural Networks, Computational Intelligence, and Machine Learning. Presses Universitaires de Louvain, Bruges (Belgium), 2015, p. 89. (In Eng.)
[5] Dau H.A., Ciesielski V., Song A. Anomaly Detection Using Replicator Neural Networks Trained on Examples of One Class. In: Dick G. et al. (Eds.) Simulated Evolution and Learning. SEAL 2014. Lecture Notes in Computer Science, vol 8886. Springer, Cham, 2014, pp. 311-322. (In Eng.) DOI: 10.1007/978-3-319-13563-2_27
[6] Goldstein M., Uchida S. A Comparative Evaluation of Unsupervised Anomaly Detection Algorithms for Multivariate Data. PloS ONE. 2016; 11(4):e0152173. (In Eng.) DOI: 10.1371/journal.pone.0152173
[7] Ma J., Perkins S. Time-series novelty detection using one-class support vector machines. In: Proceedings of the International Joint Conference on Neural Networks, 2003, vol. 3.
Portland, OR, 2003, pp. 1741-1745. (In Eng.) DOI: 10.1109/IJCNN.2003.1223670
[8] Sullins B.G., Whipple M. JMX in Action. Manning Publications Co., 2002. (In Eng.)
[9] Meyer J., Downing T. Java Virtual Machine. O'Reilly in Cambridge, Mass., 1997. (In Eng.)
[10] Shipmon D.T., Gurevitch J.M., Piselli P.M., Edward S.T. Time Series Anomaly Detection; Detection of anomalous drops with limited features and sparse examples in noisy highly periodic data. arXiv. 2017; abs/1708.03665. (In Eng.)
[11] Huch F., Golagha M., Petrovska A., Krauss A. Machine learning-based run-time anomaly detection in software systems: An industrial evaluation. In: 2018 IEEE Workshop on Machine Learning Techniques for Software Quality Evaluation (MaLTeSQuE), Campobasso, 2018, pp. 13-18. (In Eng.) DOI: 10.1109/MALTESQUE.2018.8368453
[12] Shkodyrev V.P., Yagafarov K.I., Bashtovenko V.A., Ilyina E.E. The Overview of Anomaly Detection Methods in Data Streams. CEUR Workshop Proceedings. 2017; 1864:33. Available at: http://ceur-ws.org/Vol-1864/paper_33.pdf (accessed 12.09.2019). (In Russ. abstract in Eng.)
[13] Song J., Takakura H., Okabe Y., Nakao K. Toward a more practical unsupervised anomaly detection system. Information Sciences. 2013; 231:4-14. (In Eng.) DOI: 10.1016/j.ins.2011.08.011
[14] Aganagic M., Okounkov A. Elliptic stable envelopes. arXiv. 2016; 1604.00423. (In Eng.)
[15] Ma Y., Shi H., Ma H., Wang M. Dynamic process monitoring using adaptive local outlier factor. Chemometrics and Intelligent Laboratory Systems. 2013; 127:89-101. (In Eng.) DOI: 10.1016/j.chemolab.2013.06.004
[16] Li K-L., Huang H-K., Tian S-F., Xu W. Improving one-class SVM for anomaly detection. In: Proceedings of the 2003 International Conference on Machine Learning and Cybernetics (IEEE Cat. No.03EX693), Xi'an, 2003, pp. 3077-3081, Vol. 5. (In Eng.) DOI: 10.1109/ICMLC.2003.1260106
[17] Liu F.T., Ting K.M., Zhou Z.H. Isolation forest. In: 2008 Eighth IEEE International Conference on Data Mining, Pisa, 2008, pp. 413-422. (In Eng.) DOI: 10.1109/ICDM.2008.17
[18] Görnitz N., Kloft M., Rieck K., Brefeld U. Toward Supervised Anomaly Detection. Journal of Artificial Intelligence Research. 2013; 46:235-262. (In Eng.) DOI: 10.1613/jair.3623
[19] Aggarwal C.C. An Introduction to Outlier Analysis. Outlier Analysis. Springer, Cham, 2017, pp. 1-34. (In Eng.) DOI: 10.1007/978-3-319-47578-3_1
[20] Caruana R., Niculescu-Mizil A. An empirical comparison of supervised learning algorithms. In: Proceedings of the 23rd international conference on Machine learning (ICML ’06). Association for Computing Machinery, New York, NY, USA, 2006, pp. 161-168. (In Eng.) DOI: 10.1145/1143844.1143865
[21] Wang W., Zhang X., Gombault S., Knapskog S.J. Attribute Normalization in Network Intrusion Detection. In: 2009 10th International Symposium on Pervasive Systems, Algorithms, and Networks, Kaohsiung, 2009, pp. 448-453. (In Eng.) DOI: 10.1109/I-SPAN.2009.49
[22] Saito T., Rehmsmeier M. The Precision-Recall Plot Is More Informative than the ROC Plot When Evaluating Binary Classifiers on Imbalanced Datasets. PLoS ONE. 2015; 10(3):e0118432. (In Eng.) DOI: 10.1371/journal.pone.0118432
[23] Oliphant T.E. Python for Scientific Computing. Computing in Science and Engineering. 2007; 9(3):10-20. (In Eng.) DOI: 10.1109/MCSE.2007.58
[24] Choi J-W., Lee K-H. A Web-based management system for network monitoring. In: IEEE Workshop on IP Operations and Management, Dallas, TX, 2002, pp. 98-102. (In Eng.) DOI: 10.1109/IPOM.2002.1045763
[25] Witten I.H., Frank E., Hall M.A., Pal C.J. Data Mining: Practical machine learning tools and techniques. Morgan Kaufmann, 2016. (In Eng.)
[26] Moritz S., Bartz-Beielstein T. imputeTS: time series missing value imputation in R. The R Journal. 2017; 9(1):207-218. (In Eng.) DOI: 10.32614/RJ-2017-009
[27] Tavallaee M., Bagheri E., Lu W., Ghorbani A.A. A detailed analysis of the KDD CUP 99 data set. In: 2009 IEEE Symposium on Computational Intelligence for Security and Defense Applications, Ottawa, ON, 2009, pp. 1-6. (In Eng.) DOI: 10.1109/CISDA.2009.5356528
[28] Mason L., Baxter J., Bartlett P., Frean M. Boosting Algorithms as Gradient Descent. In: Solla S.A., Leen T.K., K.-R. Müller (Eds.) Advances in Neural Information Processing Systems. MIT Press, Cambridge, MA, 2000, pp. 512-518. Available at: http://papers.nips.cc/paper/1766-boosting-algorithms-as-gradient-descent.pdf (accessed 12.09.2019). (In Eng.)