ОРГАНИЗАЦИЯ ВЫЧИСЛИТЕЛЬНОГО ПРОЦЕССА В СУПЕРКОМПЬЮТЕРАХ С ДИНАМИЧЕСКИ УПРАВЛЯЕМЫМИ РАЗДЕЛАМИ

Stanislav Viktorovich Nazarov; Alexey Grigoryevich Barsukov

doi:10.25559/SITITO.15.201901.59-71

Stanislav Viktorovich Nazarov Московский научно-исследовательский телевизионный институт http://orcid.org/0000-0002-7789-1484
Alexey Grigoryevich Barsukov Московский научно-исследовательский телевизионный институт http://orcid.org/0000-0002-8787-4987

DOI: https://doi.org/10.25559/SITITO.15.201901.59-71

Аннотация

Во всем мире непрерывно возрастает интерес к высокопроизводительным вычислениям. Он обусловлен потребностями различных отраслей науки, образования, медицины, инженерной и другой практической деятельностью человечества. Данная статья посвящена вопросам организации вычислительного процесса при выполнении информационно-связанных задач в компьютерах с динамически управляемыми разделами. Даже при высокой производительности суперкомпьютеров, предназначенные для них задачи, могут занимать значительное время и выполняться, как правило, неоднократно. Программы, реализующие эти задачи, имеют сложную многомодульную структуру с информационными и управляющими связями между ними. Поэтому они реализуются в пакетном режиме и часто в ночное время. В пакеты могут входить различные задачи, требующие высокой вычислительной мощности и большой основной и внешней памяти. В связи с этим даже в рамках мощнейших суперкомпьютеров требуется оптимизация вычислительного процесса с целью рационального расходования вычислительных ресурсов при одновременном требовании выполнения определенного набора задач (пакета) в заданные временные ограничения. Организация вычислительного процесса должна учитывать особенности архитектуры компьютера и его операционной системы. В статье предлагается решение задачи оптимизации вычислительного процесса для серверов и мэйнфреймов IBM на процессорах Power9 и z14 применительно к операционным системам, которые используются на этих компьютерах. Решение предлагается последовательностью связанных этапов. Для решения используются методы сетевого планирования и управления, теория параллельных вычислительных процессов и расписаний. В начале представляется структура приложения и дается постановка задачи. Решение начинается с определения величины критического пути и резервов времени по отдельным вычислительным работам. Далее рассматриваются возможности минимизация длины критического пути. После чего ставится и решается задача распределения количества долей физических процессоров, выделяемых динамическим разделам компьютера, при условии выполнения приложения без увеличения длины критического пути. В заключение разрабатывается временная диаграмма вычислительного процесса с фиксацией итогового результата занятости физических процессоров компьютера и числа необходимых логических разделов.

Сведения об авторах

Stanislav Viktorovich Nazarov, Московский научно-исследовательский телевизионный институт

доктор технических наук, профессор, главный специалист, действительный член Международной академии информатизации

Alexey Grigoryevich Barsukov, Московский научно-исследовательский телевизионный институт

кандидат технических наук, заместитель генерального директора; профессор Академии военных наук; действительный член Международной академии безопасности; Заслуженный изобретатель Российской Федерации

Литература

[1] Andreev A.N., Voevodin V.V., Zhumatiy S.A. Clusters and supercomputers - twins or brothers. Open Systems.DBMS. 2000; 5-6:9-14. Available at: https://www.osp.ru/os/2000/05-06/178019/ (accessed 17.01.2019). (In Russ.)
[2] Dongarra J., Sterling T., Simon H., Strohmaier E. High-performance computing: clusters, constellations, MPPs, and future directions. Computing in Science & Engineering. 2005; 7(2):51-59. (In Eng.) DOI: 10.1109/MCSE.2005.34
[3] McLay R., Schulz K.W., Barth W.L., Minyard T. Best practices for the deployment and management of production HPC clusters. State of the Practice Reports (SC'11). ACM, New York, NY, USA, 2011. Article 9, 11 pp. (In Eng.) DOI: 10.1145/2063348.2063360
[4] Bogdanov A.V., Korkhov V.V., Mareev V.V., Stankova E.N. Architecture and topology of multiprocessor computing systems. M.: Internet University of Information Technology. 2012. 176 pp. (In Russ.)
[5] Voevodin V.V., Voevodin Vl.B. Parallel Computing. SPb.: BHV-Petersburg, 2002. 608 pp. (In Russ.)
[6] Levin V.K. Supercomputer Trends. Computational nanotechnology. 2014; 1:35-38. Available at: https://elibrary.ru/item.asp?id=23786741 (accessed 17.01.2019). (In Russ.)
[7] Sinharoy B., Kalla R.N., Tendler J.M., Eickemeyer R.J., Joyner J.B. POWER5 system microarchitecture. IBM Journal of Research and Development. 2005; 49(4.5):505-521. (In Eng.) DOI: 10.1147/rd.494.0505
[8] Kuzminskiy M. Addition to the Power Family. Open Systems.DBMS. 2014; 7:16-18. Available at: https://www.osp.ru/os/2014/07/13042909/ (accessed 17.01.2019). (In Russ.)
[9] Sadasivam S.K., Thompto B.W., Kalla R., Starke W.J. IBM Power9 Processor Architecture. IEEE Micro. 2017; 37(2):40-51. (In Eng.) DOI: 10.1109/MM.2017.40
[10] Kyne F. et al. IBM z/OS Parallel Sysplex Operational Scenarios. IBM, International Technical Support Organization, USA, 2009. 532 pp. Available at: http://www.redbooks.ibm.com/redbooks/pdfs/sg242079.pdf (accessed 17.01.2019). (In Eng.)
[11] Geographically dispersed parallel sysplex support for peer-to-peer VTS. z/OS DFSMS Object Access Method Planning, Installation, and Storage Administration Guide for Tape Libraries. V2R1.0. IBM Corporation, USA, 2013, pp. 22-23. Available at: https://www.ibm.com/support/knowledgecenter/SSLTBW_2.1.0/com.ibm.zos.v2r1.idao300/o3035.htm (accessed 17.01.2019). (In Eng.)
[12] Varrette S., Bouvry P., Cartiaux H., Georgatos F. Management of an academic HPC cluster: The UL experience. Proceedings of the 2014 International Conference on High Performance Computing & Simulation (HPCS). Bologna, 2014, pp. 959-967. (In Eng.) DOI: 10.1109/HPCSim.2014.6903792
[13] Creasy R.J. The Origin of the VM/370 Time-Sharing System. IBM Journal of Research and Development. 198; 25(5):483-490. (In Eng.) DOI: 10.1147/rd.255.0483
[14] Alexandrov A. Spirals of hardware virtualization. Open Systems.DBMS. 2007; 3:12-18. Available at: https://www.osp.ru/os/archive/2007/03/ (accessed 17.01.2019). (In Russ.)
[15] Borzenko A. Dynamic partitions in IBM eServer pSeries servers. BYTE Russia. 2004; 7(71). Available at: https://www.bytemag.ru/articles/detail.php?ID=8579 (accessed 17.01.2019). (In Russ.)
[16] zEnterprise System. Processor Resource/Systems Manager Planning Guide. IBM Corporation, USA, 2011. 236 pp. Available at: https://www-01.ibm.com/support/docview.wss?uid=isg202e537c11be0929c8525776100663570&aid=1 (accessed 17.01.2019). (In Eng.)
[17] Ebbers M. et al. IBM HiperSockets Implementation Guide. An IBM Redbooks publication. IBM, International Technical Support Organization, USA, 2014. 182 pp. Available at: http://www.redbooks.ibm.com/redbooks/pdfs/sg246816.pdf (accessed 17.01.2019). (In Eng.)
[18] Polychronopoulos C.D., Kuck D.J. Guided Self-Scheduling: A Practical Scheduling Scheme for Parallel Supercomputers. IEEE Transactions on Computers. 1987; C-36(12):1425-1439. (In Eng.) DOI: 10.1109/TC.1987.5009495
[19] Shirazi B.A., Hurson A.R., Kavi K.M. Scheduling and Load Balancing in Parallel and Distributed Systems. IEEE Computer Society Press, Los Alamitos, CA, USA, 1995. 520 pp. (In Eng.)
[20] Karpov V.E. Introduction to the parallelization of algorithms and programs. Computer Research and Modeling. 2010; 2(3):231-272. Available at: https://elibrary.ru/item.asp?id=15621762 (accessed 17.01.2019). (In Russ.)
[21] Barsky A.B. Parallel Programming. M.: Intuit, 2016. 345 pp. (In Russ.)
[22] Golenko D.I. Statistical Methods of Network Planning and Management. Nauka, Moscow, 1968, 400 pp. (In Russ.)
[23] Taha H.A. Operations Research: An Introduction. Prentice Hall, 2006. 838 pp. (In Eng.)
[24] Wagner H.M. Principles of Operations Research With Applications to Managerial Decisions. Prentice-Hall, Inc., Englewood Cliffs, New Jersey, 1969. 937 pp. (In Eng.)
[25] Kovalenko D.A. Methods and means of automatic synthesis of parallel programs on the basis of the theory of structural functional models. Bulletin of the Tomsk Polytechnic University. 2008; 312(5):39-44. Available at: https://elibrary.ru/item.asp?id=11170114 (accessed 17.01.2019). (In Russ.)