Создание грид-сайта и его интеграция в вычислительную инфраструктуру ATLAS
Аннотация
Современные информационные технологии предлагают различные решения, позволяющие, в глобальном масштабе, объединять гетерогенные информационно-вычислительные ресурсы в единое целое, для решения общих задач. Одним из таких решений являются ГРИД-технологии. Концепция ГРИД дает понимание каким образом можно объединить разнородные вычислительные ресурсы, такие как персональные компьютеры, вычислительные кластеры, суперкомпьютеры. ГРИД-технологии, на сегодняшний день, широко используются для решения задач в различных научных областях, таких как физика высоких энергий и биофизика, генетика, микробиология и медицина, робототехника и авиастроение и пр. Основным инструментом ГРИД-технологий, способным объединять гетерогенные ресурсы является создание грид-сайта. Грид-сайт представляет собой определенный набор компонентов, связанных между собой рядом задач, а именно – принимать и передавать, обрабатывать и хранить полученные данные. Для создания и интеграции грид-сайта, в глобальную гетерогенную вычислительную инфраструктуру, его компоненты должны строго соответствовать требованиям, которые предъявляются к грид-сайтам со стороны таких международных экспериментов, как ATLAS, CMC, ALICE, LHCb и другие. Одним из наиболее важных требований является актуальность программного обеспечения компонентов грид-сайта, так как от показателей их функционирования зависит состояние грид-сайта в целом. Все вышеперечисленные международные эксперименты, в режиме реального времени, проводят мониторинг состояния грид-сайтов своего пула на предмет эффективности работы основных компонентов. В данной статье, на основании опыта работы с грид-сайтами различной конфигурации, показан алгоритм создания и сертификации грид-сайта "AZ-IFAN", института Физики НАН Азербайджана, для вычислительной инфраструктуры международного эксперимента ATLAS (CERN).
Литература
2. Bondyakov A.S., Huseynov N.A., Guliyev J.A., Kondratyev A.O. Migration the services of computing nodes of the AZ-IFAN grid site on Scientific Linux 7. Sovremennye informacionnye tehnologii i IT-obrazovanie = Modern Information Technologies and IT-Education. 2019; 15(3):611-618. (In Russ., abstract in Eng.) doi: https://doi.org/10.25559/SITITO.15.201903.611-618
3. Ryu G., Noh S.-Y. Establishment of new WLCG Tier Center using HTCondor-CE on UMD middleware. EPJ Web of Conferences: 23rd International Conference on Computing in High Energy and Nuclear Physics (CHEP 2018). 2019; 214:08020. (In Eng.) doi: https://doi.org/10.1051/epjconf/201921408020
4. Weitzel D., Bockelman B. Contributing opportunistic resources to the grid with HTCondor-CE-Bosco. Journal of Physics: Conference Series. 2017; 898:092026. (In Eng.) doi: https://doi.org/10.1088/1742-6596/898/9/092026
5. Bockelman B., Bejar J.C., Hover J. Interfacing HTCondor-CE with OpenStack. Journal of Physics: Conference Series. 2017; 898:092021. (In Eng.) doi: https://doi.org/10.1088/1742-6596/898/9/092021
6. Llorente I.M., Moreno-Vozmediano R., Montero R.S. Cloud Computing for on-Demand Grid Resource Provisioning. Advances in Parallel Computing. Vol. 18: High Speed and Large Scale Scientific Computing. IOS Press; 2009. p. 177-191. (In Eng.) doi: https://doi.org/10.3233/978-1-60750-073-5-177
7. Forti A.C., Walker R., Maeno T., Love P., Rauschmayr N., Filipcic A., Di Girolamo A. Memory handling in the ATLAS submission system from job definition to sites limits. Journal of Physics: Conference Series. 2017; 898:052004. (In Eng.) doi: https://doi.org/10.1088/1742-6596/898/5/052004
8. Ebert M., Berghaus F., Casteels K. The Dynafed data federator as a grid site storage element. EPJ Web of Conferences: 24th International Conference on Computing in High Energy and Nuclear Physics (CHEP 2019). 2020; 245:04003. (In Eng.) doi: https://doi.org/10.1051/epjconf/202024504003
9. Berghaus F., Casteels K., Driemel C., Ebert M., Galindo F.F., Leavett-Brown C., MacDonell D., Paterson M., Seuster R., Sobie R.J., Tolkamp S., Weldon J. High-Throughput Cloud Computing with the Cloudscheduler VM Provisioning Service. Computing and Software for Big Science. 2020; 4:4. (In Eng.) doi: https://doi.org/10.1007/s41781-020-0036-1
10. Taylor R.P., et al. Consolidation of cloud computing in ATLAS. Journal of Physics: Conference Series. 2017; 898:052008. (In Eng.) doi: https://doi.org/10.1088/1742-6596/898/5/052008
11. Amoroso A., et al. A modular (almost) automatic set-up for elastic multi-tenants’ cloud (micro)infrastructures. Journal of Physics: Conference Series. 2017; 898:082031. (In Eng.) doi: https://doi.org/10.1088/1742-6596/898/8/082031
12. Charpentier P. LHC Computing: past, present and future. EPJ Web of Conferences: 23rd International Conference on Computing in High Energy and Nuclear Physics (CHEP 2018). 2019; 214:09009. (In Eng.) doi: https://doi.org/10.1051/epjconf/201921409009
13. Bondyakov A.S. Infrastructure and main tasks of the data-center of the institute of physics of the National Academy of Sciences of Azerbaijan. CEUR Workshop Proceedings. 2017; 1787:150-155. Available at: http://ceur-ws.org/Vol-1787/150-155-paper-25.pdf (accessed 16.12.2021). (In Russ., abstract in Eng.)
14. Bondyakov A.S. The Basic Modes of the Intrusion Prevention System (IDS/IPS Suricata) for the Computing Cluster. Sovremennye informacionnye tehnologii i IT-obrazovanie = Modern Information Technologies and IT-Education. 2017; 13(3):31-37. (In Russ., abstract in Eng.) doi: https://doi.org/10.25559/SITITO.2017.3.629
15. Aiftimiei D.C., Fattibene E., Gargana R., Panella M., Salomoni D. Abstracting application deployment on Cloud infrastructures. Journal of Physics: Conference Series. 2017; 898(8):082053. (In Eng.) doi: https://doi.org/10.1088/1742-6596/898/8/082053
16. Barreiro Megino F.H., et al. PanDA for ATLAS distributed computing in the next decade. Journal of Physics: Conference Series. 2017; 898:052002. (In Eng.) doi: https://doi.org/10.1088/1742-6596/898/5/052002
17. Blomer J., et al. New directions in the CernVM file system. Journal of Physics: Conference Series. 2017; 898:062031. (In Eng.) doi: https://doi.org/10.1088/1742-6596/898/6/062031
18. Charpentier P. Benchmarking worker nodes using LHCb productions and comparing with HEPSpec06. Journal of Physics: Conference Series. 2017; 898:082011. (In Eng.) doi: https://doi.org/10.1088/1742-6596/898/8/082011
19. Berghaus F., et al. Federating distributed storage for clouds in ATLAS. Journal of Physics: Conference Series. 2018; 1085:032027. (In Eng.) doi: https://doi.org/10.1088/1742-6596/1085/3/032027
20. Ebert M. et al. Using a dynamic data federation for running Belle-II simulation applications in a distributed cloud environment. EPJ Web of Conferences: 23rd International Conference on Computing in High Energy and Nuclear Physics (CHEP 2018). 2019; 214:04026. (In Eng.) doi: https://doi.org/10.1051/epjconf/201921404026
21. Abramson D., Parashar M., Arzberger P. Translation computer science – Overview of the special issue. Journal of Computational Science. 2020; 52:101227. (In Eng.) doi: https://doi.org/10.1016/j.jocs.2020.101227
22. Fajardo E., Wuerthwein F., Bockelman B., Livny M., Thain G., Clark J.A., Couvares P., Willis J. Adapting LIGO workflows to run in the Open Science Grid. SoftwareX. 2021; 14:100679. (In Eng.) doi: https://doi.org/10.1016/j.softx.2021.100679
23. Bockelman B., Livny M., Lin B., Prelz F. Principles, Technologies, and Time: The Translational Journey of the HTCondor-CE. Journal of Computational Science. 2021; 52:101213. (In Eng.) doi: https://doi.org/10.1016/j.jocs.2020.101213
24. Barreiro Megino F.H., et al. Managing the ATLAS Grid through Harvester. EPJ Web of Conferences: 24th International Conference on Computing in High Energy and Nuclear Physics (CHEP 2019). 2020; 245:03010. (In Eng.) doi: https://doi.org/10.1051/epjconf/ 202024503010
25. Filozova A., Bashashin M.V., Korenkov V.V., Kuniaev S.V., Musulmanbekov G., Semenov R.N., Shestakova G.V., Strizh T.A., Ustenko P.V., Zaikina T.N. Concept of JINR Corporate Information System. Physics of Particles and Nuclei Letters. 2016; 13(5):625-628. (In Eng.) doi: https://doi.org/10.1134/S1547477116050204
26. Huerta E.A., Haas R., Jha S., Neubauer M., Katz D.S. Supporting high-performance and high-throughput computing for experimental science. Computing and Software for Big Science. 2019; 3(1):5. (In Eng.) doi: https://doi.org/10.1007/s41781-019-0022-7
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.
Редакционная политика журнала основывается на традиционных этических принципах российской научной периодики и строится с учетом этических норм работы редакторов и издателей, закрепленных в Кодексе поведения и руководящих принципах наилучшей практики для редактора журнала (Code of Conduct and Best Practice Guidelines for Journal Editors) и Кодексе поведения для издателя журнала (Code of Conduct for Journal Publishers), разработанных Комитетом по публикационной этике - Committee on Publication Ethics (COPE). В процессе издательской деятельности редколлегия журнала руководствуется международными правилами охраны авторского права, нормами действующего законодательства РФ, международными издательскими стандартами и обязательной ссылке на первоисточник.
Журнал позволяет авторам сохранять авторское право без ограничений. Журнал позволяет авторам сохранить права на публикацию без ограничений.
Издательская политика в области авторского права и архивирования определяются «зеленым цветом» в базе данных SHERPA/RoMEO.
Все статьи распространяются на условиях лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная, которая позволяет другим использовать, распространять, дополнять эту работу с обязательной ссылкой на оригинальную работу и публикацию в этом журналe.
