Модификация и миграция компонентов грид-сайта
Аннотация
Все компоненты грид-сайта связаны между собой рядом задач – безопасно принимать, обрабатывать, хранить и передавать данные, а также соответствовать определенным требованиям, предъявляемым к программному обеспечению грид-сайтов, состоящих в пуле крупных международных экспериментов, устанавливать наиболее актуальные версии промежуточного программного обеспечения и операционных систем, поддерживающих требуемые грид-сервисы. Актуальность программного обеспечения компонентов имеет огромное значение, так как от их работоспособности зависит состояние грид-сайта в целом. ATLAS, CMC, ALICE, LHCb и другие эксперименты международного уровня отслеживают состояние грид-сайтов своего пула на предмет актуальности программного обеспечения компонентов. На сегодняшний день, такие международные эксперименты как ATLAS и ALICE рекомендуют своим грид-сайтам переход наиболее важного компонента грид-сайта – вычислительного элемента на ARC-CE или HTCondor-CE. В данной статье рассматривается миграция устаревшего компонента CREAM-CE на HTCondor-CE, а также модификация связанных с ним компонентов грид-сайта. Выбор программного продукта HTCondor-CE был обусловлен быстрой и эффективной поддержкой со стороны разработчика на всех этапах установки и тестирования, не сложной схемой установки и конфигурирования сервисов HTCondor-CE, качественной технической документацией данного продукта. Тестирование модифицированных узлов грид-сайта "AZ-IFAN" проводилось посредством системы мониторинга дата-центра института Физики НАН Азербайджана на базе платформы Zabbix, а также системой мониторинга EGI на базе платформы Nagios. После получения положительных результатов тестирования, проводилась оценка производительности сервисов HTCondor-CE, специализированными средствами мониторинга системы Harvester, эксперимента ATLAS (CERN).
Литература
2.Bondyakov A.S., Huseynov N.A., Guliyev J.A., Kondratyev A.O. Migration the services of computing nodes of the AZ-IFAN grid site on Scientific Linux 7. Sovremennye informacionnye tehnologii i IT-obrazovanie = Modern Information Technologies and IT-Education. 2019; 15(3):611-618. (In Russ., abstract in Eng.) DOI: https://doi.org/10.25559/SITITO.15.201903.611-618
3.Ryu G., Noh S.-Y. Establishment of new WLCG Tier Center using HTCondor-CE on UMD middleware. EPJ Web of Conferences: 23rd International Conference on Computing in High Energy and Nuclear Physics (CHEP 2018). 2019; 214:08020. (In Eng.) DOI: https://doi.org/10.1051/epjconf/201921408020
4.Weitzel D., Bockelman B. Contributing opportunistic resources to the grid with HTCondor-CE-Bosco. Journal of Physics: Conference Series. 2017; 898:092026. (In Eng.) DOI: https://doi.org/10.1088/1742-6596/898/9/092026
5.Bockelman B., Cartwright T., Frey J., Fajardo E.M., Lin B., Selmeci M., Tannenbaum T., Zvada M. Commissioning the HTCondor-CE for the Open Science Grid. Journal of Physics: Conference Series. 2015; 664:062003. (In Eng.) DOI: https://doi.org/10.1088/1742-6596/664/6/06200
6.Bockelman B., Bejar J.C., Hover J. Interfacing HTCondor-CE with OpenStack. Journal of Physics: Conference Series. 2017; 898:092021. (In Eng.) DOI: https://doi.org/10.1088/1742-6596/898/9/092021
7.Forti A.C., Walker R., Maeno T., Love P., Rauschmayr N., Filipcic A., Di Girolamo A. Memory handling in the ATLAS submission system from job definition to sites limits. Journal of Physics: Conference Series. 2017; 898:052004. (In Eng.) DOI: https://doi.org/10.1088/1742-6596/898/5/052004
8.Berghaus F., Casteels K., Driemel C., Ebert M., Galindo F.F., Leavett-Brown C., MacDonell D., Paterson M., Seuster R., Sobie R.J., Tolkamp S., Weldon J. High-Throughput Cloud Computing with the Cloudscheduler VM Provisioning Service. Computing and Software for Big Science. 2020; 4:4. (In Eng.) DOI: https://doi.org/10.1007/s41781-020-0036-1
9.Taylor R.P. et al. Consolidation of cloud computing in ATLAS. Journal of Physics: Conference Series. 2017; 898:052008. (In Eng.) DOI: https://doi.org/10.1088/1742-6596/898/5/052008
10.Amoroso A. et al. A modular (almost) automatic set-up for elastic multi-tenants’ cloud (micro)infrastructures. Journal of Physics: Conference Series. 2017; 898:082031. (In Eng.) DOI: https://doi.org/10.1088/1742-6596/898/8/082031
11.Charpentier P. LHC Computing: past, present and future. EPJ Web of Conferences: 23rd International Conference on Computing in High Energy and Nuclear Physics (CHEP 2018). 2019; 214:09009. (In Eng.) DOI: https://doi.org/10.1051/epjconf/201921409009
12.Bondyakov A.S. Infrastructure and main tasks of the data-center of the institute of physics of the National Academy of Sciences of Azerbaijan. CEUR Workshop Proceedings. 2017; 1787:150-155. Available at: http://ceur-ws.org/Vol-1787/150-155-paper-25.pdf (accessed 27.01.2021). (In Russ., abstract in Eng.)
13.Bondyakov A.S. The Basic Modes of the Intrusion Prevention System (IDS/IPS Suricata) for the Computing Cluster. Sovremennye informacionnye tehnologii i IT-obrazovanie = Modern Information Technologies and IT-Education. 2017; 13(3):31-37. (In Russ., abstract in Eng.) DOI: https://doi.org/10.25559/SITITO.2017.3.629
14.Filozova A., Bashashin M.V., Korenkov V.V., Kuniaev S.V., Musulmanbekov G., Semenov R.N., Shestakova G.V., Strizh T.A., Ustenko P.V., Zaikina T.N. Concept of JINR Corporate Information System. Physics of Particles and Nuclei Letters. 2016; 13(5):625-628. (In Eng.) DOI: https://doi.org/10.1134/S1547477116050204
15.Aiftimiei D.C., Fattibene E., Gargana R., Panella M., Salomoni D. Abstracting application deployment on Cloud infrastructures. Journal of Physics: Conference Series. 2017; 898(8):082053. (In Eng.) DOI: https://doi.org/10.1088/1742-6596/898/8/082053
16.Taylor R.P., Berghaus F., Brasolin F., Cordiero C.J.D., Desmarais R., Field L., Gable I., Giordano D., Di Girolamo A., Hover J., LeBlanc M., Love P., Paterson M., Sobie R., Zaytsev A. The Evolution of Cloud Computing in ATLAS. Journal of Physics: Conference Series. 2015; 664:022038. (In Eng.) DOI: https://doi.org/10.1088/1742-6596/664/2/022038
17.Baranov A.V., Balashov N.A., Kutovskiy N.A., Semenov R.N. JINR cloud infrastructure evolution. Physics of Particles and Nuclei Letters. 2016; 13(5):672-675. (In Eng.) DOI: https://doi.org/10.1134/S1547477116050071
18.Baranov A.V., Korenkov V.V., Yurchenko V.V., Balashov N.A., Kutovskiy N.A., Semenov R.N., Svistunov S.Y. Approaches to cloud infrastructures integration. Computer Research and Modeling. 2016; 8(3):583-590. (In Russ., abstract in Eng.) DOI: https://doi.org/10.20537/2076-7633-2016-8-3-583-590
19.Barreiro Megino F.H. et al. PanDA for ATLAS distributed computing in the next decade. Journal of Physics: Conference Series. 2017; 898:052002. (In Eng.) DOI: https://doi.org/10.1088/1742-6596/898/5/052002
20.Blomer J. et al. New directions in the CernVM file system. Journal of Physics: Conference Series. 2017; 898:062031. (In Eng.) DOI: https://doi.org/10.1088/1742-6596/898/6/062031
21.Charpentier P. Benchmarking worker nodes using LHCb productions and comparing with HEPSpec06. Journal of Physics: Conference Series. 2017; 898:082011. (In Eng.) DOI: https://doi.org/10.1088/1742-6596/898/8/082011
22.Furano F., Keeble O., Field L. Dynamic federation of grid and cloud storage. Physics of Particles and Nuclei Letters. 2016; 13(5):629-633. (In Eng.) DOI: https://doi.org/10.1134/S1547477116050186
23.Berghaus F. et al. Federating distributed storage for clouds in ATLAS. Journal of Physics: Conference Series. 2018; 1085:032027. (In Eng.) DOI: https://doi.org/10.1088/1742-6596/1085/3/032027
24.Ebert M. et al. Using a dynamic data federation for running Belle-II simulation applications in a distributed cloud environment. EPJ Web of Conferences: 23rd International Conference on Computing in High Energy and Nuclear Physics (CHEP 2018). 2019; 214:04026. (In Eng.) DOI: https://doi.org/10.1051/epjconf/201921404026
25.Abramson D., Parashar M., Arzberger P. Translation computer science – Overview of the special issue. Journal of Computational Science. 2020; 52:101227. (In Eng.) DOI: https://doi.org/10.1016/j.jocs.2020.101227
26.Fajardo E., Wuerthwein F., Bockelman B., Livny M., Thain G., Clark J.A., Couvares P., Willis J. Adapting LIGO workflows to run in the Open Science Grid. SoftwareX. 2021; 14:100679. (In Eng.) DOI: https://doi.org/10.1016/j.softx.2021.100679
27.Bockelman B., Livny M., Lin B., Prelz F. Principles, Technologies, and Time: The Translational Journey of the HTCondor-CE. Journal of Computational Science. 2021; 52:101213. (In Eng.) DOI: https://doi.org/10.1016/j.jocs.2020.101213
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.
Редакционная политика журнала основывается на традиционных этических принципах российской научной периодики и строится с учетом этических норм работы редакторов и издателей, закрепленных в Кодексе поведения и руководящих принципах наилучшей практики для редактора журнала (Code of Conduct and Best Practice Guidelines for Journal Editors) и Кодексе поведения для издателя журнала (Code of Conduct for Journal Publishers), разработанных Комитетом по публикационной этике - Committee on Publication Ethics (COPE). В процессе издательской деятельности редколлегия журнала руководствуется международными правилами охраны авторского права, нормами действующего законодательства РФ, международными издательскими стандартами и обязательной ссылке на первоисточник.
Журнал позволяет авторам сохранять авторское право без ограничений. Журнал позволяет авторам сохранить права на публикацию без ограничений.
Издательская политика в области авторского права и архивирования определяются «зеленым цветом» в базе данных SHERPA/RoMEO.
Все статьи распространяются на условиях лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная, которая позволяет другим использовать, распространять, дополнять эту работу с обязательной ссылкой на оригинальную работу и публикацию в этом журналe.
