ТЕХНОЛОГИЯ ВЗАИМОДЕЙСТВИЯ ALIEN И СУПЕРКОМПЬЮТЕРА TITAN
Аннотация
Следующий запуск БАК подразумевает использование намного больших ресурсов, чем может предоставить ГРИД. Для решения данной проблемы, ALICE занимается проектом по расширению существующей вычислительной модели для того, чтобы включить в нее дополнительные ресурсы, например, суперкомпьютер Titan. В данной статье описана технология взаимодействия вычислительной среды AliEn и суперкомпьютера Titan, находящегося в Oak Ridge Leadership Computing Facility (OLCF). Эта технология использует PanDA (Production and Distributed Analysis System) WMS (Workload management system) для отправки задач в очередь пакетной обработки информации Titan и локального управления данными. Благодаря PanDA и Titan, эксперимент ALICE на Большом адронном коллайдере получает новые ресурсы для выполнения поставленных задач. Данная реализация была протестирована с применением задач ALICE. AliEn (ALIce ENvironment) – распределенная вычислительная среда, разработанная для проекта ALICE Offline. Она позволяет получить доступ к распределенным вычислительным ресурсам и ресурсам хранения всем участникам эксперимента ALICE на Большом Адронном Коллайдере (БАК). В настоящее время AliEn позволяет обрабатывать задачи примерно на 100 000 вычислительных процессорах, использующихся в более чем 80 ГРИД сайтах по всему миру. Архитектура вычислительной среды на 99% состоит из импортированных компонентов с открытым кодом, что позволяет использовать функциональные возможности без их изменения. Для связи AliEn и ГРИД – инфраструктурой используется сервис VOBOX, позволяющий запускать собственные сервисы на вычислительных сайтах, а также обеспечивающий прямое взаимодействие с очередью пакетной обработки для запуска задач.
Литература
[2] Buncic P., Gheata M., Schutz Y. Open access for ALICE analisys based on virtualization technology. Journal of Physics: Conference Series. 2015; 664(3):032008. DOI: 10.1088/1742-6596/664/3/032008
[3] Ploskon M. Overview of results from ALICE. Journal of Physics: Conference Series. 2014; 509(1):012003. DOI: 10.1088/1742-6596/509/1/012003
[4] Abelev B. et al and The ALICE Coolaboration. Upgrade of the ALICE Experiment: Letter Of Intent. Journal of Physics G: Nuclear and Particle Physics. 2014; 41(8):087001. DOI: 10.1088/0954-3899/41/8/087001
[5] Foka P. and the ALICE Collaboration. Overview of results from ALICE at the CERN LHC. Journal of Physics: Conference Series. 2013; 455(1):012004. DOI: 10.1088/1742-6596/455/1/012004
[6] Adam J. et al. ALICE Technical Design Report: Upgrade of the Online – Offline computing system. Tech. rep., CERN, CERN-LHCC-2015-006/ALICE-TDR-019, 2015. 184 p.
[7] Foster I., Kesselman C. The Grid: Blueprint for a New Computing Infrastructure. Morgan Kaufmann Publishers Inc., San Francisco, CA, USA, 1998. 677 p.
[8] Astakhov N.S., Baginyan A.S., Belov S.D. et al. JINR Tier-1 centre for the CMS experiment at LHC. Physics of Particles and Nuclei Letters. 2016; 13(5):714-717. DOI: 10.1134/S1547477116050046
[9] Berezhnaya A., Dolbilov A., Ilyin V., Korenkov V., Lazin Y., Lyalin I., Mitsyn V., Ryabinkin E., Shmatov S., Strizh T., Tikhonenko E., Tkachenko I., Trofimov V., Velikhov V., Zhiltsov V. LHC Grid Computing in Russia: present and future. Journal of Physics: Conference Series. 2014; 513(6):062041. DOI: 10.1088/1742-6596/513/6/062041
[10] Astakhov N.S., Belov S.D., Gorbunov I.N., Dmitrienko P.V., Dolbilov A.G., Zhiltsov V.E., Korenkov V.V., Mitsyn V.V., Strizh T.A., Tikhonenko E.A., Trofimov V.V., Shmatov S.V. The Tier-1-level computing system of data processing for the CMS experiment at the large hadron collider. Journal of Information Technologies and Computing Systems. 2013; 4:27-36. Available at: https://elibrary.ru/item.asp?id=21016914 (accessed 25.04.2018). (In Russian)
[11] Filozova I.A., Bashashin M.V., Korenkov V.V. et al. Concept of JINR Corporate Information System. Physics of Particles and Nuclei Letters. 2016; 13(5):625-628. DOI: 10.1134/S1547477116050204
[12] Oak Ridge National Laboratory. Titan at OLCF Web page. Available at: https://www.olcf.ornl.gov/titan (accessed 25.04.2018).
[13] TOP500 Supercomputer Sites. Top500 List. Available at: URL: http://www.top500.org (accessed 25.04.2018).
[14] Nilsson P. et al and The ALICE Coolaboration. The ATLAS PanDA Pilot in Operation. Journal of Physics: Conference Series. 2011; 331(6):062040. DOI: 10.1088/1742-6596/331/6/062040
[15] Klimentov A., De K., Jha S., Maeno T., Nilsson P., Oleynik D., Panitkin S., Wells J., Wenaus T. Integration of PanDA Workload Management System With Supercomputers for ATLAS and Data Intensive Science. Journal of Physics: Conference Series. 2016; 762(1):012021. DOI: 10.1088/1742-6596/762/1/012021
[16] De K., Klimentov A., Maeno T., Nilsson P., Oleynik D., Panitkin S., Petrosyan A., Schovancova J., Vaniachine A., Wenaus T. The future of PanDA in ATLAS distributed computing. Journal of Physics: Conference Series. 2015; 664(6):062035. DOI: 10.1088/1742-6596/664/6/062035
[17] Klimentov A., Buncic P., De K., Jha S., Maeno T., Mount R., Nilsson P., Oleynik D., Panitkin S., Petrosyan A., Porter R.J., Read K.F., Vaniachine A., Wells J.C., Wenaus T. Next Generation Workload Management System For Big Data on Heterogeneous Distributed Computing. Journal of Physics: Conference Series. 2015; 608(1):012040. DOI: 10.1088/1742-6596/608/1/012040
[18] Barreiro Megino F.H., De K., Klimentov A., Maeno T., Nilsson P., Oleynik D., Padolski S., Panitkin S., Wenaus T. PanDA for ATLAS distributed computing in the next decade. Journal of Physics: Conference Series. 2017; 898(5):052002. DOI: 10.1088/1742-6596/898/5/052002
[19] Barreiro Megino F.H., De K., Jha S., Klimentov A., Maeno T., Nilsson P., Oleynik D., Padolski S., Panitkin S., Wells J., Wenaus T. Integration of Titan supercomputer at OLCF with ATLAS Production System. Journal of Physics: Conference Series. 2017; 898(9):092002. DOI: 10.1088/1742-6596/898/9/092002
[20] Salvo A. De, Kataoka M., Sanchez Pineda A., Smirnov Y. The ATLAS Software Installation System v2: a highly available system to install and validate Grid and Cloud sites via Panda. Journal of Physics: Conference Series. 2015; 664(6):062012. DOI: 10.1088/1742-6596/664/6/062012
[21] Maeno T., De K., Klimentov A., Nilsson P., Oleynik D., Panitkin S., Petrosyan A., Schovancova J., Vaniachine A., Wenaus T., Yu D. Evolution of the ATLAS PanDA workload management system for exascale computational science. Journal of Physics: Conference Series. 2014; 513(3):032062. DOI: 10.1088/1742-6596/513/3/032062
[22] De K., Klimentov A., Oleynik D., Paniykin S., Petrosyan A., Schovancova J., Vaniachine A., Wenaus T. Integration of PanDA workload management system with Titan supercomputer at OLCF. Journal of Physics: Conference Series. 2015; 664(9):092020. DOI: 10.1088/1742-6596/664/9/092020
[23] Buncic P., Peters A.J., Saiz P. The AliEn System, status and perspectives. Proceedings of 2003 Conference for Computing in High-Energy and Nuclear Physics. La Jolla, CA, USA, 2003. Pp. MOAT004. Available at: http://cds.cern.ch/record/621982 (accessed 25.04.2018).
[24] Gomez A., Lara C., Kebschull U. Intrusion Prevention and Detection in Grid Computing – The ALICE Case. Journal of Physics: Conference Series. 2015; 664(6):062017. DOI: 10.1088/1742-6596/664/6/062017
[25] Huang J., Saiz P., Betev L. et al. Grid Architecture and implementation for ALICE experiment. Proceedings of the 16th International Conference on Advanced Communication Technology (ICACT). Pyeongchang, 2014. Pp. 253-261. DOI: 10.1109/ICACT.2014.6779180
[26] Lorenzo P.M. The management of the VOBOX. II Brazilian LHC Computing Workshop, 8-12 December, 2008. Available at: https://www.sprace.org.br/workshops/IIBLHCCW/scientific-program.html (accessed 25.04.2018).
[27] Kondratyev A. Интеграция эксперимента ALICE и суперкомпьютера Titan, с применением системы управления потоками заданий PanDA. CEUR Workshop Proceedings. 2017; 1787:302-306. Available at: http://ceur-ws.org/Vol-1787/302-306-paper-51.pdf (accessed 25.04.2018).
[28] CERN CVMFS. CernVM File System. Available at: https://cernvm.cern.ch/portal/filesystem (accessed 25.04.2018).
[29] Weitzel D., Bockelman B., Dykstra D., Blomer J., Meusel R. Accessing Data Federations with CVMFS. Journal of Physics: Conference Series. 2017; 898(6):062044. DOI: 10.1088/1742-6596/898/6/062044
[30] Dykstra D., Bockelman B., Blomer J., Herner K., Levshina T., Slyz M. Engineering the CernVM-Filesystem as a High Bandwidth Distributed Filesystem for Auxiliary Physics Data. Journal of Physics: Conference Series. 2015; 664(4):042012. DOI: 10.1088/1742-6596/664/4/042012
[31] Dykstra D., Blomer J. Security in the CernVM File System and the Frontier Distributed Database Caching System. Journal of Physics: Conference Series. 2014; 513(4):042015. DOI: 10.1088/1742-6596/513/4/042015
[32] Bernazo D., Krzewicki M. The ALICE Software Release Validation cluster. Journal of Physics: Conference Series. 2015; 664(2):022006. DOI: 10.1088/1742-6596/664/2/022006
[33] Bernazo D., Blomer J., Buncic P., Charalampidis I., Ganis G., Meusel R. Lightweight scheduling of elastic analysis containers in a competitive cloud environment: a Docked Analysis Facility for ALICE. Journal of Physics: Conference Series. 2015; 664(2):022005. DOI: 10.1088/1742-6596/664/2/022005
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.
Редакционная политика журнала основывается на традиционных этических принципах российской научной периодики и строится с учетом этических норм работы редакторов и издателей, закрепленных в Кодексе поведения и руководящих принципах наилучшей практики для редактора журнала (Code of Conduct and Best Practice Guidelines for Journal Editors) и Кодексе поведения для издателя журнала (Code of Conduct for Journal Publishers), разработанных Комитетом по публикационной этике - Committee on Publication Ethics (COPE). В процессе издательской деятельности редколлегия журнала руководствуется международными правилами охраны авторского права, нормами действующего законодательства РФ, международными издательскими стандартами и обязательной ссылке на первоисточник.
Журнал позволяет авторам сохранять авторское право без ограничений. Журнал позволяет авторам сохранить права на публикацию без ограничений.
Издательская политика в области авторского права и архивирования определяются «зеленым цветом» в базе данных SHERPA/RoMEO.
Все статьи распространяются на условиях лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная, которая позволяет другим использовать, распространять, дополнять эту работу с обязательной ссылкой на оригинальную работу и публикацию в этом журналe.
