РАСПРЕДЕЛЕННЫЙ МЕТОД СОПОСТАВЛЕНИЯ АСТРОНОМИЧЕСКИХ КАТАЛОГОВ НА ПЛАТФОРМЕ APACHE SPARK

Евгений Сергеевич Глотов; Сергей Валерьевич Герасимов; Александр Валерьевич Мещеряков

Евгений Сергеевич Глотов Московский государственный университет имени М.В. Ломоносова
Сергей Валерьевич Герасимов Московский государственный университет имени М.В. Ломоносова
Александр Валерьевич Мещеряков Институт космических исследований РАН

Abstract

В работе предложен горизонтально-масштабируемый алгоритм сопоставления астрономических каталогов, реализованный на платформе распределенных вычислений Apache Spark. Метод обеспечивает необходимую точность сопоставления каталогов и хорошую производительность в сравнении с лучшими реализациями подобных систем, доступными в астрономическом сообществе. Горизонтальная масштабируемость предложенного метода была подтверждена с помощью экспериментов на кластере, развёрнутом в облаке Microsoft Azure.

Author Biographies

Евгений Сергеевич Глотов, Московский государственный университет имени М.В. Ломоносова

магистрант второго года обучения лаборатории Технологий программирования кафедры Автоматизации систем вычислительных комплексов факультета вычислительной математики и кибернетики

Сергей Валерьевич Герасимов, Московский государственный университет имени М.В. Ломоносова

инженер факультета вычислительной математики и кибернетики

Александр Валерьевич Мещеряков, Институт космических исследований РАН

научный сотрудник Казанского (Приволжского) федерального университета

References

1. Герасимов С.В. и др. Архитектура системы обработки больших массивов астрономических данных //Материалы 4-й Всероссийской научно-технической конференции «Суперкомпьютерные технологии» (СКТ-2016). Ростов-на-Дону, 2016. Т. 2. С. 144-148.
2. Strasbourg astronomical Data Center (CDS) // URL:http://vizier.u-strasbg.fr/viz-bin/VizieR.
3. Alam S. et al. The eleventh and twelfth data releases of the Sloan Digital Sky Survey: Final data from SDSS-III //The Astrophysical Journal Supplement Series. – 2015. – Т. 219. – №. 1. – С. 12.
4. Ivezic Z. et al. Large Synoptic Survey Telescope: From science drivers to reference design //Serbian Astronomical Journal. – 2008. – Т. 176. – С. 1-13.
5. Zaharia M. et al. Spark: cluster computing with working sets //HotCloud. – 2010. – Т. 10. – С. 10-10.
6. Taylor M. TOPCAT: tool for operations on catalogues and tables //Astrophysics Source Code Library. – 2011. – Т. 1. – С. 01010.
7. Devereux D. et al. An O (N log M) Algorithm for Catalogue Crossmatching //Astronomical Data Analysis Software and Systems XIV. – 2005. – Т. 347. – С. 346.
8. Guttman A. R-trees: a dynamic index structure for spatial searching. – ACM, 1984. – Т. 14. – №. 2. – С. 47-57.
9. Li N., Szalay A. CASJobs: A workflow environment designed for large scientific catalogs //2008 Third Workshop on Workflows in Support of Large-Scale Science. – IEEE, 2008. – С. 1-8.
10. Nieto-Santisteban M. A., Thakar A. R., Szalay A. S. Cross-matching very large datasets //National Science and Technology Council (NSTC) NASA Conference. – 2007.
11. Gorski K. M. et al. HEALPix: a framework for high-resolution discretization and fast analysis of data distributed on the sphere //The Astrophysical Journal. – 2005. – Т. 622. – №. 2. – С. 759.
12. Zhao Q. et al. A paralleled large-scale astronomical cross-matching function //International Conference on Algorithms and Architectures for Parallel Processing. – Springer Berlin Heidelberg, 2009. – С. 604-614.
13. Pineau F. X., Boch T., Derriere S. Efficient and Scalable Cross-Matching of (Very) Large Catalogs //Astronomical Data Analysis Software and Systems XX. – 2011. – Т. 442. – С. 85.
14. CDS X-Match service // URL:http://cdsxmatch.u-strasbg.fr/xmatch.
15. Juric M. Large Survey Database // URL:http://research.majuric.org/trac/wiki/LargeSurveyDatabase.
16. Pineau F. X. et al. Probabilistic multi-catalogue positional cross-match //arXiv preprint arXiv:1609.00818. – 2016.