РАСПРЕДЕЛЕННЫЙ МЕТОД СОПОСТАВЛЕНИЯ АСТРОНОМИЧЕСКИХ КАТАЛОГОВ НА ПЛАТФОРМЕ APACHE SPARK

  • Евгений Сергеевич Глотов Московский государственный университет имени М.В. Ломоносова
  • Сергей Валерьевич Герасимов Московский государственный университет имени М.В. Ломоносова
  • Александр Валерьевич Мещеряков Институт космических исследований РАН

Аннотация

В работе предложен горизонтально-масштабируемый алгоритм сопоставления астрономических каталогов, реализованный на платформе распределенных вычислений Apache Spark. Метод обеспечивает необходимую точность сопоставления каталогов и хорошую производительность в сравнении с лучшими реализациями подобных систем, доступными в астрономическом сообществе. Горизонтальная масштабируемость предложенного метода была подтверждена с помощью экспериментов на кластере, развёрнутом в облаке Microsoft Azure.

Сведения об авторах

Евгений Сергеевич Глотов, Московский государственный университет имени М.В. Ломоносова

магистрант второго года обучения лаборатории Технологий программирования кафедры Автоматизации систем вычислительных комплексов факультета вычислительной математики и кибернетики 

Сергей Валерьевич Герасимов, Московский государственный университет имени М.В. Ломоносова

инженер факультета вычислительной математики и кибернетики

Александр Валерьевич Мещеряков, Институт космических исследований РАН

научный сотрудник Казанского (Приволжского) федерального университета

Литература

1. Герасимов С.В. и др. Архитектура системы обработки больших массивов астрономических данных //Материалы 4-й Всероссийской научно-технической конференции «Суперкомпьютерные технологии» (СКТ-2016). Ростов-на-Дону, 2016. Т. 2. С. 144-148.
2. Strasbourg astronomical Data Center (CDS) // URL:http://vizier.u-strasbg.fr/viz-bin/VizieR.
3. Alam S. et al. The eleventh and twelfth data releases of the Sloan Digital Sky Survey: Final data from SDSS-III //The Astrophysical Journal Supplement Series. – 2015. – Т. 219. – №. 1. – С. 12.
4. Ivezic Z. et al. Large Synoptic Survey Telescope: From science drivers to reference design //Serbian Astronomical Journal. – 2008. – Т. 176. – С. 1-13.
5. Zaharia M. et al. Spark: cluster computing with working sets //HotCloud. – 2010. – Т. 10. – С. 10-10.
6. Taylor M. TOPCAT: tool for operations on catalogues and tables //Astrophysics Source Code Library. – 2011. – Т. 1. – С. 01010.
7. Devereux D. et al. An O (N log M) Algorithm for Catalogue Crossmatching //Astronomical Data Analysis Software and Systems XIV. – 2005. – Т. 347. – С. 346.
8. Guttman A. R-trees: a dynamic index structure for spatial searching. – ACM, 1984. – Т. 14. – №. 2. – С. 47-57.
9. Li N., Szalay A. CASJobs: A workflow environment designed for large scientific catalogs //2008 Third Workshop on Workflows in Support of Large-Scale Science. – IEEE, 2008. – С. 1-8.
10. Nieto-Santisteban M. A., Thakar A. R., Szalay A. S. Cross-matching very large datasets //National Science and Technology Council (NSTC) NASA Conference. – 2007.
11. Gorski K. M. et al. HEALPix: a framework for high-resolution discretization and fast analysis of data distributed on the sphere //The Astrophysical Journal. – 2005. – Т. 622. – №. 2. – С. 759.
12. Zhao Q. et al. A paralleled large-scale astronomical cross-matching function //International Conference on Algorithms and Architectures for Parallel Processing. – Springer Berlin Heidelberg, 2009. – С. 604-614.
13. Pineau F. X., Boch T., Derriere S. Efficient and Scalable Cross-Matching of (Very) Large Catalogs //Astronomical Data Analysis Software and Systems XX. – 2011. – Т. 442. – С. 85.
14. CDS X-Match service // URL:http://cdsxmatch.u-strasbg.fr/xmatch.
15. Juric M. Large Survey Database // URL:http://research.majuric.org/trac/wiki/LargeSurveyDatabase.
16. Pineau F. X. et al. Probabilistic multi-catalogue positional cross-match //arXiv preprint arXiv:1609.00818. – 2016.
Опубликована
2016-11-25
Как цитировать
ГЛОТОВ, Евгений Сергеевич; ГЕРАСИМОВ, Сергей Валерьевич; МЕЩЕРЯКОВ, Александр Валерьевич. РАСПРЕДЕЛЕННЫЙ МЕТОД СОПОСТАВЛЕНИЯ АСТРОНОМИЧЕСКИХ КАТАЛОГОВ НА ПЛАТФОРМЕ APACHE SPARK. Современные информационные технологии и ИТ-образование, [S.l.], v. 12, n. 1, p. 153-161, nov. 2016. ISSN 2411-1473. Доступно на: <http://sitito.cs.msu.ru/index.php/SITITO/article/view/25>. Дата доступа: 22 dec. 2024
Форматы библиографических ссылок
Выпуск
Том 12 № 1 (2016): Современные информационные технологии и ИТ-образование
Раздел
Большие данные и приложения
Лицензия Creative Commons

Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.

Редакционная политика журнала основывается на традиционных этических принципах российской научной периодики и строится с учетом этических норм работы редакторов и издателей, закрепленных в Кодексе поведения и руководящих принципах наилучшей практики для редактора журнала (Code of Conduct and Best Practice Guidelines for Journal Editors) и Кодексе поведения для издателя журнала (Code of Conduct for Journal Publishers), разработанных Комитетом по публикационной этике - Committee on Publication Ethics (COPE). В процессе издательской деятельности редколлегия журнала руководствуется международными правилами охраны авторского права, нормами действующего законодательства РФ, международными издательскими стандартами и обязательной ссылке на первоисточник.
Журнал позволяет авторам сохранять авторское право без ограничений. Журнал позволяет авторам сохранить права на публикацию без ограничений.
Издательская политика в области авторского права и архивирования определяются «зеленым цветом» в базе данных SHERPA/RoMEO.
Все статьи распространяются на условиях лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная, которая позволяет другим использовать, распространять, дополнять эту работу с обязательной ссылкой на оригинальную работу и публикацию в этом журналe.