%A Belov, Vladimir Alexandrovich %A Nikulchev, Evgeny Vitalyevich %D 2021 %T Оценка временной эффективности форматов хранения больших данных в динамике роста объема данных %K %X При разработке озера данных на таких платформах, как Apache Hadoop, важным вопросом становится выбор формата хранения данных. Этот выбор должен опираться на ряд различных критериев, одним из которых являются временные затраты при запуске различных запросов к этим данным. Однако любая система обработки данных предполагает постоянный рост объема этих данных. В связи с этим возникает необходимость изучения эффективности форматов в динамике роста объема данных, хранящихся в системе. В данной статье предлагается методика оценки эффективности форматов хранения данных в озерах данных, построенных на платформе Apache Hadoop, в динамике роста объема данных. Предложен эксперимент, представляющий из себя ряд запусков запросов различной сложности к данным, хранящихся в форматах JSON, Apache Avro, ORC, Apache Parquet. Для запуска запросов использовался фреймворк Apache Spark. %U http://sitito.cs.msu.ru/index.php/SITITO/article/view/809 %J Современные информационные технологии и ИТ-образование %0 Journal Article %R 10.25559/SITITO.17.202104.889-895 %P 889-895%V 17 %N 4 %@ 2411-1473 %8 2021-12-20