Использование колоночных СУБД для формирования многомерных структур данных

Аннотация

Работа посвящена анализу формирования многомерных информационно-аналитических систем с использованием данных, накопленных в колоночных СУБД. В последнее время такие СУБД получают распространение в системах, нацеленных на хранение и анализ больших объемов информации, генерируемой в результате функционирования интенсивных бизнес-процессов. В процессе анализа многомерных данных требуется производить выборку данных фактов, ассоциированных с сочетаниями значений нескольких измерений. В случае использования колоночных СУБД запросы с участием данных нескольких колонок могут быть организованы таким образом, что каждая колонка в значительной степени может рассматриваться как обособленный источник данных. Это обстоятельство позволяет облегчить переход к параллельной обработке информации. Учитывая, в дополнение к указанным свойствам, высокую эффективность чтения в колоночных СУБД, при выборе указанного подхода можно рассчитывать на эффективное решение задачи формирования многомерных структур данных и упрощение работы по обслуживанию существующих кубов данных в случае необходимости их модификации. Использование колоночных СУБД в многомерном анализе данных может оказаться эффективным в следующих случаях. Когда хранилище данных состоит из широких, многоаспектных таблиц данных с большим количеством колонок, над которыми выполняются сложные операции (агрегации, фильтрация, сортировки). В ситуации, когда бизнес-процесс генерирует большой поток входящих в информационную систему данных (миллиарды событий день, генерируемые в реальном времени).