Метод сжатия данных журналов событий на основе теории комбинаторной генерации с применением структур деревьев И/ИЛИ

Аннотация

Экспоненциальный рост объема производимой современным обществом цифровой информации влечет за собой проблему хранения большого объема данных, в том числе архивных данных. Под архивными данными понимается категория «холодных» данных (это такие данные, которые требуют хранения, но при этом редко используются). Наглядным примером такого рода архивных данных являются данные журналов событий, содержащих краткое описание произошедших в информационной системе событий в хронологическом порядке. Учитывая большой объем архивных данных и редкое их использование, актуальным становится хранение таких данных в сжатом виде. В данной статье рассматривается задача разработки метода сжатия архивных данных на примере данных журналов событий за счет применения алгоритмов комбинаторной генерации. В частности, если зафиксировать некоторое текущее состояние журнала событий, то множество его записей может быть рассмотрено как комбинаторное множество. Тогда, используя алгоритм ранжирования элементов комбинаторного множества, каждая запись журнала событий может быть закодирована одним числом, для хранения которого потребуется меньше памяти. Базируясь на данной идее, предложен метод сжатия данных журналов событий на основе теории комбинаторной генерации с применением структур деревьев И/ИЛИ. Для оценки эффективности предложенного метода рассмотрен пример сжатия данных журналов событий, генерируемых внутри электронных курсов системы Moodle. Результаты экспериментального исследования подтвердили эффективность предложенного метода, а именно: суммарный объем памяти, требуемой для хранения журнала события электронного курса системы Moodle в сжатом виде, имеет меньшее значение по сравнению с существующими методами сжатия текстовых файлов.