Использование метаданных и норм элементов для оптимизации запросов

Аннотация

В виду стремительного развития информационных технологий, также соразмерно стремительно развиваются требования к информации и скорости ее обработке в этой сфере. Данные и запросы все более отличаются от оперирования простейшими типами. В статье рассматривается метод повышения эффективности решения задач поиска элементов среди широких таблиц – имеющих большое количество столбцов, что также можно рассматривать в разрезе задачи по соединению таблиц. Метод основан на специфическом индексировании, элементов, которое позволяет снять некоторые ограничения с данных таблицы и оптимизировав работу с большим количеством столбцов – тем самым расширив спектр применения такого подхода, не теряя плюсов классического индексирования. В основе предлагаемого индексирования используется вводимое понятия близкое к понятию нормы пространства – вес, позволяющее образовать на множестве элементов таблицы отношение эквивалентности, одновременно с чем снимая некоторые ограничения на использования индексирования с элементов – такие, как например, отношение порядка характеристик или ограничение на сами обрабатываемые типы данных таблицы. Также в статье рассматривается возможность группировки и распределения данных для распараллеливания методов обработки запросов к СУБД. Для реализации такой параллельной обработки данных используется простой принцип симметричного горизонтального распределения, на основе фактор-множества множества элементов таблицы построенного на базе вводимого понятия веса элемента. Он может позволить распределить элементы таблицы по вычислителям достаточно равномерно, притом, что будет сохранено отсутствие пересечения интересующих характеристик элемента между разными вычислителями, для ограждения от обмена памятью между процессорами.