Использование метаданных и норм элементов для оптимизации запросов

  • Anastasia Victorovna Kirikova Смоленский государственный университет; Военная академия войсковой противовоздушной обороны Вооруженных Сил Российской Федерации имени Маршала Советского Союза А.М. Василевского http://orcid.org/0000-0002-0861-8847
  • Victor Iosifovich Munerman Смоленский государственный университет http://orcid.org/0000-0002-9628-4049

Аннотация

В виду стремительного развития информационных технологий, также соразмерно стремительно развиваются требования к информации и скорости ее обработке в этой сфере. Данные и запросы все более отличаются от оперирования простейшими типами. В статье рассматривается метод повышения эффективности решения задач поиска элементов среди широких таблиц – имеющих большое количество столбцов, что также можно рассматривать в разрезе задачи по соединению таблиц. Метод основан на специфическом индексировании, элементов, которое позволяет снять некоторые ограничения с данных таблицы и оптимизировав работу с большим количеством столбцов – тем самым расширив спектр применения такого подхода, не теряя плюсов классического индексирования. В основе предлагаемого индексирования используется вводимое понятия близкое к понятию нормы пространства – вес, позволяющее образовать на множестве элементов таблицы отношение эквивалентности, одновременно с чем снимая некоторые ограничения на использования индексирования с элементов – такие, как например, отношение порядка характеристик или ограничение на сами обрабатываемые типы данных таблицы. Также в статье рассматривается возможность группировки и распределения данных для распараллеливания методов обработки запросов к СУБД. Для реализации такой параллельной обработки данных используется простой принцип симметричного горизонтального распределения, на основе фактор-множества множества элементов таблицы построенного на базе вводимого понятия веса элемента. Он может позволить распределить элементы таблицы по вычислителям достаточно равномерно, притом, что будет сохранено отсутствие пересечения интересующих характеристик элемента между разными вычислителями, для ограждения от обмена памятью между процессорами.

Сведения об авторах

Anastasia Victorovna Kirikova, Смоленский государственный университет; Военная академия войсковой противовоздушной обороны Вооруженных Сил Российской Федерации имени Маршала Советского Союза А.М. Василевского

аспирант физико-математического факультета; преподаватель

Victor Iosifovich Munerman, Смоленский государственный университет

доцент кафедры информатики физико-математического факультета, кандидат технических наук, доцент

Литература

1. Das S., Grbic M., Ilic I., Jovandic I., Jovanovic A., Narasayya V.R., Radulovic M., Stikic M., Xu G., Chaudhuri S. Automatically Indexing Millions of Databases in Microsoft Azure SQL Database. In: Proceedings of the 2019 International Conference on Management of Data (SIGMOD '19). New York, NY, USA; Association for Computing Machinery; 2019. p. 666-679. doi: https://doi.org/10.1145/3299869.3314035
2. Haynes D., Ray S., Manson S.M., Soni A. High performance analysis of big spatial data. In: 2015 IEEE International Conference on Big Data (Big Data). Santa Clara, CA, USA: IEEE Computer Society; 2015. p. 1953-1957. doi: https://doi.org/10.1109/BigData.2015.7363974
3. Abdel-Basset M., Manogaran G., Abdel-Fatah L., Mirjalili S. An improved nature inspired meta-heuristic algorithm for 1-D bin packing problems. Personal and Ubiquitous Computing. 2018;22(5-6):1117-1132. doi: https://doi.org/10.1007/s00779-018-1132-7
4. Chamoso P., Rivas A., Sánchez-Torres R., Rodríguez S. Social computing for image matching. PLoS ONE. 2018;13(5):e0197576. doi: https://doi.org/10.1371/journal.pone.0197576
5. Dodonov A., Mukhin V., Zavgorodnii V., Kornaga Y., Zavgorodnya A., Mukhin O. Method of Parallel Information Object Search in Unified Information Spaces. International Journal of Computer Network and Information Security. 2021;13(4):1-13. doi: https://doi.org/10.5815/ijcnis.2021.04.01
6. Levin N.A., Munerman V.I. Models of Big Data Processing in Massively Parallel Systems. Highly available systems. 2013;9(1):035-043. Available at: https://elibrary.ru/item.asp?id=18928468 (accessed 28.09.2022).
7. Alam K.S., Shishir T.A., Azharul Hasan K.M. Efficient Partitioning Algorithm for Parallel Multidimensional Matrix Operations by Linearization. In: Senjyu T., Mahalle P.N., Perumal T., Joshi A. (eds.). Information and Communication Technology for Intelligent Systems. ICTIS 2020. Smart Innovation, Systems and Technologies. Vol. 195. Singapore: Springer; 2021. p. 141-149. doi: https://doi. org/10.1007/978-981-15-7078-0_13
8. Chen Y., Li K., Yang W., Xiao G., Xie X., Li T. Performance-Aware Model for Sparse Matrix-Matrix Multiplication on the Sunway TaihuLight Supercomputer. IEEE Transactions on Parallel and Distributed Systems. 2019;30(4):923-938. doi: https://doi. org/10.1109/TPDS.2018.2871189
9. Pushpa Rani Suri, Sudesh Rani. A New Classification for Architecture of Parallel Databases. Information Technology Journal. 2008;7(7):983-991. doi: https://doi.org/10.3923/itj.2008.983.991
10. Zaki M.J. Parthasarathy S., Ogihara M. Parallel Algorithms for Discovery of Association Rules. Data Mining and Knowledge Discovery. 1997;1(4):343-373. doi: https://doi.org/10.1023/A:1009773317876
11. Wajszczyk B., Gruszka I.M. Analysis of possibilities to increase the efficiency of the relative database management system using the methods of parallel processing. In: Kaniewski P., Matuszewski J. (eds.) Proceedings of SPIE. Vol. 11442. Radioelectronic Systems Conference 2019. Article number: 1144215. SPIE; 2020. doi: https://doi.org/10.1117/12.2565744
12. Gorokhovatskyi V.A., Gorokhovatskiy A.V., Peredrii Ye.O. Hashing of structural descriptions at building of the class image descriptor, computing of relevance and classification of the visual objects. Telecommunications and Radio Engineering. 2018;77(13):1159-1168. doi: https://doi.org/10.1615/TelecomRadEng.v77.i13.40
13. Kirikova A., Mironov A. Using Metadata-indexing to Improve the Efficiency of Complex Operations. In; 2021 IEEE Conference of Russian Young Researchers in Electrical and Electronic Engineering (ElConRus). St. Petersburg, Moscow, Russia; IEEE Computer Society; 2021. p. 2124-2127. doi: https://doi.org/10.1109/ElConRus51938.2021.9396274
14. Kirikova A., Mironov A., Munerman V. The Method of Composition Hash-functions for Optimize a Task of Searching Images in Dataset. In: 2020 IEEE Conference of Russian Young Researchers in Electrical and Electronic Engineering (EIConRus). St. Petersburg and Moscow, Russia: IEEE Computer Society; 2020. p. 1983-1986. https://doi.org/10.1109/EIConRus49466.2020.9038919
15. Munerman V., Munerman D. Realization of Distributed Data Processing on the Basis of Container Technology. In: 2019 IEEE Conference of Russian Young Researchers in Electrical and Electronic Engineering (EIConRus). Saint Petersburg and Moscow, Russia: IEEE Computer Society; 2019. p. 1740-1744. doi: https://doi.org/10.1109/EIConRus.2019.8656766
16. Munerman V., Munerman D., Samoilova T. The Heuristic Algorithm For Symmetric Horizontal Data Distribution. In: 2021 IEEE Conference of Russian Young Researchers in Electrical and Electronic Engineering (ElConRus). St. Petersburg, Moscow, Russia: IEEE Computer Society; 2021. p. 2161-2165. doi: https://doi.org/10.1109/ElConRus51938.2021.9396510
17. Lomet D. The evolution of effective B-tree: Page organization and techniques: A personal account. ACM SIGMOD Record. 2001;30(3):64-69. doi: https://doi.org/10.1145/603867.603878
18. Rodríguez-Mazahua N., Rodríguez-Mazahua L., López-Chau A., Alor-Hernández G., Machorro-Cano I. Decision-Tree-Based Horizontal Fragmentation Method for Data Warehouses. Applied Sciences. 2022;12(21):10942. doi: https://doi.org/10.3390/app122110942
19. Graefe G. Modern B-Tree Techniques. Foundations and Trends in Databases. 2011;3(4):203-402. doi: https://doi.org/10.1561/1900000028
20. Lvovich I., Lvovich Y., Preobrazhenskiy A., Choporov O. Modeling and Optimization of Processing Large Data Arrays in Information Systems. In: 2021 International Conference on Information Technology and Nanotechnology (ITNT). Samara, Russian Federation: IEEE Computer Society; 2021. p. 1-5. doi: https://doi.org/10.1109/ITNT52450.2021.9649229
21. Monga V., Evans B.L. Perceptual Image Hashing Via Feature Points: Performance Evaluation and Tradeoffs. IEEE Transactions on Image Processing. 2006;15(11):3452-3465. doi: https://doi.org/10.1109/TIP.2006.881948
22. Sridhar R., Chandrasekaran M., Sriramya C., Page T. Optimization of heterogeneous Bin packing using adaptive genetic algorithm. IOP Conference Series: Materials Science and Engineering. 2017;183(1):012026. doi: https://doi.org/10.1088/1757-899X/183/1/012026
23. Syrotkina O., Aleksieiev M., Moroz B., Matsiuk S., Shevtsova O., Kozlovskyi A. Mathematical Methods for optimizing Big Data Processing. In: 2020 10th International Conference on Advanced Computer Information Technologies (ACIT). Deggendorf, Germany: IEEE Computer Society; 2020. p. 170-176. doi: https://doi.org/10.1109/ACIT49673.2020.9208940
24. Zobel J., Moffat A., Sacks-Davis R. An Efficient Indexing Technique for Full Text Databases. In: Proceedings of the 18th International Conference on Very Large Data Bases (VLDB '92). San Francisco, CA, USA: Morgan Kaufmann Publishers Inc.; 1992. p. 352-362.
25. Zakharov V., Kirikova A., Munerman V., Samoilova T. Architecture of Software-Hardware Complex for Searching Images in Database. In: 2019 IEEE Conference of Russian Young Researchers in Electrical and Electronic Engineering (EIConRus). Saint Petersburg and Moscow, Russia: IEEE Computer Society; 2019. p. 1735-1739. doi: https://doi.org/10.1109/EIConRus.2019.8657241
Опубликована
2022-12-20
Как цитировать
KIRIKOVA, Anastasia Victorovna; MUNERMAN, Victor Iosifovich. Использование метаданных и норм элементов для оптимизации запросов. Современные информационные технологии и ИТ-образование, [S.l.], v. 18, n. 4, p. 767-773, dec. 2022. ISSN 2411-1473. Доступно на: <http://sitito.cs.msu.ru/index.php/SITITO/article/view/895>. Дата доступа: 28 feb. 2024 doi: https://doi.org/10.25559/SITITO.18.202204.767-773.
Раздел
Параллельное и распределенное программирование, грид-технологии

Наиболее читаемые статьи этого автора (авторов)