Проблема с существующими наборами данных
(небольшие объемы, экономия, неодномерность), технический опыт и предложение решения
Аннотация
В современном мире наблюдается значительный рост важности и использования данных. Все больше и больше организаций и индивидуальных пользователей зависят от данных для принятия решений и определения своей деятельности. Это связано с развитием информационных технологий, экспоненциальным ростом интернета и массовым проникновением смартфонов и других устройств, которые генерируют и собирают данные. Продолжительное накопление данных приводит к появлению большого количество доступных наборов данных. Они могут включать в себя информацию о пользовательском поведении, медицинские данные, финансовую информацию, социальные данные и многое другое. Все эти данные имеют потенциал для использования в различных областях, включая бизнес, науку, государственное управление и т. д. Однако, несмотря на широкий доступ к данным, многие наборы данных не обладают достаточной надежностью и качеством. Это может быть вызвано различными факторами, такими как ошибки сбора и обработки данных, неполные или противоречивые значения, а также возможности умышленной манипуляции данными. Важно понимать, что отсутствие достоверных данных может иметь серьезные последствия.
В заключение, рост значимости и использования данных в современном мире требует решения проблемы недостоверных наборов данных. Улучшение качества данных является необходимым условием для принятия точных решений и достижения успеха в различных областях деятельности. Дальнейшие исследования по этой теме и разработка новых методов улучшения наборов данных помогут сделать данные надежными и достоверными и обеспечат более эффективное использование данных в современном мире.
Литература
2. Whang S.E., Roh Y., Song H., Lee J.G. Data Collection and Quality Challenges in Deep Learning: A Data-Centric AI Perspective. arXiv:2112.06409. 2021. https://doi.org/10.48550/arXiv.2112.06409
3. Batini C., Scannapieco M. Data and Information Quality: Dimensions, Principles and Techniques. Data-Centric Systems and Applications. Cham: Springer; 2016. 500 p. https://doi.org/10.1007/978-3-319-24106-7
4. Cai L., Zhu Y. The challenges of data quality and data quality assessment in the big data era. Data Science Journal. 2015;14:2. https://doi.org/10.5334/dsj-2015-002
5. Cho H., Lee S. Data Quality Measures and Efficient Evaluation Algorithms for Large-Scale High-Dimensional Data. arXiv:2101.01441. 2021. https://doi.org/10.48550/arXiv.2101.01441
6. Abedjan Z., Chu X., Deng D., Fernandez R.C., Ilyas I.F., Ouzzani M., Papotti P., Stonebraker M., Tang N. Detecting data errors: Where are we and what needs to be done? Proceedings of the VLDB Endowment. 2016;9(12):993-1004. https://doi.org/10.14778/2994509.2994518
7. Haug A., Zachariassen F., Van Liempd D. The costs of poor data quality. Journal of Industrial Engineering and Management. 2011;4(2):168-193. https://doi.org/10.3926/jiem.2011.v4n2.p168-193
8. Tsai C.-W., Lai C.-F., Chao H.-C., Vasilakos A.V. Big data analytics: a survey. Journal of Big Data. 2015;2:21. https://doi.org/10.1186/s40537-015-0030-3
9. Kwon O., Lee N., Shin B. Data quality management, data usage experience and acquisition intention of big data analytics. International Journal of Information Management. 2014;34(3):387-394. https://doi.org/10.1016/j.ijinfomgt.2014.02.002
10. Le Quy T., Roy A., Iosifidis V., Zhang W., Ntoutsi E. A survey on datasets for fairness-aware machine learning. WIREs Data Mining and Knowledge Discovery. 2022;12(3):e1452. https://doi.org/10.1002/widm.1452
11. Imran M., Qayyum F., Kim D.-H., Bong S.-J., Chi S.-Y., Choi Y.-H. A Survey of Datasets, Preprocessing, Modeling Mechanisms, and Simulation Tools Based on AI for Material Analysis and Discovery. Materials. 2022;15(4):1428. https://doi.org/10.3390/ma15041428
12. Emmanuel T., Maupong T., Mpoeleng D., Semong T., Mphago B., Tabona O. A survey on missing data in machine learning. Journal of Big Data. 2021;8:140. https://doi.org/10.1186/s40537-021-00516-9
13. Van Buuren S. Flexible Imputation of Missing Data. 2nd ed. Boca Raton: CRC Press; 2018. 444 p. https://doi.org/10.1201/9780429492259
14. Miao X., Wu Y., Chen L., Gao Y., Yin J. An experimental survey of missing data imputation algorithms. IEEE Transactions on Knowledge and Data Engineering. 2023;35(7);6630-6650. https://doi.org/10.1109/TKDE.2022.3186498
15. Kazijevs M., Samad M.D. Deep Imputation of Missing Values in Time Series Health Data: A Review with Benchmarking. arXiv:2302.10902. 2023. https://doi.org/10.48550/arXiv.2302.10902
16. Abedjan Z., Golab L., Naumann F. Profiling relational data: A survey. The VLDB Journal. 2015;24:557-581. https://doi.org/10.1007/s00778-015-0389-y
17. Chu X., Ilyas I.F., Krishnan S., Wang J. Data Cleaning: Overview and Emerging Challenges. In: Proceedings of the 2016 International Conference on Management of Data (SIGMOD '16). New York, NY, USA: Association for Computing Machinery; 2016. p. 2201-2206. https://doi.org/10.1145/2882903.2912574
18. Fatima A., Nazir N., Khan M.G. Data Cleaning in Data Warehouse: A Survey of Data Pre-processing Techniques and Tools. International Journal of Information Technology and Computer Science. 2017;9(3):50-61. https://doi.org/10.5815/ijitcs.2017.03.06
19. Little R.J.A., Rubin D.B. Statistical Analysis with Missing Data. 2nd ed. John Wiley & Sons, Inc.; 2002. 408 p. https://doi.org/10.1002/9781119013563
20. Stekhoven D.J., Bühlmann P. MissForest – non-parametric missing value imputation for mixed-type data. Bioinformatics. 2012;28(1):112-118. https://doi.org/10.1093/bioinformatics/btr597
21. Zhang Z. Missing data imputation: focusing on single imputation. Annals of Translational Medicine. 2016;4(1):9. https://doi.org/10.3978/j.issn.2305-5839.2015.12.38
22. Wang Z., Akande O., Poulos J., Li F. Are deep learning models superior for missing data imputation in large surveys? Evidence from an empirical comparison. arXiv:2103.09316. 2021. https://doi.org/10.48550/arXiv.2103.09316
23. Krishnan S., Haas D., Franklin M.J., Wu E. Towards reliable interactive data cleaning: a user survey and recommendations. In: Proceedings of the Workshop on Human-In-the-Loop Data Analytics (HILDA '16). New York, NY, USA: Association for Computing Machinery; 2016. Article number: 9. https://doi.org/10.1145/2939502.2939511
24. Abedjan Z., Golab L., Naumann F. Profiling relational data: a survey. The VLDB Journal. 2015;24:557-581. https://doi.org/10.1007/s00778-015-0389-y
25. Chung Y., Krishnan S., Kraska T. A Data Quality Metric (DQM): How to Estimate the Number of Undetected Errors in Data Sets. arXiv:1611.04878. 2016. https://doi.org/10.48550/arXiv.1611.04878
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.
Редакционная политика журнала основывается на традиционных этических принципах российской научной периодики и строится с учетом этических норм работы редакторов и издателей, закрепленных в Кодексе поведения и руководящих принципах наилучшей практики для редактора журнала (Code of Conduct and Best Practice Guidelines for Journal Editors) и Кодексе поведения для издателя журнала (Code of Conduct for Journal Publishers), разработанных Комитетом по публикационной этике - Committee on Publication Ethics (COPE). В процессе издательской деятельности редколлегия журнала руководствуется международными правилами охраны авторского права, нормами действующего законодательства РФ, международными издательскими стандартами и обязательной ссылке на первоисточник.
Журнал позволяет авторам сохранять авторское право без ограничений. Журнал позволяет авторам сохранить права на публикацию без ограничений.
Издательская политика в области авторского права и архивирования определяются «зеленым цветом» в базе данных SHERPA/RoMEO.
Все статьи распространяются на условиях лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная, которая позволяет другим использовать, распространять, дополнять эту работу с обязательной ссылкой на оригинальную работу и публикацию в этом журналe.
