Архітектура системи організації даних «розумних міст» на основі концепту Data Mesh

2025;
: cc. 411 - 424
1
Тернопільський Національний університет ім. І. Пулюя, Кафедра комп’ютерних наук
2
Національний університет «Львівська політехніка» кафедра інформаційних систем та мереж, Львів, Україна
3
Тернопільський національний технічний університет імені Івана Пулюя, кафедра комп’ютерних наук, Тернопіль, Україна
4
Тернопільський національний технічний університет імені Івана Пулюя, кафедра комп’ютерних наук, Тернопіль, Україна
5
Тернопільський національний технічний університет імені Івана Пулюя, кафедра комп’ютерних наук, Тернопіль, Україна

Зростаюче використання різнотипового програмного забезпечення, є невід’ємною частиною процесів відбору, передавання, зберігання та опрацювання великих за обсягом наборів та колекцій даних, які характеризуються об’ємом, різноманітністю, швидкістю генерування, достовірністю, цінністю, варіативністю, якістю візуалізації тощо. Це обумовлює підвищену потребу у високоефективних засобах опрацювання даних, здатних адаптуватися до швидкозмінного середовища та різнорідних джерел даних. Великі сховища даних і озера даних є сучасними інформаційно-технологічними концептами, які достатньо грунтовно опрацьовані та успішно впроваджені в широкому ряді установ та організацій для задоволення інформаційних потреб, що виникають у процесах прийняття рішень, які дедалі частіше автоматизуються з використанням інтелектуальних аналітичних інструментів. Аналіз архітектурних рішень в побудові сучасних програмно-алгоритмічних комплексів та систем засвідчує необхідність зміни та корекції обчислювальних парадигм з метою справді якнайповнішого орієнтування на дані. У пропонованому підході дані розглядаються як базис організації процесів, а інструменти конвеєрного опрацювання як індукована другорядна проблема. Концепція «мережева архітектура даних» передбачає побудову інформаційно-технологічної архітектури, в якій дані цілеспрямовано розподіляються між кількома вузлами мережі з метою уникнення хаосу або блокування процесів управлінні даними. Це своєю чергою генерує потребу реалізації централізованих стратегій управління даними, які забезпечують системне поширення спільних принципів на всі вузли мережі. Такий підхід сприяє підвищенню якості процесів функціонування фірм та компаній, гнучкості організаційних структур, зменшенню рівня залежності системи опрацювання даних від єдиної концентрованої точки відмови, що полегшує запровадження системних політик безперервного вдосконалення процесів управління даними.

  1. Balnojan S. Data Mesh Applied. (2019). Available from: https://towardsdatascience.com/data-mesh-applied- 21bed87876f2
  2. Barr M. What is a D ata Mesh — and How Not to Mesh it Up. (2020). Available from: https://towardsdatascience.com/what-is-a-data-mesh-and-how-not-to-mesh-i...
  3. Costa C, Andrade C, Santos MY. (2019) Big Data Warehouses for Smart Industries. Encycl Big Data Technol, 341–51. DOI: https://doi.org/10.1007/978-3-319-63962-8_204-1
  4. Cunningham J. (2020). Netflix Data Mesh: Composable Data Processing - Justin Cunningham. Available from: https://www.youtube.com/watch?v=TO_IiN06jJ4
  5. Dehghani Z. (2019) How to Move Beyond a Monolithic Data Lake to a Distributed Data Mesh.;1–20. Available from:     https://martinfowler.com/articles/data-monolith-to-mesh.html
  6. Dehghani Z. (2020) Data Mesh Paradigm Shift in Data Platform Architecture. San Francisco, USA: InfoQ;. Available from: https://www.youtube.com/watch?v=52MCFe4v0UU
  7. Dehghani Z. (2013) Data Mesh Principles and Logical Architecture. Available from: https://martinfowler.com/articles/data-mesh-principles.html
  8. Diebold FX. (2017). A Personal Perspective on the Origin(s) and Development of “Big Data”: The Phenomenon, the Term, and the Discipline, Second Version. SSRN Electron J.;
  9. Hlupić T., Oreščanin D., Ružak D., & Baranović M. (2022). An overview of current data lake architecture models. In 2022 45th jubilee international convention on information, communication and electronic technology (MIPRO) (pp. 1082-1087). IEEE. DOI: https://doi.org/10.23919/MIPRO55190.2022.9803717
  10. Johnson L. What is a Data Mesh? (2020). Available from: https://trustgrid.io/what-is-a-data-mesh/
  11. Khine PP, Wang ZS. (2018) Data lake: a new ideology in big data era. ITM Web Conf. 2018;17:03025.
  12. Kimball R., Ross M. (2013) The Data Warehouse Toolkit, The Definitive Guide to Dimensional Modeling. Wiley..
  13. Krishnan K. (2013) Data Warehousing in the Age of Big Data. Data Warehous. Age Big Data. Elsevier;.
  14. Kunanets Т., Zhovnir Y., Duda O., Pasichnyk V. (2025) Designing the structure and architecture of situation-aware security information systems for residential complexes. Eastern-European Journal of Enterprise Technologies. 1/9 (133). DOI: https://doi.org/10.15587/1729-4061.2025.315248
  15. Sravan Kumar Pala. (2021). Databricks Analytics: Empowering Data Processing, Machine Learning and Real- Time Analytics. Eduzone: International Peer Reviewed/Refereed Multidisciplinary Journal, 10(1), 76–82. Retrieved from https://eduzonejournal.com/index.php/eiprmj/article/view/556.
  16. Patel M., & Patel D. B. (2022). Data Warehouse Modernization Using Document-Oriented ETL Framework for Real Time Analytics. In Rising Threats in Expert Applications and Solutions: Proceedings of FICR-TEAS 2022 (pp. 33-41). Singapore: Springer Nature Singapore. DOI: https://doi.org/10.1007/978-981-19-1122-4_5
  17. Santos MY., Costa C. (2020). Big Data concepts, warehousing, and analytics. River Publishing.
  18. Schultze M. & Wider A. (2020) Data Mesh in Practice: How Europe’s Leading Online Platform for Fashion Goes Beyond the Data Lake. Available from: https://www.youtube.com/watch?v=eiUhV56uVUc
  19. Shakhovska N., Duda O., Matsiuk O., Bolyubash Y., & Vovnyanka R. (2019). Analysis of the activity of territorial communities using information technology of big data based on the entity-characteristic mode. In Advances in Intelligent Systems and Computing III: Selected Papers from the International Conference on Computer Science and Information Technologies, CSIT 2018, September 11-14, Lviv, Ukraine (pp. 155-170). Springer International Publishing. DOI: https://doi.org/10.1007/978-3-030-01069-0_11
  20. Sun Y., Meehan T., Schlussel R., Xie W., Basmanova M., Erling O., ... & Pandit A. (2023). Presto: A decade of SQL analytics at Meta. Proceedings of the ACM on Management of Data, 1(2), 1-25. DOI: https://doi.org/10.1145/3589769