У статті представлено дизайн, розробку та оцінку спеціалізованої програми для аналізу, розробки агрегацій даних і візуалізації великих обсягів даних. Основна мета цієї програми — спростити обробку даних, прискорити їх аналіз і полегшити написання коду для задач із великими обсягами даних. Для досягнення цієї мети використовується машинне навчання, а також два репозиторії.
Програма містить зручний і зрозумілий інтерфейс, сервери, що обробляють різні типи запитів від користувачів і передають їх в базу даних, а також саму базу даних з двома репозиторіями.
Методологія дослідження, використана в цьому дослідженні, передбачає ретельний аналіз існуючих програм і методів вирішення проблем із великими обсягами даних. Цей аналіз вплинув на розробку основних функцій програми, які потім були піддані ретельному тестуванню та оцінці. Було проведено дослідження користувачів для оцінки ефективності програм з машинним навчанням у порівнянні з програмами, які працюють без нього, а також проведено порівняння швидкості реалізацій розробки програм та обробки даних.
Результати дослідження показують, що такий підхід прискорив розробку програм, прискорив обробку даних, зробив їх більш якісними та точними. У дослідженні зроблено висновок, що платформа має значний потенціал для покращення продуктивності великих компаній і що зі збільшенням кількості даних і технологій без використання цього розробка програм із подібною логікою буде абсолютно неефективною.
- Katharina Morik and Peter Marwedel. (2023).Machine Learning under Resource Constraints – Funda- mentals. [Online]. Volume 1. Available: https://www.degruyter.com/document/doi/10.1515/9783110785944/html
- Katharina Morik and Wolfgang Rhode. (2023).Machine Learning under Resource Constraints - Discovery in Physics. [Online]. Volume 2. Available: https://www.degruyter.com/document/doi/10.1515/9783110785968/
- Katharina Morik, Jörg Rahnenführer and Christian Wietfeld, (2023).Machine Learning under Resource Constraints – Applications. [Online]. Volume 3. Avaliable: https://www.degruyter.com/document/doi/10.1515/9783110785982/
- Ralph Kimball. (2008, January 10). The Data Warehouse Toolkit: The Definitive Guide to Dimensional Modeling. [Online]. Available: https://dl.acm.org/doi/10.5555/2543973
- Andrii Kirk (2016). Data Visualisation: A Handbook for Data Driven Design. [Online]. Available: https://dl.acm.org/doi/book/10.5555/3002857
- Lowrence A. Rowe and Michael Stonebraker. (2018). The implementation of PostgreSQL. [Online]. Avail- able: https://dl.acm.org/doi/10.1145/3226595.3226639
- T. Bray, Ed., (2017, December). The JavaScript Object Notation (JSON) Data Interchange Format. [Online]. Available: https://doi.org/10.17487/RFC8259