дані великих обсягів

У контексті критичних викликів, пов’язаних із глобальним потеплінням і необхідністю зниження вуглецевого відбитку, сектор електромобілів переживає значне зростання. Цей прогрес неминуче приводить до потреби в розширенні та модернізації інфраструктури зарядних станцій. У цій статті детально проаналізовано, як технології опрацювання великих даних можуть сприяти оптимізації використання цієї інфраструктури, ефективності зарядних станцій та розробленню персоналізованих сервісів для користувачів електромобілів.

Здійснено аналітичний огляд розвитку концепту Data Lakes та його застосування у різних галузях як частини рішень концепту Big data. Розглянуто наявні стандартні архітектурні рішення для організації Data Lake. Також взято до уваги спеціалізовані напрями, що потребують відмінних чи додаткових аспектів для вирішення поставлених завдань, залежно від галузі використання Data Lake. Для правильної організації Data Lake застосовують різноманітні засоби опрацювання даних, зокрема розподілені системи зберігання даних, семантичні мережі та особливо метадані.

Проаналізовано сучасні підходи до опрацювання даних, які генеруються та збираються у “розумних” містах. Технології опрацювання “великих даних” відкривають можливості для покращення життя міста та підвищення ефективності функціонування його різних галузей. Створення розумних міст, де технології поліпшують якість життя та підвищують ефективність роботи служб, є важливим напрямом використання великих даних. Зазначено, що використання інформатизації не може стосуватися тільки місць з великою щільністю населення.

Досліджено особливості та перспективи розвитку світового ринку Big Data до та під час війни. Ідентифіковано джерела витоку даних на ринку Big Data, виявлено вплив міжнародних інституцій на протидію кібератакам в умовах збурень. Сформовано напрями адаптації українського кіберпростору до функціонування в умовах війни, розроблено рекомендації щодо напрямів імплементації технологій Big Data після війни для забезпечення економічного зростання на прикладі воєнно-промислового комплексу.

В роботі проаналізовано основні особливості оброблення великих обсягів даних в промислових smart grid системах. Визначено переваги розподілених обчислень для ефективнішого аналізу інформації. Досліджено рекомендаційні алгоритми, що дозволяють обробляти великі дані швидше та точніше. Запропоновано метод розподіленої матричної факторизації для надання рекомендацій користувачам smart grid систем, що передбачає обмін публічними даними між пристроями, обробляючи приватні локально.

Прогнозуюче технічне обслуговування – це програма догляду за обладнанням, яка широко застосовується на практиці, та потребує значної підтримки автоматизованих комп’ютерних систем. У програмі використовуються специфічні підходи, які повинні бути ґрунтовно інтерпретовані при розробці комп’ютерних рішень. Незважаючи на той факт, що програмні рішення були представленні майже відразу після виникнення концепції прогнозованого технічного обслуговування, ця сфера все ще заоишається актуальною для застосування автоматизованих комп’ютерних систем.

An overview of the basic principles and approaches for extracting information and processing information from web pages has been conducted. A methodology for developing a client-server system based on a tool for automation of work in Selenium web browsers based on the analyzed information about data parsing has been created. A third-party API as a user interface to simplify and speed up system development has been used. User access without downloading additional software has been enabled. Data from web pages have been received and processed.

An overview of intelligent data processing methods in the systems of the Industrial Internet of Things is presented in this paper. A comparison of Big Data analysis methods in industrial systems with a significant load is provided. The methods of distributed machine learning for data processing are offered. A software model for data analysis of different volumes is developed in the work. The analysis of the basic approaches to the organization of machine learning is carried out: federal and undistributed.

Over the past few years, interest in applications related to recommendation systems has increased significantly. Many modern services create recommendation systems that, based on user profile information and his behavior. This services determine which objects or products may be interesting to users. Recommendation systems are a modern tool for understanding customer needs. The main methods of constructing recommendation systems are the content-based filtering method and the collaborative filtering method.