дані великих обсягів

Здійснено аналітичний огляд розвитку концепту Data Lakes та його застосування у різних галузях як частини рішень концепту Big data. Розглянуто наявні стандартні архітектурні рішення для організації Data Lake. Також взято до уваги спеціалізовані напрями, що потребують відмінних чи додаткових аспектів для вирішення поставлених завдань, залежно від галузі використання Data Lake. Для правильної організації Data Lake застосовують різноманітні засоби опрацювання даних, зокрема розподілені системи зберігання даних, семантичні мережі та особливо метадані.

Проаналізовано сучасні підходи до опрацювання даних, які генеруються та збираються у “розумних” містах. Технології опрацювання “великих даних” відкривають можливості для покращення життя міста та підвищення ефективності функціонування його різних галузей. Створення розумних міст, де технології поліпшують якість життя та підвищують ефективність роботи служб, є важливим напрямом використання великих даних. Зазначено, що використання інформатизації не може стосуватися тільки місць з великою щільністю населення.

Досліджено особливості та перспективи розвитку світового ринку Big Data до та під час війни. Ідентифіковано джерела витоку даних на ринку Big Data, виявлено вплив міжнародних інституцій на протидію кібератакам в умовах збурень. Сформовано напрями адаптації українського кіберпростору до функціонування в умовах війни, розроблено рекомендації щодо напрямів імплементації технологій Big Data після війни для забезпечення економічного зростання на прикладі воєнно-промислового комплексу.

В роботі проаналізовано основні особливості оброблення великих обсягів даних в промислових smart grid системах. Визначено переваги розподілених обчислень для ефективнішого аналізу інформації. Досліджено рекомендаційні алгоритми, що дозволяють обробляти великі дані швидше та точніше. Запропоновано метод розподіленої матричної факторизації для надання рекомендацій користувачам smart grid систем, що передбачає обмін публічними даними між пристроями, обробляючи приватні локально.

An overview of the basic principles and approaches for extracting information and processing information from web pages has been conducted. A methodology for developing a client-server system based on a tool for automation of work in Selenium web browsers based on the analyzed information about data parsing has been created. A third-party API as a user interface to simplify and speed up system development has been used. User access without downloading additional software has been enabled. Data from web pages have been received and processed.

Over the past few years, interest in applications related to recommendation systems has increased significantly. Many modern services create recommendation systems that, based on user profile information and his behavior. This services determine which objects or products may be interesting to users. Recommendation systems are a modern tool for understanding customer needs. The main methods of constructing recommendation systems are the content-based filtering method and the collaborative filtering method.

У наш час все актуальнішими для успішності підприємств стають маркетингові дослідження. Проведення маркетингових досліджень знижує ризик прийняття неправильних рішень під час аналізу та розроблення маркетингових стратегій, планування і контролю маркетингової діяльності.

It is necessary to determine the optimal methodology for the system of predictive analysis of equipment to prevent emergency situations. The system may include, in particular: data input/reading from sensors, processing/storage of information in a database using algorithms for processing Big Data and decision trees [1]. Identifying possible types of problems and making decisions on how to respond to them; training the system for more accurate response and decision-making.