розподілені обчислення

The paper presents the implementation of an Apache Spark distributed computing cluster based on Raspberry Pi microcomputers. The solution consists of three Raspberry Pi 4 devices (one master node and two worker nodes), each equipped with 8 GB of RAM and a high-speed network connection. The cluster configuration was optimized by adjusting the SPARK_WORKER_MEMORY and SPARK_WORKER_CORES parameters to maximize the use of available hardware resources. Secure communication between nodes was established through authentication using 4096-bit SSH keys.

У роботі представлені підходи до створення автоматизованої інтернет-доступної лабораторії напівпровідників, зокрема керуючого програмного комплексу, що забезпечує інтернет-доступність лабораторії. Описано функціонал і структуру програмно-апаратного комплексу, розробленого з урахуванням відомих рішень, а також варіанти його реалізації з використанням інтернету, хмарних і граничних обчислень. Розглянуто варіанти локальної реалізації з підвищеною стійкістю до форс-мажорних факторів і кіберзагроз.

Розглянуто інформаційні технології оптимізації структур технічних систем за числових в’язанок як зручних математичних моделей з нееквідистантною структурою на прикладі розробки моделей баркероподібних та псевдовипадкових послідовностей, розробки оптимальних схем відновлення для розподілених обчислень, розробки ефективних фільтрів зображень, розробки моделей розташування датчиків сенсорної мережі.

Розглядається проблема пошуку оптимальних комбінаторних структур на прикладі дерев Ліча. Узагальнено критерії оптимальності для таких дерев. Запропоновано застосувати для пошуку систему розподілених обчислень на основі методу повного перебору. Наведено можливі варіанти алгоритмів пошуку, вказано їхні переваги та недоліки.

Розглянуто оптимальні схеми відновлення для розподілених обчислень на основі ідеальних кільцевих в’язанок. Розроблено методику синтезу схем відновлення на основі теорії числових в’язанок, що дає можливість у випадку несправності одного чи більше комп’ютерів рівномірно перерозподіляти навантаження на інші робочі комп’ютери.

В роботі проаналізовано основні особливості оброблення великих обсягів даних в промислових smart grid системах. Визначено переваги розподілених обчислень для ефективнішого аналізу інформації. Досліджено рекомендаційні алгоритми, що дозволяють обробляти великі дані швидше та точніше. Запропоновано метод розподіленої матричної факторизації для надання рекомендацій користувачам smart grid систем, що передбачає обмін публічними даними між пристроями, обробляючи приватні локально.

Розглянуто проблеми функціонування систем забезпечення якості у мережах п’ятого покоління. Розроблено метод контролю якості передавання відеопотоків у мережах п’ятого покоління на основі технології Smart Grid, який враховує вимоги до якості передавання відео у телекомунікаційному середовищі та використовує досяг- нення у процесі контролю якості передавання цифрового телебачення.