навчання з підкріпленням

Розглянуто проблему організації процесів збору даних в автономних розподілених системах, зокрема в автономних мобільних кіберфізичних системах та автономних розподілених системах моніторингу навколишнього середовища. Запропоновано модель децентралізованого управління адаптивними процесами збору даних на основі принципу рівноваги. За допомогою цієї моделі досліджено задачу узгодження спільних колективних дій адаптивних процесів збору даних з точки зору пошуку ефективної схеми їх взаємодоповнення за умов відсутності центру управління.

За результатами аналізу літературних джерел встановлено. що одними з основних вузлів кіберфізичних систем є вимірювально—керувальні вузли. Одним із завдань, розв’язання яких покладено на такі вузли, є наведення засобів спостереження за рухомими об’єктами. Запропоновано алгоритм наведення, який полягає в оперативному опрацюванні результатів спостережень, передбаченні найімовірнішого напрямку руху та формуванні команд для максимального наближення зображення рухомого об’єкта до центра інформаційного кадру. Розроблений алгоритм базується на алгоритмі навчання з підкріпленням DDPG.

​Розроблено метод структурної адаптації процесів збирання даних на основі навчання з підкріпленням блоку прийняття рішень щодо вибору дій на структурному та підпорядкованому йому функціональному рівні, який забезпечує ефективніший розподіл вимірювальних та обчислювальних ресурсів, вищу надійність та живучість підсистем збирання інформації авто- номної розподіленої системи порівняно з методами параметричної адаптації.

In this article, a fuzzy controller tuned by reinforcement learning is proposed.  The developed algorithm utilizes a fuzzy logic theory and a reinforcement learning for fine-tuning parameters of the membership function for the fuzzy controller.  Apart from the fuzzy controller developed, a fuzzy corrector of reference input (set-point) signal to the controller is applied.  The fuzzy corrector changes the input (reference) signal of the system and takes into account an original reference input and type of external disturbances.

The model of decentralized control of adaptive data collection processes has been developed based on the equilibrium concept, which is used to study the problem of coordinating joint collective actions from the point of view of finding an effective scheme for complementing the individual actions of data collection processes in the absence of a control center.