Q-Learning

Проаналізовано сучасні підходи до побудови інтелектуальних транспортних систем (ІТС) з метою оптимізації міського трафіку. Особливу увагу приділено алгоритмам безмодельного навчання з підкріпленням (Q-Learning і Deep Q-Learning), що застосовуються для керування сигналами світлофорів у динамічних умовах дорожнього руху. За результатами симуляцій у середовищі SUMO доведено, що впровадження таких алгоритмів забезпечує суттєве зменшення черг на перехрестях і підвищує пропускну здатність транспортної мережі.

Розроблена модель матричної стохастичної гри для прийняття рішень в умовах невизначеності. Запропоновано метод Q-навчання для розв’язування стохастичної гри з апріорі невідомими матрицями виграшів. Виконано формулювання ігрової задачі, описано марківський рекурентний метод та алгоритм для її розв’язування. Отримано та проаналізовано результати комп’ютерного моделювання стохастичної гри з Q-навчанням.