ТЕХНОЛОГІЯ НАВЧАННЯ З ПІДКРІПЛЕННЯМ ІЗ МАСКОЮ ДІЙ ДЛЯ ПЛАНУВАННЯ ЗАМОВЛЕНЬ

Високопродуктивне й ефективне планування замовлень – поширена комбінаторна оптимізаційна задача, що виникає в різноманітних контекстах. Побудова моделі, здатної формувати збалансовані за якістю та обчислювальними витратами розклади, – істотний виклик через масштабний простір допустимих дій. У роботі запропоновано високопродуктивне середовище та модель навчання з підкріпленням для розподілу замовлень на ресурси із маскуванням недопустимих дій. Розроблене рішення на основі навчання з підкріпленням долає обмеження традиційних евристичних та точних підходів стосовно швидкості розрахунків та ефективності. Дослідження передбачало проєктування сумісного із інтерфейсом Gymnasium середовища, аналіз продуктивності середовища, розроблення оптимізованих процедур оновлення стану та формування ознак, оцінювання якості навчання моделей PPO та MaskablePPO. Для середовища реалізовано інкрементне оновлення ознак стану та маски дій із широким застосування векторизації NumPy, що дало змогу істотно зменшити обчислювальні витрати на підтримання актуального стану та підвищило сумісність із політиками глибинного навчання. Маскування недопустимих дій замінило політику штрафів, обмежуючи множину вибору моделі лише коректними, чим підвищило точність моделі, зосередившись на виборі оптимальніших та коректніших дій. Сформовано набори даних розміром до 500 замовлень, на яких здійснено навчання PPO та MaskablePPO моделей, наданих пакетом Stable-Baselines3. Виконано 100 000 ітерацій для навчання кожної моделі. Моніторинг процесу навчання забезпечено за допомогою засобів TensorBoard. Час навчання версії з маскуванням становив 1,49 хв, модель без маски витратила на навчання 1,2 хв. Для Masked PPO середній штраф на кроці становив 2,41, тоді як для PPO – 325 000. Результати експериментів свідчать про те, що звичайна PPO часто вибирала недопустимі дії, накопичуючи штрафи за них, тоді як MaskedPPO накопичила штраф лише за довжину складеного розкладу. Завдяки цьому на тестовому наборі даних MaskedPPO здійснила розподіл замовлень за 0,18 с, отримавши розклад тривалістю 4 590 хв, а звичайна PPO за 5,4 с – розклад тривалістю 5 127 хв, здійснивши 96 % помилкових спроб дій. Встановлено, що маскування недопустимих дій покращило якість моделі, забезпечивши вищу збіжність попри довший час навчання. Продемонстровано значний потенціал підходу навчання із підкріпленням у плануванні та розподілі замовлень і оптимізаційних комбінаторних задач загалом. Запропонована модель Masked PPO забезпечила розподіл замовлень швидше за традиційний точний метод CP-SAT, зберігши якість отриманого розкладу, вищу за евристику SPT на задачах із 50–500 замовленнями. Закладено основу для подальших досліджень, розроблення складніших моделей на основі Set Transformers, Graph Neural Networks, Pointer Networks, які забезпечують ефективне узагальнення, можливість застосування моделі на задачах із більшою розмірністю вхідних векторів, ніж під час навчання.