Сучасна інфраструктура інформаційно-комунікаційних систем, зокрема мережі доставки контенту (CDN), протребує постійного налаштування низькорівневих параметрів для забезпечення високої продуктивності в умовах динамічного навантаження та нестабільного мережевого середовища. У цій статті досліджується застосування та порівнянна контрольованих експериментів різного типу для оптимізації вибору вузлів CDN. Метою оптимізації є зменшення середньої затримки, що вважається одним із базових показників ефективності мережевої інфраструктури. На основі попердніх робіт з A/B тестування та MAB-алгоритмів запропоновано новий алгоритм Change-Detection Upper Confidence Bound (CD-UCB), який поєднує класичне правило вибору руки в MAB із алгоритмом виявлення змін (CUSUM). Завдяки цьому CD-UCB алгоритм дозволяє швидше адаптуватися до нестацонарних умов. Для оцінювання алгоримтів було проведено симуляцію вибору вузла CDN, з декількома серверами, що відрізнялися розподілом затримок. Порівняно 4 підходи: просте A/B тестування, послідовне A/B тестування та MAB алгоритм з класичним UCB та запропонований CD-UCB. Кожен метод оцінювався за сукупним програшем, ковзним середнім затримки та відсотком запитів, спрямованих на оптимальний вузол. У стаціонарних умовах усі методи зрештою знаходять найкращу конфігурацію, проте MAB алгоритми досягають цього швидше та з меншим впливом на затримку. У випадку різких змін середовища A/B тести, як звичайні так і послідовні не здатні адаптуватися і тому є не ефективними. Стандартний UCB пристосовується, але не достатньо швидко для поставленої задачі, тоді як CD-UCB оперетивно виявляє зміни та забезпечує використання конфігурації близкьої до оптимальної, що в свою чергу забезпечує найнижчий сукупний програш і відповідно оптимальну середню затримку для користувацьких запитів. Отримані результати доводять, що адаптивні MAB-алогоритми з механізмами виявлення змін значно краще підходять для оптимізації та тестування конфігурації динамічної інфраструктури, ніж статичні метод A/B тестування. На основі дослдіджень окреслено перспективні напрямки подальших досліджень: оптимізація декількох параметрів мережі (наприклад затримки і пропускної здатності), MAB алгоритми з конекстом та ипробовування алгоритму на реальних системах.
[1] Kohavi, R., Longbotham, R., Sommerfield, D. and Henne, R.M., 2009. Controlled experiments on the web: Survey and practical guide, Available at: https://www.researchgate.net/publication/220451900_Controlled_experiment... (Accessed: 14 February 2025),. doi: http://dx.doi.org/10.1007/s10618-008-0114-1.
[2] Kohavi, R. and Thomke, S., 2017. The surprising power of online experiments. Harvard Business Review, Available at: https://hbr.org/2017/09/the-surprising-power-of-online-experiments (Accessed: 14 February 2025)
[3] Lattimore, T., Szepesvári, C., 2020. Bandit Algorithms. Cambridge University Press, pp. 56-67, available at: https://tor-lattimore.com/downloads/book/book.pdf (Accessed 10 February 2025)
[4] Kuleshov V., Precup D., 2014. Algorithms for the multi-armed bandit problem, available at: https://arxiv.org/pdf/1402.6028 (Accessed 10 February 2025) doi: https://doi.org/10.48550/arXiv.1402.6028
[5] Bouneffouf D., Rish I., 2019, A Survey on Practical Applications of Multi-Armed and Contextual Bandits, available at: https://arxiv.org/abs/1904.10040 (Accessed 14 February 2025), doi: https://doi.org/10.48550/arXiv.1904.10040
[6] Burtini G., Loeppky J., Lawrence R., 2015, A Survey of Online Experiment Design with the Stochastic Multi-Armed Bandit, available at: https://arxiv.org/abs/1510.00757 (Accessed 14 February 2025), doi: https://doi.org/10.48550/arXiv.1510.00757
[7] Kathiriya S., Kumar S., Mullapudi M., Data-Driven Design Optimization: A/B Testing in Large -Scale Applications, 2022, International Journal of Science and Research (IJSR), available at https://www.ijsr.net/archive/v11i6/SR24212165200.pdf (Accessed 10 February 2025), doi: http://dx.doi.org/10.21275/SR24212165200
[8] Quin F., Weyns D.,Matthias Galster M., Silva C., 2023,A/B Testing: A Systematic Literature Review, available at https://arxiv.org/abs/2308.04929 (Accessed 10 February 2025), doi: https://doi.org/10.48550/arXiv.2308.04929
[9] Bajpai V., Fabijan A., Extensible Experimentation Platform: Effective A/B Test Analysis at Scale, 2025, available at https://www.researchgate.net/publication/388630852_Extensible_Experimentation_Platform_Effective_AB_Test_Analysis_at_Scale (Accessed: 14 February 2025), doi: http://dx.doi.org/10.13140/RG.2.2.18138.86722
[10] Wang J., Zuckerman S., Lorenzo-Del-Castillo J.,Evaluation of Multi-Armed Bandit algorithms for efficient resource allocation in Edge platforms, 2024, IECCONT workshop, available at https://hal.science/hal-04809306v1/file/MAB_IoT_Europar_2024.pdf, (Accessed 10 February 2025)
[11] Bonnefoi R., Lilian Besson L., Moy C., Kaufmann E., Palicot J., 2018, Multi-Armed Bandit Learning in IoT Networks, Available at: https://arxiv.org/abs/1807.00491 (Accessed: 14 February 2025), doi: https://doi.org/10.48550/arXiv.1807.00491
[12] Lai, C.-H., Shen, L.-H. and Feng, K.-T. (2023) Intelligent Load Balancing and Resource Allocation in O-RAN: A Multi-Agent Multi-Armed Bandit Approach. arXiv preprint arXiv:2303.14355. Available at: https://arxiv.org/abs/2303.14355 (Accessed: 14 February 2025), doi: https://doi.org/10.48550/arXiv.2303.14355
[13] Russo, G., Cardellini, V. and Lo Presti, F. (2024) ‘Towards a Multi-Armed Bandit Approach for Adaptive Load Balancing in Function-as-a-Service.’ 2024 International Conference on Autonomic Computing and Self-Organizing Systems (ACSOS) Workshops. Available at: https://2024.acsos.org/details/acsos-2024-workshops/3/Towards-a-Multi-Ar... (Accessed: Accessed 10 February 2025).
[14] Georgiev G., Statistical Methods in Online A/B Testing, 2019
[15] Bubeck S., Nicolò Cesa-Bianchi N., 2012, Regret Analysis of Stochastic and Nonstochastic Multi-armed Bandit Problems, available at: https://arxiv.org/abs/1204.5721 (Accessed 10 February 2025), doi: https://doi.org/10.48550/arXiv.1204.5721
[16] Guha, S., Munagala K., Stochastic Regret Minimization via Thompson Sampling, 2014, Journal of Machine Learning Research, available at: https://www.researchgate.net/publication/289549801_Stochastic_regret_min... (Accessed 10 February 2025),
[17] Han Q., Khamaru K., Zhang C., 2024, UCB algorithms for multi-armed bandits: Precise regret and adaptive inference, available at: https://arxiv.org/abs/2412.06126 (Accessed 10 February 2025), doi: https://doi.org/10.48550/arXiv.2412.06126
[18] Lai C., Shen L., Feng K., 2023, Intelligent Load Balancing and Resource Allocation in O-RAN: A Multi-Agent Multi-Armed Bandit Approach, available at: https://arxiv.org/abs/2303.14355 (Accessed 10 February 2025), doi: https://doi.org/10.48550/arXiv.2303.14355
[19] Tache M., Păscuțoiu O., Borcoci E., Optimization Algorithms in SDN: Routing, Load Balancing, and Delay Optimization, 2024, available at: https://www.mdpi.com/2076-3417/14/14/5967 (Accessed 10 February 2025), doi: https://doi.org/10.3390/app14145967
[20] Santana P., Moura J., 2023, A Bayesian Multi-Armed Bandit Algorithm for Dynamic End-to-End Routing in SDN-Based Networks with Piecewise-Stationary Rewards, available at: https://www.mdpi.com/1999-4893/16/5/233 (Accessed 10 February 2025), doi: https://doi.org/10.3390/a16050233
[21] Benamor A.,Habachi O., Kammoun I., Cances. J.,Multi-Armed Bandit Framework for Resource Allocation in Uplink NOMA Networks, 2023, IEEE Conference on Wireless Communications and Networking, available at https://ieeexplore.ieee.org/document/10118826 (Accessed 10 February 2025)
[22] Gao Q., Xie Z., Multi-Armed Bandit-Based User Network Node Selection, 2024, MDPI Sensors, available at https://www.mdpi.com/1424-8220/24/13/4104, (Accessed 10 February 2025)
[23] Duplyakin D., Ricci R., Maricq A., Wong G., Duerig J., Eide E., Stoller L., Hibler M., Johnson D., Webb K., Akella A., Wang K., Ricart G., Landweber L., Elliott C., Zink M., Cecchet E., Kar S., Mishra P., The Design and Operation of CloudLab, 2019, available at https://www.usenix.org/system/files/atc19-duplyakin_0.pdf (Accessed: 18 May 2025), doi: https://doi.org/10.5555/3358807.3358809
[24] Drugan M.M., Nowé A., Designing Multi-Objective Multi-Armed Bandits Algorithms: A Study, 2013, available at https://ieeexplore.ieee.org/document/6707036 (Accessed: 18 May 2025), doi: https://doi.org/10.1109/IJCNN.2013.6707036
[25] Li Z., Ai Q., Managing Considerable Distributed Resources for Demand Response: A Resource Selection Strategy Based on Contextual Bandit, 2023, available at https://www.mdpi.com/2079-9292/12/13/2783 (Accessed: 18 May 2025), doi: https://doi.org/10.3390/electronics12132783