В статті розглянуто задачу покращення якості зображень засобами нейронних мереж при різних типах спотворень кількох рівнів – погіршення контрасту, додавання шумів різного характеру, компресія зображень тощо. В якості бази зображень для навчання нейронних мереж була використана поширена база TID2013, яка містить як оригінальні зображення, так і змінені за допомогою різних типів спотворень (25 базових зображень, 24 типи спотворень та 5 їх рівнів). Ця база була розділена на навчальні (480 зображень), перевірні (валідаційні, 360) та тестові (120) зображення. Для покращення були вибрані зображення з найбільшим рівнем спотворень 5. Для дослідження задачі покращення якості зображень були використані модифікація нейронної мережі MIRNet та нейронна мережа на основі лише згорткових шарів. Наведені особливості побудови та параметри нейронних мереж, структура згорткової нейронної мережі, графіки втрат та точності в процесі навчання, часові параметри навчання. Модифікація мережі MIRNet полягала у налаштуванні процедури формування навчальних та валідаційних зображень на основі бази TID2013, зміні деяких параметрів нейронної мережі. Кількість шарів модифікованої нейронної мережі дорівнює 1339 (включаючи вхідний шар, шари Concatenate, Pooling2D, Reshape тощо). Основними шарами є згорткові шари Conv2D. Як міра втрат при навчанні нейронної мережі використовувалася середньквадратична похибка, а як міра точності використовувалися пікове співвідношення сигнал/шум, а також середня абсолютна похибка. В нейронній мережі на основі згорткових шарів використовувалися 7 згорткових шарів з кількістю каналів 128 та 256 (крім останнього згорткового шару з 3 каналами для отримання результуючого покращеного зображення). Середня абсолютна похибка для навчальної вибірки становила 0.0491, а для валідаційної 0.0527. Використовувалися згорткові шари з однаковою кількістю каналів в кожному. При цьому не спостерігався ефект перенавчання. При використанні нерегулярної структури згорткових шарів (наприклад, з 32 та 128 каналами) спостерігалося явище перенавчання. При проведенні комп’ютерних експериментів навчання нейронних мереж використовувався графічний відеоадаптер NVIDIA GeForce RTX 4080.
[1] Kaur, A., and Gagandeep (2018), “A Review on Image Enhancement with Deep Learning Approach”, ACCENTS Transactions on Image Processing and Computer Vision, vol. 4 (11), pp. 16-20, doi: 10.19101/TIPCV.2018.411002
[2] Vu, T., Nguyen, C. V., Pham, T. X., Luu, T. M., and Yoo, C. D. (2019), “Fast and Efficient Image Quality Enhancement via Desubpixel Convolutional Neural Networks”, LNCS, Springer, Cham, vol. 11133, pp. 243-259, doi: 10.1007/978-3-030-11021-5_16
[3] Chen, X. (2019), “Image Enhancement Effect on the Performance of Convolutional Neural Networks”, Thesis for the degree of Master of Science in Computer Science, Blekinge Institute of Technology, Sweden, 40 pp. Available: https://www.diva-portal.org/smash/get/diva2:1341096/FULLTEXT02.pdf (accessed 08.05.2025)
[4] Kinoshita, Y., and Kiya, H. (2019), “Convolutional Neural Networks Considering Local and Global Features for Image Enhancement”. Available: https://arxiv.org/pdf/1905.02899, 5 pp. (accessed 08.05.2025), doi: 10.48550/arXiv.1905.02899
[5] https://keras.io/ (accessed 08.05.2025)
[6] Convolutional Autoencoder for Image Denoising. Available: https://keras.io/examples/vision/autoencoder/ (accessed 08.05.2025)
[7] Image Super-Resolution Using an Efficient Sub-Pixel CNN. Available: https://keras.io/examples/vision/super_resolution_sub_pixel/ (accessed 08.05.2025)
[8] Low-Light Image Enhancement Using MIRNet. Available: https://keras.io/examples/vision/mirnet/ (accessed 08.05.2025)
[9] Enhanced Deep Residual Networks for Single-image Super-Resolution. Available: https://keras.io/examples/vision/edsr/ (accessed 08.05.2025)
[10] Zero-DCE for Low-Light Image Enhancement. Available: https://keras.io/examples/vision/zero_dce/ (accessed 08.05.2025)
[11] Shi, W., Caballero, J., Huszar, F., Totz, J., Aitken, A. P., Bishop, R., Rueckert, D., and Wang, Z. (2016), “Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network”. Available: https://arxiv.org/pdf/1609.05158, 10 pp. (accessed 08.05.2025), doi: 10.48550/arXiv.1609.05158
[12] Zamir, S. W., Arora, A., Khan, S., Hayat, M., Khan, F. S., Yang, M.-H., and Shao, L. (2020), “Learning Enriched Features for Real Image Restoration and Enhancement”, Available: https://arxiv.org/pdf/2003.06792, 20 pp. (accessed 08.05.2025), doi: 10.48550/arXiv.2003.06792
[13] Lim, B., Son, S., Kim, H., Nah, S., and Lee, K. M. (2017), “Enhanced Deep Residual Networks for Single Image Super-Resolution”, Available: https://arxiv.org/pdf/1707.02921, 9 pp. (accessed 08.05.2025), doi: 10.48550/arXiv.1707.02921
[14] Guo, C., Li, C., Guo, J., Loy, C. C., Hou, J., Kwong, S., and Cong, R. (2020), “Zero-Reference Deep Curve Estimation for Low-Light Image Enhancement”, Available: https://arxiv.org/pdf/2001.06826, 10 pp. (accessed 08.05.2025), doi: 10.48550/arXiv.2001.06826
[15] Ponomarenko, N., Jin, L., Ieremeiev, O., Lukin, V., Egiazarian, K., Astola, J., Vozel, B., Chehdi, K., Carli, M., Battisti, F., and Kuo, C.-C. J. (2015), “Image database TID2013: Peculiarities, results and perspectives”, Signal Processing: Image Communication, vol. 30, January, pp. 57-77, doi: 10.1016/j.image.2014.10.009
[16] Ponomarenko, N., Ieremeiev, O., Lukin, V., Jin, L., Egiazarian, K., Astola, J., Vozel, B., Chehdi, K., Carli, M., Battisti, F., and Kuo, C.-C. J. (2013), “A new color image database TID2013: Innovations and results”, Proceedings of ACIVS, Poznan, Poland, Oct., pp. 402-413, doi: 10.1007/978-3-319-02895-8_36
[17] Chollet, F. Deep Learning with Python, 2nd ed., Manning Publications Co., 2021, 478 pp.