Створення та оптимізація легких генеративних змагальних нейромереж для покращення якості відео На клієнтських пристроях з використанням WebGPU

2025;
: cc. 186 - 194
1
Національний університет «Львівська політехніка», Україна
2
Національний університет «Львівська політехніка», Україна, Комп'ютерна Академія IT STEP, Україна

Розглянуто проблеми для задач покращення якості цифрових відеозображень для хмарних середовищ, а також на клієнтській стороні за допомогою генеративно-змагальних нейромереж (GAN), адаптованих для роботи у браузері. Запропоновано метод, що використовує WebGPU для прискореного виконання згорткових обчислень, що дає змогу збільшувати роздільну здатність та покращувати якість низькоякісного відео в реальному часі без значного навантаження на сервери. Для оптимізації нейромережі додатково було використано методи Pruning та Knowledge Distillation, що дало змогу зменшити розмір моделі на 40–60% без значної втрати якості.
Результати експерементів показали, що реалізація запропонованого методу підвищує продуктивність обробки відео у браузері у 2–4 раза порівняно з іншими неоптимізованими моделями. Оцінка якості відео показала покращення PSNR та підвищення SSIM порівняно з традиційними методами збільшення роздільної здатності. Запропонований підхід може бути інтегрований у потокові сервіси та вебзастосунки, що дасть змогу знизити навантаження на комп’ютерні мережі та забезпечити кращий користувацький досвід з меншими витратами на хмарні та сервені обчислення.

  1. Madarasingha C., Muramudalige S., Jourjon G. VideoTrain++: GAN-based Adaptive Framework for Synthetic Video Traffic Generation. Computer Networks. 2022. DOI: 10.1016/j.comnet.2022.108785.
  2. Lee R., Venieris S. I., Lane N. D. Deep neural network–based enhancement for image and video streaming systems: A survey and future directions. ACM Computing Surveys. 2021. DOI: 10.1145/3469094.
  3. Liborio J. M., Melo C., Silva M. Internet Video Delivery Improved by Super-Resolution with GAN. MDPI Future Internet. 2022. DOI: 10.3390/fi14120364.
  4. Shi W., Li Q., Yu Q., Wang F., Shen G. A Survey on Intelligent Solutions for Increased Video Delivery Quality in Cloud-Edge-End Networks. IEEE Surveys & Tutorials. 2024. DOI: 10.1109/COMST.2024.3427360.
  5. WebGPU Working Group, “WebGPU Specification”, W3C Technical Report, 2023. URL: https://www.w3.org/TR/WGSL/.
  6. TensorFlow.js Team, “ TensorFlow.js: Machine Learning for the Web and Beyond “. Proceedings of Machine Learning and Systems, 2019. DOI: https://doi.org/10.48550/arXiv.1901.05350.
  7. He Z., Yang Y., Qiu L., Park K. Real-Time Neural Video Recovery and Enhancement on Mobile Devices. DOI: 10.48550/arXiv.2307.12152.
  8. Microsoft ONNX Team. URL: https://github.com/microsoft/onnxjs.
  9. Maksymiv M., Rak T. Method of Video Quality-Improving. Artificial Intelligence. 2023. 28(3):47-62. DOI: 10.15407/jai2023.03.047.
  10. Hinton G., Vinyals O., Dean J. Distilling the Knowledge in a Neural Network (arXiv preprint arXiv:1503.02531), 2015. DOI: 10.48550/arXiv.1503.02531.
  11. Mishra R., Gupta H. P. Designing and training of lightweight neural networks on edge devices using early halting in knowledge distillation. IEEE Transactions on Mobile Computing. 2023. DOI: 10.1109/TMC.2023.10187678.
  12. Zhang L., Bao C., Ma K. Self-distillation: Towards efficient and compact neural networks. IEEE Transactions on Pattern Analysis and Machine Intelligence. 2021. DOI: 10.1109/TPAMI.2021.9381661.
  13. Alam S. A., Anderson A., Barabasz B., Gregg D. Winograd Convolution for Deep Neural Networks: Efficient Point Selection. ACM Transactions on Embedded Computing Systems. 2022. DOI: 10.48550/ arXiv.2201.10369.