Мета статті – аналіз особливостей генеративних змагальних мереж. Об’єкт дослідження – процес алгоритмізації машинного навчання. Предмет дослідження – математичні методи, використовувані в генерації семантично пов’язаного тексту. У статті досліджено архітектуру та математичне обґрунтування такого виду генеративних моделей, як генеративні змагальні мережі. Генеративні змагальні мережі є потужним інструментом у галузі штучного інтелекту, який здатен створювати реалістичні дані, зокрема такі як фото, відео, звук тощо. Архітектура генеративних змагальних визначає її структуру, взаємодію компонентів та загальний опис процесу навчання. Математичне обґрунтування охоплює теоретичний аналіз принципів, алго- ритмів та функцій, що є основою цих мереж.
У статті розглянуто загальну архітектуру генеративних змагальних мереж, кожен її компонент (а саме дві основні моделі-мережі – генератор та дискримінатор, їх вхідні та вихідні вектори даних) та його роль у роботі алгоритму. Визначено також математичні засади генера- тивних змагальних мереж, із зосередженням на теорії ігор та оптимізаційних методах (зокрема особливу увагу звернено на задачі мінімаксу та максиміну, гру із нульовою сумою, сідлові точки, рівновагу Неша), що використовують в їх навчанні. Описано функцію витрат та її виведення за допомогою рівноваги Неша в грі з нульовою сумою для генеративних змагальних мереж, а також розглянуто алгоритм навчання із використанням методу стохастичного градієнтного спуску та міні-пакетного підходу у вигляді псевдокоду, його ітерації, візуалізовано перебіг процесу навчання цієї архітектури мережі.
Зрештою, обґрунтовано висновок, що генеративні змагальні мережі – це ефективний інструмент для створення реалістичних та правдоподібних зразків даних, що ґрунтується на використанні елементів теорії ігор. Завдяки високій якості згенерованих даних генеративні змагальні мережі можна використовувати у різних сферах, зокрема й таких, як кібербезпека, медицина, торгівля, наука, мистецтво тощо.
- Arjovsky, M., Chintala, S., & Bottou, L. (2017). Wasserstein generative adversarial networks. In International conference on machine learning (ICML). Proceedings of the 34th International Conference on Machine Learning, PMLR, 70: 214–223. DOI: https://doi.org/10.48550/arXiv.1701.07875
- Bengio, Y. (2009). Learning deep architectures for AI. Now Publishers. Foundations and Trends® in Machine Learning, 2: 1, 1–127. DOI: http://dx.doi.org/10.1561/2200000006
- Glorot, X., Bordes, A., and Bengio, Y. (2011). Deep sparse rectifier neural networks. In Proceedings of the Fourteenth International Conference on Artificial Intelligence and Statistics, PMLR, 15: 315–323.
- Goodfellow, I. et al. (2020). Generative adversarial networks Communications of the ACM, November, 63(11), 139–144. DOI: https://doi.org/10.1145/3422622
- Goodfellow, I. J. et al. (2013). Maxout networks. In ICML’2013 JMLR WCP, 28 (3): 1319–1327. DOI:.https://doi.org/10.48550/arXiv.1302.4389
- Goodfellow, I. J. et al. (2014) Generative Adversarial Nets. Proceedings of the 27th International Conference on Neural Information Processing Systems, 2, 2672–2680 URL: https://arxiv.org/pdf/1406.2661.pdf. DOI: https://doi.org/10.48550/arXiv.1406.2661
- Hinton, G. et al. (2012). Deep Neural Networks for Acoustic Modeling in Speech Recognition: The Shared Views of Four Research Groups, in IEEE Signal Processing Magazine, 29 (6), 82–97, Nov. 2012. DOI: 10.1109/MSP.2012.2205597
- Jarrett, K. et al. (2009). What is the best multi-stage architecture for object recognition? IEEE 12th International Conference on Computer Vision, Kyoto, Japan, 2146–2153. DOI: 10.1109/ICCV.2009.5459469.
- Knudson, K. C. et al. (2014). Advances in Neural Information Processing Systems 27, eds. Z. Ghahramani, M. Welling, C. Cortes, N. D. Lawrence, and K. Q. Weinberger, 1215–1223. URL: https://pillowlab.princeton.edu/pubs/Knudson_COMP_NIPS14.pdf
- Krizhevsky, A., Sutskever, I., and Hinton, G. (2012). ImageNet classification with deep convolutional neural networks. In Advances in Neural Information Processing Systems, 25 (NIPS 2012) Communications of the ACM, (6), 84–90. DOI: https://doi.org/10.1145/3065386
- Krizhevsky, A., Sutskever, I., and Hinton, G. (2012). ImageNet classification with deep convolutional neural networks. In Advances in Neural Information Processing Systems, 25 (NIPS 2012) Communications of the ACM, (6), 84–90. DOI: https://doi.org/10.1145/3065386
- Mirza, M., Osindero, S. (2014). Conditional generative adversarial Nets Computing Research Repository. URL: https://arxiv.org/abs/1411.1784
- Radford, A., Metz, L., & Chintala, S. (2015). Unsupervised representation learning with deep convolutional generative adversarial networks. arXiv preprint arXiv:1511.06434. International Conference on Learning Representations. DOI: https://doi.org/10.48550/arXiv.1511.06434
- Schmidhuber, J. (1991). Adaptive confidence and adaptive curiosity. Technical Report FKI-149-91, Inst.f. Informatik, Tech. Univ. Munich, April. URL: https://people.idsia.ch/~juergen/FKI-149-91ocr.pdf
- Schmidhuber, J. (1992). Learning Factorial Codes by Predictability Minimization. Neural Comput.; 4 (6): 863–879. DOI: https://doi.org/10.1162/neco.1992.4.6.863
- Shatri, E. A review on Generative Adversarial Networks. How did the GANs change the way machine learning works? URL: HTTPS://TOWARDSDATASCIENCE.COM/A-REVIEW-OF-GENERATIVE- ADVERSARIAL-NETWORKS-9AF21E94BDA4
- Springenberg, J. T. (2016). Unsupervised and Semi-supervised Learning with Categorical Generative Adversarial Networks. URL: https://arxiv.org/abs/1511.06390
- Zhu, J. Y. et al. (2017). Unpaired image-to-image translation using cycle-consistent adversarial networks. In Proceedings of the IEEE international conference on computer vision (ICCV). DOI: 10.1109/ICCV.2017.244.