В роботі розглядаються методи оптимізації навчальних вибірок для алгоритмів глибокого навчання із застосуванням випадкових точкових процесів, таких як Матерна першого і другого типу, Гіббсівський, Гауссівський та Пуассонівський процеси. Запропоновано підхід до скорочення навчальних даних без втрати їхньої інформативності, що дозволяє зменшити обчислювальні витрати та проблеми із перенавчання. Запропоновано новий підхід представлення зображень у вигляді випадкового точкового процесу, який дозволяє перейти від піксельного вигляду зображення до моделі, яка підходить для аналізу методами випадкових точкових процесів. Такий перехід до компактнішої емпіричної форми полегшує подальший аналіз та моделювання. Завдяки цьому стає можливим використовувати інструменти статистики, для опису закономірностей, прихованих у зображеннях. Показано ефективність випадкових точковиx процесів для формування простору ознак, аналізу покриття та структурованості навчальної вибірки. Розглянуто вплив різних типів точкових процесів на збалансованість даних та їх здатність зменшувати надмірність у вибірці. Окрему увагу приділено питанню репрезентативності даних, так як вона визначає стійкість і узагальнювальну здатність моделей глибокого навчання. Наведено алгоритми перетворення зображень у точкові процеси та їх використання для балансування класів, розрідження даних та покращення репрезентативності вибірки. Показано результати оцінювання ймовірності правильної класифікації на прикладі моделей ResNet, які демонструють переваги застосування точкових процесів порівняно із випадковим прорідженням даних. Робота показує ефективність точкових процесів для оптимізації великих навчальних наборів та підвищення точності глибокого навчання. Отримані результати підтверджують, що застосування таких методів може стати ключовим для створення більш ефективних моделей нейронних мереж. Результати показують перспективи для подальших досліджень у напрямку адаптивної оптимізації навчальних вибірок, де випадкові точкові процеси можуть стати основою для нових методів підготовки.
[1] Alzubaidi, L., Zhang, J., Humaidi, A., Al-Dujaili, A., Duan, Y., Al-Shamma, O., Santamaría, J., Fadhel, M. & Al-Amidie, M., (2021). Review of deep learning: concepts, CNN architectures, challenges, applications, future directions. Journal of Big Data, 53. doi:10.1186/s40537-021-00444-8
[2] Pichler, M. & Hartig, F., (2023). Machine learning and deep learning—A review for ecologists. Methods in Ecology and Evolution. doi:10.1111/2041-210X.14061
[3] Awais, M., Chiari, L., Ihlen, E., Helbostad, J. & Palmerini, L., (2021). Classical Machine Learning versus Deep Learning for the Older Adults Free-Living Activity Classification. Sensors, 21. doi:10.3390/s21144669
[4] Snell, J., Swersky, K. & Zemel, R., (2017). Prototypical Networks for Few-shot Learning. Advances in Neural Information Processing Systems (NeurIPS).
[5] Mensink, T., Verbeek, J., Perronnin, F. & Csurka, G., (2013). Distance-Based Image Classification: Generalizing to New Classes at Near-Zero Cost. IEEE Transactions on Pattern Analysis and Machine Intelligence.
[6] Hart, P.E., (1968). The Condensed Nearest Neighbor Rule. IEEE Transactions on Information Theory, 14(3), pp.515–516.
[7] Wilson, D.L., (1972). Asymptotic Properties of Nearest Neighbor Rules Using Edited Data. IEEE Transactions on Systems, Man, and Cybernetics, 2(3), pp.408–421.
[8] Angelova, A., Zhu, S. & Yan, S., (2005). Pruning Training Sets for Learning of Object Categories. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR).
[9] Settles, B., (2009). Active Learning Literature Survey. University of Wisconsin-Madison.
[10] Sener, O. & Savarese, S., (2018). Active Learning for Convolutional Neural Networks: A Core-Set Approach. International Conference on Learning Representations (ICLR).
[11] Bachem, O., Lucic, M. & Krause, A., (2017). Practical Coreset Constructions for Machine Learning. arXiv preprint.
[12] Mirzasoleiman, B., Bilmes, J. & Leskovec, J., (2020). Coresets for Data-efficient Training of Machine Learning Models. arXiv preprint.
[13] Hinton, G.E. & Salakhutdinov, R.R., (2006). Reducing the Dimensionality of Data with Neural Networks. Science, 313(5786), pp.504–507. doi:10.1126/science.1127647
[14] Qi, C.R., Su, H., Mo, K. & Guibas, L.J., (2017). PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation. CVPR.
[15] Huang, S., Zhang, Y., Deng, J. & Yu, K., (2020). Deep Prototype Learning for Classification. In: International Conference on Learning Representations (ICLR).
[16] Bengio, Y., Louradour, J., Collobert, R. & Weston, J., (2009). Curriculum Learning. Advances in Neural Information Processing Systems (NeurIPS).
[17] Tran, K., Nguyen, M., Phung, D. & Venkatesh, S., (2021). Transferable Prototype Learning across Domains. arXiv preprint