У роботі досліджено моделі та методи визначення хвороб винограду із використанням сучасних методів штучного інтелекту. Проаналізовано відомі методології класифікації та розпізнавання за зображеннями хвороб винограду з використання нейронних мереж. Виділено низку проблем щодо покращення результатів розпізнавання. Ключовими компонентами дослідження стали створення обширних наборів даних, навчання моделей нейронних мереж зі зниженими обчислюваними вимогами (MobileNetV3_Large, EfficientNet_B1 та ShuffleNetV2_x2), їх оптимізація для мобільного середовища та інтеграція у кросплатформний застосунок за допомогою фреймворку ReactNative. Для дослідження сформовано два основні набори даних: про хвороби рослин (PlantVillage, PlantDoc) та хвороби винограду (IDADP, IPM, DownyMildew, ESCA, PlantVillage, дані з відкритих пошукових систем). Набори було ретельно очищено та збалансовано за допомогою методів штучного збільшення даних, таких як обертання, масштабування, зміна контрасту та освітлення із використанням бібліотеки PlayTorch. Навчання та тестування нейронних мереж здійснювали із застосуванням бібліотеки PyTorch. Для підвищення продуктивності та точності моделей використано передавальне навчання. Моделі показали високі показників точності (понад 93 %) з показниками влучності, повноти та F1-score понад 85 %, а ансамблева модель, що поєднує прогнози трьох архітектур, продемонструвала точність близько 95 %.
Розроблено мобільний застосунок для роботи на пристроях iOS та Android, що забезпечує ідентифікацію хвороби винограду на основі зображень листя та грон. Застосунок орієнтований на зручність і доступність: інтуїтивний інтерфейс дає змогу здійснювати сканування у режимі реального часу, переглядати та зберігати результати, отримувати рекомендації щодо лікування. З використанням прототипу розробленої програмної системи за допомогою фреймворку React Native проаналізовано продуктивність моделей на різних типах пристроїв, що дало змогу оцінити їхню ефективність та стабільність роботи в реальних сценаріях застосування. Перевагою мобільного застосунку є можливість використання на виноградниках без доступу до інтернету.
Наведено основні результати дослідження та зроблено висновок про можливість використання нейронних мереж і ансамблевої моделі для розроблення та функціонування кросплатформної мобільної програмної системи розпізнавання хвороб винограду.
[1] Atallah, S. S., Gomez, M. I., Fuchs, M. F., & Martinson, T. E. (2011). Economic Impact of Grapevine Leafroll Disease on Vitis vinifera cv. Cabernet franc in Finger Lakes Vineyards of New York. American Journal of Enology and Viticulture, 63(1), 73–79. https://doi.org/10.5344/ajev.2011.11055
[2] Paymode, A. S., & Malode, V. B. (2022). Transfer Learning for Multi-Crop Leaf Disease Image Classification using Convolutional Neural Network VGG. Artificial Intelligence in Agriculture, 6, 23–33. https://doi.org/10.1016/j.aiia. 2021.12.002
[3] Diana Andrushia, A., Mary Neebha, T., Trephena Patricia, A.,
Umadevi, S., Anand, N., & Varshney, A. (2022). Image- based disease classification in grape leaves using
convolutional capsule network. Soft Computing. https://doi.org/10.1007/ s00500-022-07446-5
[4] Z. Huang, A. Qin, J. Lu, A. Menon and J. Gao (2020). Grape Leaf Disease Detection and Classification Using Machine Learning. International Conferences on Internet of Things
(iThings) and IEEE Green Computing and Communications (GreenCom) and IEEE Cyber, Physical and Social Computing (CPSCom) and IEEE Smart Data (SmartData) and IEEE Congress on Cybermatics (Cybermatics), 870–877.
https://doi.org/10.1109/iThings-GreenCom-CPSCom- SmartData-Cybermatics50389.2020.00150
[5] Liu, B., Tan, C., Li, S., He, J., & Wang, H. (2020). A Data Augmentation Method Based on Generative Adversarial Networks for Grape Leaf Disease Identification. IEEE Access, 8, 102188–102198. https://doi.org/10.1109/access.2020. 2998839
[6] Nader, A., H.Khafagy, M., & Hussien, S. A. (2022). Grape Leaves Diseases Classification using Ensemble Learning and Transfer Learning. International Journal of Advanced Computer Science and Applications, 13(7). https://doi.org/ 10.14569/ijacsa.2022.0130767
[7] Yin, X., Li, W., Li, Z., & Yi, L. (2022). Recognition of grape leaf diseases using MobileNetV3 and deep transfer learning. International Journal of Agricultural and Biological Engineering, 15(3), 184–194. https://doi.org/10.25165/ j.ijabe. 20221503.7062
[8] Ahmed, H. A., Hama, H. M., Jalal, S. I., & Ahmed, M. H. (2023). Deep Learning in Grapevine Leaves Varieties Classification Based on Dense Convolutional Network. Journal of Image and Graphics, 11(1), 98–103. https://doi.org/ 10.18178/ joig.11.1.98-103
[9] Huang, Y., Li, N., & Liu, Z. (2023). An Enhanced Convolutional Neural Network for Accurate Classification of Grape Leaf Diseases. Information Dynamics and Applications, 2(1), 8–18. https://doi.org/10.56578/ida020102
[10] Gupta, J., Pathak, S., & Kumar, G. (2022). Deep Learning (CNN) and Transfer Learning: A Review. Journal of Physics: Conference Series, 2273(1), 012–029. https://doi.org/ 10.1088/1742-6596/2273/1/012029
[11] Hughes, D. P., & Salathe, M. (2016). An open access repository of images on plant health to enable the development of mobile disease diagnostics. arXiv. https://doi.org/ 10.48550/ arXiv.1511.08060
[12] Singh, D., Jain, N., Jain, P., Kayal, P., Kumawat, S., & Batra, N. (2020). PlantDoc. У CoDS COMAD 2020: 7th ACM IKDD CoDSand 25th COMAD. ACM. https://doi.org/ 10.1145/ 3371158.3371196
[13] YUAN, Y., & CHEN, L. (2022). An image dataset for IDADP-grape disease identification. China Scientific Data, 7(1). https://doi.org/10.11922/11-6035.csd.2021.0077.zh
[14] Fruits and Nuts : Grape. IPM Images: The Source for Agriculture and Pest Management Pictures. https://www. ipmimages.org/browse/Areathumb.cfm?area=75
[15] Abdelghafour, F., Keresztes, B., Deshayes, A., Germain, C., & Da Costa, J.-P. (2021). An annotated image dataset of downy mildew symptoms on Merlot grape variety. Data in Brief, 37, 107250. https://doi.org/10.1016/j.dib.2021. 107250
[16] Alessandrini, M., Calero Fuentes Rivera, R., Falaschetti, L., Pau, D., Tomaselli, V., & Turchetti, C. (2021). A grapevine leaves dataset for early detection and classification of esca disease in vineyards through machine learning. Data in Brief, 35, 106809. https://doi.org/10.1016/j.dib.2021.106809
[17] Howard, A., Sandler, M., Chen, B., Wang, W., Chen, L.-C., Tan, M., Chu, G., Vasudevan, V., Zhu, Y., Pang, R., Adam, H., & Le, Q. (2019). Searching for MobileNetV3. У 2019 IEEE/CVF International Conference on Computer Vision (ICCV). IEEE. https://doi.org/10.1109/iccv.2019.00140
[18] Tan, M. and Le, Q. V. (2019) EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks. Proceedings of the 36th International Conference on Machine Learning, ICML 2019, 6105-6114. https://doi.org/10.48550/ arXiv. 1905.11946
[19] Ma, N., Zhang, X., Zheng, H.-T., & Sun, J. (2018). ShuffleNet V2: Practical Guidelines for Efficient CNN Architecture Design. У Computer Vision – ECCV 2018 (с. 122–138). Springer International Publishing. https://doi.org/ 10.1007/978-3-030-01264-9_8
[20] Mohammed, A., & Kora, R. (2023). A Comprehensive Review on Ensemble Deep Learning: Opportunities and Challenges. Journal of King Saud University - Computer and Information Sciences. https://doi.org/10.1016/j.jksuci. 2023.01.014
[21] Jia Deng, Wei Dong, Socher, R., Li-Jia Li, Kai Li & Li Fei- Fei. (2009). ImageNet: A large-scale hierarchical image database, 2009 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE. https://doi.org/10.1109/ cvprw.2009.5206848