Розглянуто сучасні методи для виявлення меланоми за зображенням новоутворення, проаналізовано їх переваги та недоліки. У статті продемонстровано прототип мобільного застосунку для виявлення меланоми за зображенням родимки на підставі згорткової нейронної мережі, котрий розробляється для операційної системи Android. Доповнено набір даних на підставі HAM10000 для навчання задля усунення незбалансованості класів та покращення показників точності мережі. Проведено пошук наявних нейронних мереж, котрі забезпечують високу точність, та обрано для дослідження нейромережі VGG16, MobileNet та NASNetMobile. До наведених нейронних мереж застосовано техніки передавання навченості та точного налаштування для адаптування мереж до задачі класифікації уражень шкіри. Встановлено, що використання згаданих технік дає змогу отримати високі показники точності нейронної мережі для вказаної задачі. Описано процес конвертування згорткової нейронної мережі в оптимізований формат Flatbuffer засобами TensorFlow Lite для розміщення та використання на мобільному пристрої. Оцінено характеристики швидкодії обраних нейронних мереж на мобільному пристрої за часом класифікації на центральному і графічному процесорах та проведено порівняння обсягу пам'яті, котру займає файл окремої мережі. Проведено порівняння розміру файлу нейронної мережі до конвертування та після. Продемонстровано, що використання конвертера TensorFlow Lite значно зменшує розмір файлу нейронної мережі шляхом використання оптимізованого формату. Результати дослідження свідчать про високу швидкодію у застосунку та компактність мереж на пристрої, а використання графічного пришвидшення дає змогу значно скоротити тривалість класифікації зображення новоутворення. На підставі проаналізованих параметрів обрано NASNetMobile як оптимальну нейронну мережу для застосування у мобільному застосунку виявлення меланоми.
- Abbasi, N. R., Shaw, H. M., Rigel, D. S., Friedman, R. J., McCarthy, W. H., Osman, I., Kopf, A. W., & Polsky, D. (2004). Early Diagnosis of Cutaneous Melanoma. JAMA, 292(22), 2771–2776. https://doi.org/10.1001/jama.292.22.2771
- Adding metadata to TensorFlow Lite models. (2021). TensorFlow. https://www.tensorflow.org/lite/guide
- Bakheet, S. (2017). An SVM Framework for Malignant Melanoma Detection Based on Optimized HOG Features. Computation, 5(4), 4. https://doi.org/10.3390/computation5010004
- Codella, N., Cai, J., Abedini, M., Garnavi, R., Halpern, A., Smith, J.R. (2015). Deep Learning, Sparse Coding, and SVM for Melanoma Recognition in Dermoscopy Images. In: Zhou L., Wang L., Wang Q., Shi Y. (Eds) Machine Learning in Medical Imaging. MLMI 2015. Lecture Notes in Computer Science, vol. 9352. Springer, Cham. https://doi.org/10.1007/978-3-319-24888-2_15
- Deng, J., Dong, W., Socher, R., Li, L. J., Kai Li, & Li Fei-Fei. (2009). ImageNet: A large-scale hierarchical image database. 2009 IEEE Conference on Computer Vision and Pattern Recognition, 248–255. https://doi.org/10.1109/cvpr.2009.5206848
- Hussain, M., Bird, J. J., Faria, D. R. (2019). A Study on CNN Transfer Learning for Image Classification. In: Lotfi A., Bouchachia H., Gegov A., Langensiepen C., McGinnity M. (Eds) Advances in Computational Intelligence Systems. UKCI 2018. Advances in Intelligent Systems and Computing, vol. 840. Springer, Cham. https://doi.org/10.1007/978-3-319-97982-3_16
- Ignatov, A., et al. (2019). AI Benchmark: Running Deep Neural Networks on Android Smartphones. In: Leal-Taixé L., Roth S. (Eds.) Computer Vision – ECCV 2018 Workshops. ECCV 2018. Lecture Notes in Computer Science, vol. 11133. Springer, Cham. https://doi.org/10.1007/978-3-030-11021-5_19
- Kasmi, R., & Mokrani, K. (2016). Classification of malignant melanoma and benign skin lesions: implementation of automatic ABCD rule. IET Image Processing, 10(6), 448–455. https://doi.org/10.1049/iet-ipr.2015.0385
- Miller, A. J., & Mihm, M. C. (2006). Melanoma. New England Journal of Medicine, 355(1), 51–65. https://doi.org/10.1056/nejmra052166
- Mustafa, S., Dauda, A. B., & Dauda, M. (2017). Image processing and SVM classification for melanoma detection. 2017 International Conference on Computing Networking and Informatics (ICCNI), 1–5. https://doi.org/10.1109/iccni.2017.8123777
- Nasr-Esfahani, E., Samavi, S., Karimi, N., Soroushmehr, S., Jafari, M., Ward, K., & Najarian, K. (2016). Melanoma detection by analysis of clinical images using convolutional neural network. 2016 38th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC). https://doi.org/10.1109/embc.2016.7590963
- Ottom, M. A. (2019). Convolutional neural network for diagnosing skin cancer. International Journal of Advanced Computer Science and Applications, 10(7). https://doi.org/10.14569/ijacsa.2019.0100746
- Powers, D. M. W. (2011). Evaluation: From precision, recall and F-measure to ROC, informedness, markedness & correlation. Journal of Machine Learning Technologies, 2(1), 37–63. https://doi.org/10.9735/2229-3981
- Raut, N., Shah, A., Vira, S., & Sampat, H. (2018). A study on different techniques for skin cancer detection. International Research Journal of Engineering and Technology (IRJET), 5(3), 613–617.
- Refianti, R., Benny, A., & Poetri, R. (2019). Classification of Melanoma Skin Cancer using Convolutional Neural Network. International Journal of Advanced Computer Science and Applications, 10(3), 409–417. https://doi.org/10.14569/ijacsa.2019.0100353
- Sandler, M., Howard, A., Zhu, M., Zhmoginov, A., and Chen, L. (2018). MobileNetV2: Inverted Residuals and Linear Bottlenecks. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, 4510–4520. https://doi.org/10.1109/CVPR.2018.00474
- Simonyan, K., Zisserman, A. (2015). Very Deep Convolutional Networks for Large-Scale Image Recognition. arXiv. https://arxiv.org/abs/1409.1556
- Sultana F., Sufian A., & Dutta P. (2018). Advancements in Image Classification using Convolutional Neural Network. 2018 Fourth International Conference on Research in Computational Intelligence and Communication Networks (ICRCICN). https://doi.org/10.1109/icrcicn.2018.8718718
- TensorFlow Lite guide. (2021). TensorFlow. https://www.tensorflow.org/lite/guide
- Tschandl, P., Rosendahl, C., & Kittler, H. (2018). The HAM10000 dataset, a large collection of multi-source dermatoscopic images of common pigmented skin lesions. Scientific Data, 5(1). https://doi.org/10.1038/sdata.2018.161
- Yu, C., Yang, S., Kim, W., Jung, J., Chung, K.-Y., Lee, S. W., & Oh, B. (2018). Acral melanoma detection using a convolutional neural network for dermoscopy images. PLOS ONE, 13(3). https://doi.org/10.1371/journal.pone.0193321
- Zoph, B., Vasudevan, V., Shlens, J., and Le, Q.V. (2018). Learning Transferable Architectures for Scalable Image Recognition. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, 8697–8710. https://doi.org/10.1109/CVPR.2018.00907