Система для розпізнавання елементів одягу та їх кольорів на зображенні

У роботі представлена система розпізнавання елементів одягу та їх кольорів, розроблена мовою програмування Java у вигляді вебзастосунку, використовуючи архітектуру Model-View-Controller (MVC). Для зручності розробки та збирання проєкту використано систему автоматичного збирання Gradle. Система оперує принципами штучних нейронних мереж на платформі Clarifai, детально розглядаючи процес виявлення об'єктів на зображенні та ефективність роботи системи в умовах реального використання. Взято InceptionV2 як базову модель з оброблення зображень, використано техніку FPN для аналізу зображень з різними масштабами, зі зміною розміру зображень до 512 пікселів, і здійснено навчання за допомогою стохастичного градієнтного спуску з використанням техніки виділення важких прикладів (негативів). Застосовано алгоритм зрізу по медіані для визначення домінантного кольору елементу одягу; визначення домінантного кольору кожного елементу одягу розглядається окремо, з акцентом на точність розпізнавання, яка складає 100 %. Реалізовано підхід для визначення найближчого кольору з назвою на основі домінантного кольору. Підхід базується на обчисленні евклідової відстані між двома точками у тривимірному просторі, де здійснюється перебір 140 кольорів з назвою колірної моделі RGB для визначення найближчого кольору з назвою до домінантного. Проте при пошуку найближчого кольору з назвою виявлено певні обмеження, які призводять до пониження точності до 60 %. Вплив різних факторів, таких як освітлення та якість зображення, детально розглядається в контексті їх впливу на результат роботи системи. Інтерфейс користувача представлено як інтуїтивний інструмент для взаємодії з системою, що дає змогу перевіряти розпізнані елементи одягу та визначені кольори. Окрім того, додатково надаються рекомендації з основних колірних комбінацій, які можуть бути використані користувачем для поліпшення свого стилю одягу. У роботі наведено приклад застосування системи на реальному зображенні, візуально продемонстровано результати та описано якість розпізнавання елементів одягу та їх кольорів. Однією з ключових особливостей представленої системи є її гнучкість і можливість масштабування. Якість розпізнавання може бути надалі покращена за допомогою додаткового тренування моделі на більш великих наборах даних. У роботі висвітлені питання оптимізації процесів оброблення даних та подальшого аналізу отриманих результатів. Оцінено час та складність виконання алгоритмів пошуку домінантного кольору та пошуку найближчого кольору з назвою. Наукова новизна отриманих результатів дослідження полягає в тому, шо вперше розроблено комплексну систему розпізнавання елементів одягу та їх кольорів з використанням ШНМ та реалізовано підхід пошуку найближчого кольору з назвою, де під комплексністю системи розуміється повний цикл оброблення зображення в одній системі – визначення розташування елементів одягу, класифікація елементів одягу, визначення домінантного кольору елементів одягу та визначення найближчого кольору з назвою для подальшого візуального відображення усієї інформації користувачу та наданні основних колірних комбінацій для виправлення власних кольорів, чи для того, щоб запевнитись у правильності колірної комбінації. Практична значущість результатів дослідження полягає у розробленні структури та алгоритмів роботи застосунку, програмній реалізації системи, яка змінює підхід до вибору та перевірки колірних комбінацій. Такий підхід дає користувачу чіткі назви кольорів, згідно з якими можна створювати власні, правильні за комбінаціями кольорів, набори одягу або якісно здійснювати пошук елементів одягу у мережі за отриманими кольорами. Також систему можна використати як засіб для розмітки "даних" або, іншими словами, для підготовки матеріалу, який буде використовуватись для тренування моделей машинного навчання чи нейронних мереж. Перспективи розвитку включають інтеграцію з іншими системами, розширення бази даних зображень для покращення точності та використання додаткових джерел даних для розширення функціоналу системи.