1. SISN
  2. Всі випуски
  3. Випуск 18 (Частина 2), 2025
  4. Мобільний застосунок для перекладу та візуалізації тексту в доповненій реальності з використанням штучного інтелекту

Мобільний застосунок для перекладу та візуалізації тексту в доповненій реальності з використанням штучного інтелекту

SISN.
2025;
Випуск 18
: cc. 71 - 88
Автори:
  1. Дмитро Федасюк
  2. Тетяна Цимбалюк
  3. Володимир Руднєв
1
Національний університет «Львівська політехніка», кафедра програмного забезпечення, Україна
2
Національний університет «Львівська політехніка», кафедра програмного забезпечення, Україна
3
Національний університет «Львівська політехніка», кафедра програмного забезпечення, Україна

У статті розглянуто створення мобільного застосунку для перекладу тексту у доповненій реальності (AR). Основна мета – об’єднання сучасних технологій для забезпечення точного розпізнавання тексту, якісного перекладу та коректного відображення результату на оригінальній площині. Такий інструмент спрямований на спрощення доступу до інформації та покращення взаємодії з іншомовними текстами у реальному часі. Актуальність дослідження визначається потребою у швидких і зручних рішеннях для міжкультурної комунікації, яка стає все більш важливою в умовах глобалізації.

Запропоновано архітектуру, яка інтегрує PaddleOCR для оптичного розпізнавання тексту, DeepL API для машинного перекладу та ARCore для роботи з доповненою реальністю. У процесі розробки створено алгоритми, що забезпечують опрацювання тексту, його переклад і точне розміщення у реальному середовищі. Для оцінки ефективності рішення проведено тестування за різних умов, включаючи варіації освітлення, кути нахилу камери та роботу з текстами різних шрифтів. Особливу увагу приділено тому, щоб перекладений текст точно відображався на площині оригінального джерела.

Результати тестування підтвердили ефективність застосунку в реальних умовах. Водночас виявлено кілька аспектів, які потребують вдосконалення, зокрема підвищення якості роботи в умовах слабкого освітлення, стабільності відображення тексту та підтримки складних шрифтів. Зазначено потенціал для покращення алгоритмів роботи з багатомовними текстами. Запропоновані шляхи оптимізації дозволять покращити загальну функціональність системи та її адаптацію до різних сценаріїв використання.

Розробка відкриває перспективи для інтеграції у туризм, освіту та бізнес. У майбутньому застосунок може бути доопрацьований для підтримки ширшого спектра текстів і сценаріїв використання. Це забезпечить користувачам нові можливості для зручного доступу до іншомовних матеріалів у реальному часі. Потенціал системи дозволяє розширити її застосування, забезпечуючи користувачам ефективний інструмент для розв’язання повсякденних задач.

доповнена реальність
нейронний машинний переклад
оптичне розпізнавання символів
переклад тексту
MVVM
  1. Amin, D., & Govilkar, S. (2015). Comparative study of augmented reality SDKs. International Journal on Computational Science & Applications, 5(1), 11–26. https://doi.org/10.5121/ijcsa.2015.5102
  2. Amrhein, C., & Clematide, S. (2018). Supervised OCR Error Detection and Correction Using Statistical and Neural Machine Translation Methods. Journal for Language Technology and Computational Linguistics (JLCL), 33(1), 49–76. https://doi.org/10.21248/jlcl.33.2018.218.
  3. Chandarana, J., & Kapadia, M. (2013). A Review of Optical Character Recognition. International journal of engineering research & technology (IJERT), 2 (12). URL: https://www.ijert.org/research/a-review-of- optical-character-recognition-IJERTV2IS120772.pdf
  4. Chatzopoulos, J. D., Bermejo, C., Huang, Z., & Hui, P. (2017). Mobile Augmented Reality Survey: From Where We Are to Where We Go. IEEE Access, 5, 6917–6950. https://doi.org/10.1109/ACCESS.2017.2698164
  5. Fragoso, V., Gauglitz, S., Zamora, S., Kleban, J., & Turk, M. (2011). TranslatAR: A mobile augmented reality translator. IEEE Workshop on Applications of Computer Vision (WACV), 497–502. https://doi.org/10. 1109/WACV.2011.5711545
  6. Geng, X. (2024). Enhancing Translation Education Through Augmented Reality (AR). International Journal of Web-Based Learning and Teaching Technologies, 19, 1–22. https://doi.org/10.4018/IJWLTT.361651.
  7. Hangarage, V., & Mukarambi, G. (2024). Text Localization and Enhancement of Mobile Camera based Complex Natural Bilingual Text Scene Images. Procedia Computer Science, 235, 2353–2361. https://doi.org/10. 1016/j.procs.2024.04.223.
  8. Huang, Z., & Friderikos, V. (2023). Optimal service decomposition for mobile augmented reality with edge cloud support. Computer Communications, 202, 97-109. https://doi.org/10.1016/j.comcom.2023.02.002
  9. Matei, O., Pop, P. C., & Valean, H. (2013). Optical character recognition inreal environments using neural networks and k-nearest neighbor. Applied Intelligence, 39 (4), 739–748. https://doi.org/10.1007/s10489-013-0456-2
  10. Ogurtsova, O., & Shevchenko, O. (2023). Neural Machine Translation: Strengths and Weaknesses. European Science, 86–92. https://doi.org/10.30890/2709-2313.2023-18-04-019.
  11. Ouali, I., Ben Halima, M., & Wali, A. (2022). Text detection and recognition using augmented reality and deep learning. International Conference on Advanced Information Networking and Applications, 449, 13–23. https://doi.org/10.1007/978-3-030-99584-3_2
  12. Ouertani, H. C., & Tatwany, L. (2019). Augmented reality-based mobile application for real-time Arabic language translation. Communications in Science and Technology, 4 (1), 30–37. https://doi.org/10. 21924/cst.4.1.2019.88
  13. Petter, M., Fragoso, V., Turk, M., & Baur, C. (2011). Automatic Text Detection for Mobile Augmented Reality Translation. IEEE International Conference on Computer Vision Workshops (ICCV Workshops), 48–55. https://doi.org/10.1109/iccvw.2011.6130221
  14. Pu, M., Abd Majid, N., & Idrus, B. (2017). Framework based on mobile augmented reality for translating food menu in Thai language to Malay language. International Journal on Advanced Science Engineering and Information  Technology, 7 (1), 153–159. https://doi.org/10.18517/ijaseit.7.1.1797.
  15. Sabu, A. M., & Das, A. S. (2018). A Survey on various Optical Character Recognition Techniques. Conference on Emerging Devices and Smart Systems (ICEDSS), 152–155. https://doi.org/10.1109/ICEDSS.2018.8544323. Sarhan, A., Ali, H., Wagdi, M., Ali, B., Adel, A., & Osama, R. (2024). CV Content Recognition and Organization Framework based onYOLOv8 and Tesseract-OCR Deep Learning Models. https://doi.org/10.21203/rs.3.rs-4947322/v1
  16. Shekar, K. C., Cross, M. A., & Vasudevan, V. (2021). Optical Character Recognition and Neural Machine Translation Using Deep Learning Techniques. Innovations in Computer Science and Engineering. Springer, 171, 277–283. https://doi.org/10.1007/978-981-33-4543-0_30
  17. Syahidi, A., & Tolle, H. (2021). Evaluation of User Experience in Translator Applications (Banjar-Indonesian and Indonesian-Banjar) Based on Mobile Augmented Reality Technology using the UX Honeycomb Method. International Journal of Game Theory, 6, 7–13. https://doi.org/10.21512/jggag.v6i1.7430.
  18. Wang, Y. (2022). Analysis of the Combination of AR Technology and Translation System. International Conference on Social Development and Media Communication (SDMC 2021). https://doi.org/10. 2991/assehr.k.220105.035.
  19. Yin, Y., Liu, G., & Zhang, S. (2024). Augmented Reality Text Translation: A Unity-Based Real-Time Approach. Science and Technology of Engineering, Chemistry and Environmental Protection. https://doi.org/10. 61173/60910s92.