1. SISN
  2. Всі випуски
  3. Випуск 13, 2023
  4. Метод побудови ембедінгів ознак у задачах глибинного навчання на основі онтологій

Метод побудови ембедінгів ознак у задачах глибинного навчання на основі онтологій

SISN.
2023;
Випуск 13
: cc. 189 - 197
https://doi.org/10.23939/sisn2023.13.189
Автори:
  1. Василь Литвин
  2. Соломія Мушаста
1
Національний університет "Львівська політехніка", м. Львів, Україна
2
Національний університет «Львівська політехніка»

У роботі досліджено проблему ембедингу ознак, які використовують у датасетах для навчання нейронних мереж. Використання ембедингів підвищує продуктивність нейронних мереж, а отже, є важливою ланкою підготовки даних для методів глибинного навчання. Такий процес ґрунтується на семантичній метриці. Запропоновано для ембедингу використовувати онтології предметних областей, до яких належить відповідна ознака. У цій роботі розроблено такий метод й досліджено його використання для завдання рубрикування текстових документів. Результати досліджень підтвердили перевагу розробленого методу.

онтологія
нейронна мережа
ембединг
семантична метрика
природномовний текст
  1. Литвин В. В. Бази знань інтелектуальних систем підтримки прийняття рішень: монографія. Львів: Видавництво Львівської політехніки, 2011. 240 с.
  2. Вдовіченко А. В. Інтелектуалізовані пошукові системи. Класифікація та порівняння. Искуственный интелект, ІПШІ “Наука і освіта”. 2002. № 3.  C. 61–70.
  3. Strube M., Ponzetto S. WikiRelate! Computing semantic relatedness using Wikipedia. In Proceedings of the 21st National Conference on Artificial Intelligence. (AAAI 06). Boston, Mass., July 16–20, 2022. URL: http://www.eml-research.de/english/research/nlp/public
  4. Jarmasz M., Szpakowicz S. (2020). Roget’s Thesaurus and semantic similarity. In Proceedings of Conference on Recent Advances in Natural Language Processing (RANLP 2003). Borovets, Bulgaria, September, 212–219.
  5. Fellbaum C. (1998). WordNet: an electronic lexical database. MIT Press, Cambridge, Massachusetts, 423 p.
  6. Литвин В. В., Мороз О. В. (2013). Метод контекстного пошуку на основі тезаурусу предметної області. Східно-Європейський журнал передових технологій, № 6/2(66), С. 22–27.
  7. Resnik P. (1995). Disambiguating noun groupings with respect to WordNet senses. In Proceedings of the 3rd Workshop on Very Large Corpora. MIT, June. URL: http://xxx.lanl.gov/abs/cmp-lg/9511006.
  8. Resnik P. (2019). Semantic similarity in a taxonomy: an information-based measure and its application to problems of ambiguity in natural language. Journal of Artificial Intelligence Research (JAIR), Vol. 11, 95–130.
  9. Lin D. (2018). An information-theoretic definition of similarity. In Proceedings of International Conference on Machine Learning, Madison, Wisconsin, July. URL: http://www.cs.ualberta.ca/~lindek/papers.htm
  10. WordNet: a lexical database for the English language. Cognitive Science Laboratory Princeton University, 2006. Режим доступу: http://wordnet.princeton.edu/.
  11. Gruninger M., Fox M. (1995). Methodology for the Design and Evaluation of Ontologies. Proceedings of IJCAI-95 Workshop on Basic Ontological Issues in Knowledge Sharing, 231–238.
  12. WordNet: a lexical database for the English language. Cognitive Science Laboratory Princeton University, 2006. Режим доступу: http://wordnet.princeton.edu/.
  13. Дубинский А. Г. Розробка моделей і вдосконалення структури систем інформаційного пошуку в глобальній комп’ютерній мережі: aвтореф. дис... канд. техн. наук: 05.13.06 / НАН України; Національна бібліотека України ім. В. І. Вернадського. К.: 2001. 17 с.
  14. Bulskov H., Knappe R., Andreasen R. (2004). On Querying Ontologies and Databases. FQAS, 191–202.
  15. Кравець П. О., Литвин В. В., Висоцька В. А. Моделювання ігрової задачі призначення персоналу для виконання іт-проектів на основі онтологій. Радіоелектроніка, інформатика, управління. 2022. № 1. С. 130–145.
  16. Bublyk M., Kowalska-Styczeń A., Lytvyn V., Vysotska V. (2021). The Ukrainian economy transformation into the circular based on fuzzy-logic cluster analysis. Energies, 14(18), 5951. URL: https://www.mdpi.com/1996- 1073/14/18/5951/htm.
  17. Kravets P., Lytvyn V., Vysotska V. (2020). Game Model of Ontological Project Support. Radio Electronics, Computer Science, Control, Vol. 1(1), 172–183. URL: http://ric.zntu.edu.ua/article/view/228160/227318
  18. Карпов І. А., Буров Є. В. Використання онтологічних мереж у системах підтримки прийняття рішень в умовах неоднозначності. Вісник Нац. ун-ту “Львівська політехніка”. Серія: Інформаційні системи та мережі. 2020. Вип. 7. С. 8–15. URL: https://science.lpnu.ua/uk/sisn/vsi-vypusky/vypusk-7-2020/vykorystannya- ontologichnyh-merezh-u-systemah-pidtrymky-pryynyattya