Метод і модель опрацювання текстової інформації на навченому трансформері для бази знань

2023;
: cc. 210 - 224
1
Національний університет "Львівська політехніка", м. Львів, Україна
2
Національна академія сухопутних військ імені гетьмана Петра Сагайдачного

Невпорядкована база знань формується із різних множин нестандартизованих документів. У системі підтримки прийняття рішень ключовим є своєчасний доступ до інформації із бази знань. У статті описано модель інформаційно-пошукової системи щодо роботи з множиною знань, поданих у форматі PDF, одному із основних у військово-спеціалізованих базах знань. Модель розроблено на навченому трансформері із забезпеченням міжмовного перекладу, що загалом формує метод обробки текстової інформації.

  1. Вовнянка, Р., Досин, Д., Ковалевич, В. (2014). Метод видобування знань з текстових  документів.Вісник Національного університету “Львівська політехніка”. Серія: “Інформаційні системи та мережі”, № 783, 303–312.
  2. Литвин, В. (2011). Бази знань інтелектуальних систем підтримки прийняття рішень. Львів: Вид-во Нац. ун-ту “Львівська політехніка”. 240 с.
  3. Вавіленкова, А. (2013). Аналіз методів обробки текстової інформації. Вісник НТУ “ХПІ”, № 39 (1012).
  4. Литвин, В. (2013). Метод видобування знань з природомовних текстів для автоматизованої розбудови онтологій. Автоматизовані системи управління та прилади автоматики, № 164, 67–72.
  5. Палагін, О., Петренко М. (2017). Розбудова абстрактної моделі мовно-онтологічної інформаційної системи. Математичні машини і системи, № 1, 42–50.
  6. Goodfellow,         I.,     Bengio,        Y.,      &     Courville,         A.      (2016).       Deep       Learning.        MIT      Press. URL:https://www.deeplearningbook.org/.
  7. Schmidt, Robin M. (2019). Recurrent Neural Networks (RNNs): A gentle Introduction and Overview.Computer Science. Machine Learning. URL: https://arxiv.org/abs/1912.05911v1.
  8. Rahman, M., Islam, M., Sassi, R. et al. (2019). Convolutional neural networks performance comparison for handwritten Bengali numerals recognition. SN Appl. Sci. 1, 1660. URL: https://doi.org/10.1007/s42452-019-1682-y.
  9. Brown, T. B.; Mann, B.; Ryder, N.; Subbiah, M.; Kaplan, J.; Dhariwal, P.; Neelakantan, A.; Shyam, P.; Sastry, G.; Askell, A. & others (2020), 'Language models are few-shot learners'. URL: arXiv preprint arXiv:2005.14165.
  10. Devlin, J., Chang, M. W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Vol. 1, 4171–4186. URL: https://aclanthology.org/N19-1423.pdf.
  11. Gomez, A. N., Jones, L., Kaiser, Ł., Parmar, N., Polosukhin, I., Shazeer, N., Uszkoreit, J., Vaswani, A. (2017). Attention is All You Need. In 31st Conf. on Neural Information Processing Systems. URL: arXiv:1706.03762v5.
  12. He, K.; Zhang, X.; Ren, S.; Sun, J. (2016). Deep residual learning for image recognition. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 770–778.
  13. Graves, A. (2013). Generating sequences with recurrent neural networks. URL: arXiv:1308.0850.
  14. Ba, J.; Kiros, J. and Hinton, G. (2016). Layer normalization. URL: arXiv:1607.06450.
  15. Gehring, J.; Auli, M.; Grangier, D.; Yarats, D. and Dauphin, Y. (2017). Convolutional sequence to sequence learning. URL: arXiv:1705.03122v2.
  16. Алімпієв, А., Пєвцов, Г., Гриб Д. та ін. (2019). Озброєння і військова техніка Російської Федерації: довідник учасника АТО. За заг. ред. А. Алімпієва. Харків, 1112.