transformer architecture

Mathematical modeling of multi-label classification of job descriptions using transformer-based neural networks

This article presents the mathematical modeling of the multi-label classification task of job description texts aimed at the automatic detection of working conditions and social benefits, which can enhance communication efficiency between employers and job seekers.  The proposed approach is based on the use of the transformer-based BERT neural network, pre-trained on a multilingual corpus.  The dataset was constructed by collecting job postings from the three largest Ukrainian job search platforms: Work.ua, Robota.ua, and Jooble.org.  The collected texts were augmented

Можливості та обмеження великих мовних моделей

Робота присвячена дослідженню великих мовних моделей (ВММ) та підходів для підвищення ефективності їх використання у новому сервісі. Стрімкий розвиток ВММ, заснованих на архітектурі трансформерів, відкрив нові можливості в галузі обробки природної мови та автоматизації різноманітних завдань. Однак, використання повного потенціалу цих моделей вимагає ретельного підходу та врахування численних факторів.