великі мовні моделі

У даній роботі представлено Small Synthetic Embedding Dataset, повністю синтетичний набір даних українською мовою, розроблений для навчання, донавчання та оцінки моделей вбудовування текстів. Використання великих мовних моделей дозволяє контролювати різноманітність згенерованих даних за такими аспектами, як NLP-задачі, асиметричність між запитами та документами, наявність інструкцій, підтримка різних мов та уникнення соціальних зміщень.

Робота присвячена дослідженню великих мовних моделей (ВММ) та підходів для підвищення ефективності їх використання у новому сервісі. Стрімкий розвиток ВММ, заснованих на архітектурі трансформерів, відкрив нові можливості в галузі обробки природної мови та автоматизації різноманітних завдань. Однак, використання повного потенціалу цих моделей вимагає ретельного підходу та врахування численних факторів.

Робота присвячена дослідженню базових технік складання запитів для підвищення ефективності використання великих мовних моделей. Значну увагу приділено питанню інженерії запитів (промптингу). Детально розглянуто різноманітні техніки: промптинг без зразка, зі зворотним зв’язком, з кількома прикладами, ланцюжкове мислення, дерево думок, інструкція для налаштування. Значну увагу приділено технологіям Реакція та Дія (Reaction & Act Prompting) та Доповнена пошукова генерація (Retrieval Augmented Generation, RAG) як критично важливих чинників забезпечення ефективної взаємодії з ВММ.