великі мовні моделі

The article explores a hybrid framework for autonomous penetration testing that integrates Large Language Models (LLMs) with Markov decision processes (MDP/POMDP) and reinforcement learning (RL). Conventional penetration testing is increasingly insufficient for modern, complex cyber threats. LLMs are utilized for high-level strategic planning, generating potential attack paths, while MDP/POMDP models combined with RL execute low-level actions under uncertainty. A feedback loop allows outcomes to refine strategies in dynamic and partially observable environments.

Стаття досліджує архітектурні рішення для ефективної та швидкої побудови розподілених систем онлайн опрацювання транзакцій із використанням хмарного інструментарію, cloud-native архітектурних принципів, та методів реплікації баз даних. Стаття фокусується на методах зменшення мережевої затримки, оптимізації використання ресурсів і, як наслідок, коштів, реплікації даних та відмовостійкості. Стаття наглядно демонструє як із використанням сучасних хмарних рішень та технологій можна швидко та легко побудувати розподілену систему онлайн опрацювання транзакцій корпоративного рівня.

У даній роботі представлено Small Synthetic Embedding Dataset, повністю синтетичний набір даних українською мовою, розроблений для навчання, донавчання та оцінки моделей вбудовування текстів. Використання великих мовних моделей дозволяє контролювати різноманітність згенерованих даних за такими аспектами, як NLP-задачі, асиметричність між запитами та документами, наявність інструкцій, підтримка різних мов та уникнення соціальних зміщень.

Робота присвячена дослідженню великих мовних моделей (ВММ) та підходів для підвищення ефективності їх використання у новому сервісі. Стрімкий розвиток ВММ, заснованих на архітектурі трансформерів, відкрив нові можливості в галузі обробки природної мови та автоматизації різноманітних завдань. Однак, використання повного потенціалу цих моделей вимагає ретельного підходу та врахування численних факторів.

Робота присвячена дослідженню базових технік складання запитів для підвищення ефективності використання великих мовних моделей. Значну увагу приділено питанню інженерії запитів (промптингу). Детально розглянуто різноманітні техніки: промптинг без зразка, зі зворотним зв’язком, з кількома прикладами, ланцюжкове мислення, дерево думок, інструкція для налаштування. Значну увагу приділено технологіям Реакція та Дія (Reaction & Act Prompting) та Доповнена пошукова генерація (Retrieval Augmented Generation, RAG) як критично важливих чинників забезпечення ефективної взаємодії з ВММ.