опрацювання природної мови

У даній роботі представлено Small Synthetic Embedding Dataset, повністю синтетичний набір даних українською мовою, розроблений для навчання, донавчання та оцінки моделей вбудовування текстів. Використання великих мовних моделей дозволяє контролювати різноманітність згенерованих даних за такими аспектами, як NLP-задачі, асиметричність між запитами та документами, наявність інструкцій, підтримка різних мов та уникнення соціальних зміщень.

Статтю присвячено дослідженню розроблення системи автоматизованого аналізу медичних текстів з використанням сучасних технологій штучного інтелекту та опрацювання природної мови. Проаналізовано сучасний стан та перспективи розвитку в галузі автоматизованого аналізу медичних текстів. Розглянуто основні методи та технології, які використовуються у цій сфері, зокрема машинне навчання, глибинне навчання та опрацювання природної мови. Виявлено, що існуючі системи мають певні обмеження щодо точності та швидкості аналізу, а також недостатньо враховують специфіку медичної термінології та контексту.

Проблема відсутності ефективних засобів побудови онтологій з текстових документів все ще залишається невирішеною. Її розв’язання стикається з низкою викликів, зокрема, відсутністю єдиного формату вихідних даних різних NLP інструментів, зокрема текстових парсерів, які є першою ланкою в багатоетапному процесі видобування знань. На сьогоднішній день існує декілька популярних текстових парсерів, кожен з яких має свої особливості та переваги у реалізації окремих функцій.

У цій статті представлено дослідження, спрямоване на розроблення оптимальної концепції аналізу та порівняння джерел інформації на основі великих обсягів текстової інформації з використанням методів опрацювання природної мови. Об’єктом дослідження стали канали новин Telegram, які використовуються як джерела текстових даних. Була проведене попереднє опрацювання текстів, включаючи очищення, токенізацію та лематизацію, щоб сформувати глобальний словник, що складається з унікальних слів з усіх джерел інформації.

Внаслідок спрощення процесів створення та поширення новин через інтернет, а також через фізичну неможливість перевірки великих обсягів інформації, що циркулює у мережі, значно зросли обсяги поширення дезінформації та фейкових новин. Побудовано систему підтримки прийняття рішень щодо виявлення дезінформації, фейків та пропаганди на основі машинного навчання. Досліджено методику аналізу тексту новин для ідентифікації фейку та передбачення виявлення дезінформації в текстах новин. У зв’язку з цим виявлення неправдивих новин стає критичним завданням.

У статті описано дослідження ідентифікації фейкових новин на основі опрацювання природної мови, аналізу великих даних і технології глибокого навчання. Розроблена система автоматично перевіряє новини на наявність ознак фейкових новин, таких як використання маніпулятивної мови, неперевірених джерел і недостовірної інформації. Візуалізація даних реалізована на основі дружнього інтерфейсу користувача, який відображає результати аналізу новин у зручному та зрозумілому форматі.

В статті описано результати дослідження процесів комплексного аналізу військової інформації на основі машинного навчання та опрацювання природньої мови для допомоги командирам тактичних ланок. Система повинна дозволяти користувачам мати наступні можливості: об’єднання словника та інформаційного матеріалу, додавання термінів та абревіатур в словник, класифікація об’єктів для радіотехнічної розвідки, візуалізація повітряних об’єктів, класифікація повітряних об’єктів, користування інформаційними матеріалами, організування інформаційних матеріалів.

Проведено огляд і здійснено аналіз засобів обробки природної мови (ОПМ). Визначено глобальний критерій оцінювання ефективності засобів ОПМ. Подано рекомендації щодо доцільності використання засобів ОПМ.

Розглянуто проблему багатослівних конструкцій, яка відіграє дуже важливу роль у технології обробки природної мови. Багатослівні конструкції – це вирази, які складаються з щонайменше двох слів і можуть бути синтаксично і/або семантично ідіосинкратичними. Це зокрема складені іменники, ідіоми і фразові дієслова. У цій роботі досліджено сучасні підходи до класифікації багатослівних конструкцій, їхньої ідентифікації та видобування з текстів.