Том 7

Permanent URI for this collection

https://ekmair.ukma.edu.ua/handle/123456789/34743

Browse

Browsing Том 7 by Author "Глибовець, Микола"

Now showing 1 - 3 of 3
  • Thumbnail Image
    Item
    Оброблення природної мови за допомоги великих мовних моделей і методів машинного навчання
    (2024) Глибовець, Микола; Задохін, Дмитро; Дехтяр, Богдан-Ярема; Пєчкурова, Олена
    У статті представлено аналіз можливостей великих мовних моделей для вирішення задач NLP. Описано особливості архітектури Transformer, що є основою для сучасних моделей з оброблення природної мови. Розглянуто окремі компоненти архітектури, їхню роль і важливість для роботи з людською мовою. Проведено порівняльний аналіз Transformer та інших наявних моделей для завдання машинного перекладу. Проаналізовано фактори, що дали змогу створювати моделі з мільярдами параметрів — великі мовні моделі. Розглянуто сім’ю моделей Llama від Meta як приклад такої моделі. Особливу увагу було приділено моделям порівняно невеликого розміру, що можуть бути потужним і водночас доступним інструментом для оброблення природної мови. Наразі глибинне машинне навчання і згорткові нейронні мережі (CNN) посідають важливе місце у сфері оброблення природної мови (NLP). Тому в статті оцінено ефективність використання його алгоритмів, моделей і методів для вирішення основних задач на прикладі задачі розпізнавання іменованих сутностей (NER). Наведено методи глибинного навчання, які зробили революцію в NER, надавши можливість набагато краще розуміти контекст, фіксувати залежності на великих відстанях і ефективно використовувати великі обсяги даних. Проведено класифікацію моделей на основі трансформерів, що дають найкращі результати на цей момент. Зараз існує багато моделей, розроблених на основі трансформера. Описано результати порівняння двох із найпоширеніших моделей — BERT (гарні результати у широкому спектрі завдань NLP, зокрема відповіді на запитання, класифікація тексту, висновок природною мовою, передбачення лівого і правого контексту слова) і GPT-3 (великі успіхи, як-от мовне моделювання, генерування тексту й відповіді на запитання). Ці моделі проходять попереднє навчання на великих текстових наборах даних, щоб вивчити фундаментальні мовні уявлення. Обидві моделі активно використовують потенціал тонкого налаштування.
  • Thumbnail Image
    Item
    Передмова
    (2024) Глибовець, Микола
    У цьому збірнику розглянуто теоретичні аспекти програмної інженерії, а також практичні застосування програмних технологій у сучасних системах штучного інтелекту та інтелектуальних інформаційних системах.
  • Thumbnail Image
    Item
    Узагальнений агент штучного інтелекту SIMA
    (2024) Глибовець, Микола; Бачинський, Назарій
    Стаття аналізує проєкт SIMA (Scalable, Instructable, Multiworld Agent) від Google DeepMind, спрямований на створення узагальненого ШІ-агента, здатного виконувати завдання у різноманітних тривимірних середовищах за мовними інструкціями. Розглянуто методи навчання, оцінювання та особливості роботи агента, а також проведено порівняння з іншими проєктами, такими як OpenAI Five і AlphaStar. Попри досягнуті результати, висвітлено ключові виклики, зокрема технічні та етичні аспекти, що залишаються на шляху до створення загального штучного інтелекту.