Розробка підходу до оцінювання якості відповідей LLM на основі бази знань
Loading...
Date
2025
Authors
Забродський, Владислав
Journal Title
Journal ISSN
Volume Title
Publisher
Abstract
Кваліфікаційна робота присвячена розробці підходу до автоматизованої оцінки якості відповідей великих мовних моделей (LLM) на основі баз знань. Основна увага приділяється перетворенню вхідного тексту на триплети "підмет - присудок -додаток", генерація SBARQ WH- питань на їх основі та оцінювання відповідей за допомогою підходу "LLMas-a-judge". Результатом роботи став розроблений підхід, який у ході експериментальних перевірок продемонстрував гарну кореляцію з офіційними метриками та ефективність при оцінці відповідей на різних користувацьких наборах даних.
Description
Keywords
великі мовні моделі (LLM), бази знань, SBARQ WH-питання, підходи "LLMas-a-judge", магістерська робота