Олецький, ОлексійСтоляров, Владислав2026-08-272026-08-272026https://ekmair.ukma.edu.ua/handle/123456789/40987роботі запропоновано методику кількісного оцінювання якості згенерованого великими мовними моделями навчального тексту. Розроблено композитну метрику, що поєднує чотири компоненти: семантичну близькість до референсу, покриття ключових понять, внутрішню когерентність та фактологічну узгодженість на основі кросмодельної верифікації двома різними LLM. Сформульовано рубрику людської оцінки з педагогічним критерієм дидактичної цінності. Експериментально перевірено методику на корпусі з 60 фрагментів за темами курсу "Алгоритми і структури даних" НаУКМА, згенерованих моделями Claude Sonnet 4.6 та GPT-5.4. Розраховано інтеррейтерну узгодженість за коефіцієнтом Cohen's κ та виявлено ефект 'стелі" у людській оцінці на сучасних топ-моделях. Програмна реалізація методики виконана у вигляді Python-пакета content_eval.ukвеликі мовні моделігенеративний штучний інтелектоцінювання якості текстунавчальний контенткомпозитна метрикарубрикаLLM-as-a-judgeCohen's κмагістерська роботаOther