Семантичний пошук на основі представлень, отриманих за допомогою нейронних мереж
| dc.contributor.advisor | Швай, Надія | |
| dc.contributor.author | Крошин, Олександр | |
| dc.date.accessioned | 2024-04-10T10:59:11Z | |
| dc.date.available | 2024-04-10T10:59:11Z | |
| dc.date.issued | 2022 | |
| dc.description | This master’s thesis is dedicated to semantic search problem. It is focused on the task of re-ranking documents based on user query, particularly, by solving it via applying neural networks based on GPT-3 architecture. This work introduces GPT-3 implementation, OPT, to the re-ranking task, proposes best prompt for its zero-shot evaluation, introduces OPT-based cross-encoder that outperforms previous BERT-based SOTA approaches by a margin and experiments with different knowledge-distillation settings in order to additionally boost performance of smaller model. The work is split into three sections. The first section sets theoretical background of re-ranking problem, reviews metrics and industry-standard approaches. Second section explains usage of neural networks in semantic search and describes different solutions to re-ranking problem using networks of GPT-3 architecture. The third, experimental section, covers training an OPT-based Cross-Encoder, describes knowledge-distillation experiments and evaluates proposed solutions. Results of the experiments are discussed in conclusion section. All the used literature is in the References section. | en_US |
| dc.description.abstract | Магістерська робота присвячена задачі семантичного пошуку, зокрема, задачі ранжування документів за запитами користувачів. В роботі розглядається розв’язок задачі ранжування за допомогою нейронних мереж архітектури GPT-3. В роботі пропонується розв’язувати цю задачу за допомогою імплементації GPT-3 під назвою OPT. Розглядаються різні варіанти розв’язку задачі без додаткового тренування, зокрема, використання різних форматів вхідних текстів. В роботі пропонується модель Cross-Encoder на основі OPT, що демонструє кращі результати роботи на прийнятих в індустрії тестах в порівнянні з існуючими рішеннями, що вважаються стандартами. Розглядаються експерименти з дистиляцією моделей OPT задля подальшого покращення їхніх результатів в задачах семантичного пошуку. Робота складається з трьох розділів. Перший, теоретичний розділ присвячений постановці задачі ранжування, огляду існуючих метрик та класичних підходів. Другий розділ описує використання нейронних мереж в задачі ранжування а також демонструє рішення, побудовані на базі моделей архітектури GPT-3. Третій, практичний розділ присвячений побудові та тренуванню Cross-Encoder на основі моделей OPT, експериментам з дистиляцією моделей та обробці результатів. Результати експериментів демонструються у висновку. | uk_UA |
| dc.identifier.uri | https://ekmair.ukma.edu.ua/handle/123456789/28824 | |
| dc.language.iso | en | uk_UA |
| dc.relation.organisation | НаУКМА | uk_UA |
| dc.status | first published | uk_UA |
| dc.subject | classic retrieval approach. BM-25 | uk_UA |
| dc.subject | training dataset: MS MARCO Passage | uk_UA |
| dc.subject | training a Cross-Encoder | uk_UA |
| dc.subject | магістерська робота | uk_UA |
| dc.title | Семантичний пошук на основі представлень, отриманих за допомогою нейронних мереж | uk_UA |
| dc.type | Other | uk_UA |