Методи регуляризації моделей машинного навчання
Loading...
Date
2024
Authors
Гордуз, Олександр
Journal Title
Journal ISSN
Volume Title
Publisher
Національний університет "Києво-Могилянська академія"
Abstract
В доповіді розглянута проблема перенавчання, коли модель машинного навчання вивчає шум тренувальної вибірки та погано узагальнюється на тестову вибірку. Її можна вирішити або збагативши датасет, або змінивши тренувальний пайплайн та/або гіперпараметри моделі. Важливо зазначити, що різні моделі потребують різних методів регуляризації, тому перед їх застосуванням варто дослідити переваги та недоліки кожного з них.
Description
The given work is devoted to the problem of overfitting in machine learning models. Such models learn the training data rather than its patterns, and fail to generalize on the out-of-distribution data. While increasing the dataset size helps with the problem, in practice it’s hard or even impossible to gather enough labeled data. The weight decay method is described, which includes L1, L2 and ElasticNet regularization, along with their advantages and disadvantages. Dropout is another regularization method, which is applied to deep neural networks. It works by randomly turning off some neurons during training, allowing, at the inference time, for the ensemble effect produced by a single model. Additionally, the work highlights other regularization methods, such as tuning hyperparameters for decision tree models, using smoothed labels, or adding noise to features.
Keywords
машинне навчання, перенавчання (overfit), out-of-distribution дані, матеріали конференції
Citation
Гордуз О. С. Методи регуляризації моделей машинного навчання / Гордуз О. С. // Теоретичні та прикладні аспекти побудови програмних систем : працi 15 міжнародної науково-практичної конференції, Київ, 23-24 грудня 2024 р. / [за заг. ред.: М. М. Глибовця, Т. В. Панченка та iн. ; Факультет інформатики Національного університету "Києво-Могилянська академія" та ін.]. - Київ : НаУКМА, 2024. - C. 56-58.