Predictive model for a product without history using LightGBM. pricing model for a new product
Loading...
Date
2023
Authors
Drin, Svitlana
Kriuchkova, Anastasiia
Toloknova, Varvara
Journal Title
Journal ISSN
Volume Title
Publisher
Abstract
The article focuses on developing a predictive product pricing model using LightGBM. Also, the goal was to adapt the LightGBM method for regression problems and, especially, in the problems of forecasting the price of a product without history, that is, with a cold start. The article contains the necessary concepts to understand the working principles of the light gradient boosting machine, such as decision trees, boosting, random forests, gradient descent, GBM (Gradient Boosting Machine), GBDT (Gradient Boosting Decision Trees). The article provides detailed insights into the algorithms used for identifying split points, with a focus on the histogram-based approach. LightGBM enhances the gradient boosting algorithm by introducing an automated feature selection mechanism and giving special attention to boosting instances characterized by more substantial gradients. This can lead to significantly faster training and improved prediction performance. The Gradient-based One-Side Sampling (GOSS) and Exclusive Feature Bundling (EFB) techniques used as enhancements to LightGBM are vividly described. The article presents the algorithms for both techniques and the complete LightGBM algorithm. This work contains an experimental result. To test the lightGBM, a real dataset of one Japanese C2C marketplace from the Kaggle site was taken. In the practical part, a performance comparison between LightGBM and XGBoost (Extreme Gradient Boosting Machine) was performed. As a result, only a slight increase in estimation performance (RMSE, MAE, R-squard) was found by applying LightGBM over XGBoost, however, there exists a notable contrast in the training procedure’s time efficiency. LightGBM exhibits an almost threefold increase in speed compared to XGBoost, making it a superior choice for handling extensive datasets. This article is dedicated to the development and implementation of machine learning models for product pricing using LightGBM. The incorporation of automatic feature selection, a focus on highgradient examples, and techniques like GOSS and EFB demonstrate the model’s versatility and efficiency. Such predictive models will help companies improve their pricing models for a new product. The speed of obtaining a forecast for each element of the database is extremely relevant at a time of rapid data accumulation.
Description
Статтю присвячено розробцi прогнозної моделi цiноутворення за допомогою LightGBM. Також метою було адаптування методу LightGBM для задач регресiї та, особливо, задач прогнозування цiни продукту без iсторiї, тобто з холодним стартом. Стаття мiстить необхiднi поняття для розумiння принципiв роботи методiв з посиленим градiєнтом, таких як дерева рiшень, бустинг, випадковi лiси, градiєнтний спуск, GBM (машина посилення градiєнта), GBDT (дерева рiшень градiєнтного пiдвищення). У статтi наведено iнформацiю про алгоритми, якi використовуються для пошуку точок розбиття, з акцентом на алгоритм на основi гiстограм. LightGBM покращує алгоритм градiєнтних методiв, запроваджуючи автоматичний механiзм вибору функцiй, придiляючи особливу увагу точкам посилення, що характеризуються бiльш вагомими градiєнтами. Це може призвести до значно швидшого навчання та покращення ефективностi передбачення. Описано методи односторонньої вибiрки на основi градiєнта (GOSS) i ексклюзивного пакетування функцiй (EFB), якi використовують для вдосконалення LightGBM. Робота мiстить експериментальне дослiдження. Щоб перевiрити LightGBM, було взято реальний набiр даних одного японського ринку C2C iз сайту Kaggle. У практичнiй частинi було проведено порiвняння продуктивностi LightGBM i XGBoost (Extreme Gradient Boosting Machine). У результатi було виявлено лише незначне пiдвищення в оцiнках продуктивностi (RMSE, MAE, R-squard) LightGBM порiвняно з XGBoost, однак iснує помiтний контраст у часовiй ефективностi в процедурi навчання. LightGBM демонструє майже втричi бiльшу швидкiсть порiвняно з XGBoost, що робить його кращим вибором для роботи з великими наборами даних. Цю статтю присвячено розробцi та впровадженню моделей машинного навчання для цiноутворення продуктiв за допомогою LightGBM. Включення автоматичного вибору функцiй, зосередженiсть на прикладах iз високим градiєнтом i таких методах, як GOSS i EFB, демонструють унiверсальнiсть i ефективнiсть моделi. Такi прогнознi моделi допоможуть компанiям покращити свої моделi цiноутворення на новий товар. Швидкiсть отримання вiдповiдного прогнозу для кожного елемента бази є вкрай актуальною в час швидкого накопичення даних.
Keywords
GBM, GBDT, LightGBM, GOSS, EFB, predictive model, article, GBM, GBDT, LightGBM, GOSS, EFB, прогнозна модель
Citation
Drin S. Predictive model for a product without history using LightGBM. pricing model for a new product / S. Drin, A. Kriuchkova, V. Toloknova // Могилянський математичний журнал. - 2023. - T. 6. - C. 6-13. - https://doi.org/10.18523/2617-7080620236-13