Kriukova, Galyna2018-12-142018-12-142018Kriukova G. A discrete regularization method for hidden Markov models embedded into reproducing kernel Hilbert space / G. Kriukova // Могилянський математичний журнал : науковий журнал. - 2018. - Т. 1. - С. 15-20.2617-7080https://ekmair.ukma.edu.ua/handle/123456789/14917https://doi.org/10.18523/2617-7080i2018p15-20Hidden Markov models are a well-known probabilistic graphical model for time series of discrete, partially observable stochastic processes. We consider the method to extend the application of hidden Markov models to non-Gaussian continuous distributions by embedding a priori probability distribution of the state space into reproducing kernel Hilbert space. Corresponding regularization techniques are proposed to reduce the tendency to overfitting and computational complexity of the algorithm, i.e. Nystr¨om subsampling and the general regularization family for inversion of feature and kernel matrices. This method may be applied to various statistical inference and learning problems, including classification, prediction, identification, segmentation, and as an online algorithm it may be used for dynamic data mining and data stream mining. We investigate, both theoretically and empirically, the regularization and approximation bounds of the discrete regularization method. Furthermore, we discuss applications of the method to real-world problems, comparing the approach to several state-of-the-art algorithms.Прихованi марковськi моделi - добре вiдомi ймовiрнiснi графiчнi моделi для часових рядiв дискретних, частково спостережуваних стохастичних процесiв. Ми розглядаємо спосiб розширити застосування прихованих марковських моделей до негаусових неперервних розподiлiв за допомогою занурення апрiорного ймовiрнiсного розподiлу простору станiв у гiльбертiв простiр iз вiдтворюючим ядром. Вiдповiднi методи регуляризацiї запропоновано для зменшення схильностi до перенавчання та обчислювальної складностi алгоритму, наприклад, метод пiдвибiрки Нiстрома та узагальнене сiмейство регуляризацiйних функцiй застосовуються пiд час побудови обернених ядерної та ознакової матриць. Цей метод може бути використаний у рiзних задачах статистичного виведення, зокрема класифiкацiї, передбачення, iдентифiкацiї, сегментацiї, а також як онлайн-алгоритм - для динамiчної обробки даних та обробки потоку даних. Далi ми наводимо приклад застосування методу до прикладних задач, порiвнюємо запропонований пiдхiд iз сучасними алгоритмами. Метою дослiдження є розробка методiв регуляризацiї обернених задач, що виникають на стадiї навчання ймовiрнiсних графiчних моделей, в яких уявлення про розподiл занурено в гiльбертiв простiр iз вiдтворюючим ядром. Основною методикою реалiзацiї є застосування узагальненого сiмейства регуляризацiйних функцiй та дискретної регуляризацiї, зокрема метод Нiстрома, до вiдповiдних обернених задач обертання матриць ядра та ознак. Задачу вибору вiдповiдних регуляризацiйних змiнних та параметрiв ядра, що визначає гiльбертiв простiр, розв’язано за допомогою методу лiнiйної функцiональної стратегiї, тобто ансамблю рiшень, побудованих iз рiзними значеннями параметрiв. У результатi дослiдження отримано теоретичнi апроксимацiйнi оцiнки та оцiнки складностi алгоритму, а також у процесi чисельного експерименту запропонований пiдхiд було порiвняно з продуктивнiстю iнших алгоритмiв.enHidden Markov modeldata stream miningreproducing kernel Hilbert spaceonline algorithmregularizationarticleприхована марковська модельобробка потоку данихгiльбертiв простiр iз вiдтворюючим ядромонлайн-алгоритмрегуляризацiяArticle