A discrete regularization method for hidden Markov models embedded into reproducing kernel Hilbert space
Loading...
Date
2018
Authors
Kriukova, Galyna
Journal Title
Journal ISSN
Volume Title
Publisher
Abstract
Hidden Markov models are a well-known probabilistic graphical model for time series of discrete, partially
observable stochastic processes. We consider the method to extend the application of hidden Markov models
to non-Gaussian continuous distributions by embedding a priori probability distribution of the state space
into reproducing kernel Hilbert space. Corresponding regularization techniques are proposed to reduce the
tendency to overfitting and computational complexity of the algorithm, i.e. Nystr¨om subsampling and the general
regularization family for inversion of feature and kernel matrices. This method may be applied to various
statistical inference and learning problems, including classification, prediction, identification, segmentation,
and as an online algorithm it may be used for dynamic data mining and data stream mining. We investigate,
both theoretically and empirically, the regularization and approximation bounds of the discrete regularization
method. Furthermore, we discuss applications of the method to real-world problems, comparing the approach
to several state-of-the-art algorithms.
Прихованi марковськi моделi - добре вiдомi ймовiрнiснi графiчнi моделi для часових рядiв дискретних, частково спостережуваних стохастичних процесiв. Ми розглядаємо спосiб розширити застосування прихованих марковських моделей до негаусових неперервних розподiлiв за допомогою занурення апрiорного ймовiрнiсного розподiлу простору станiв у гiльбертiв простiр iз вiдтворюючим ядром. Вiдповiднi методи регуляризацiї запропоновано для зменшення схильностi до перенавчання та обчислювальної складностi алгоритму, наприклад, метод пiдвибiрки Нiстрома та узагальнене сiмейство регуляризацiйних функцiй застосовуються пiд час побудови обернених ядерної та ознакової матриць. Цей метод може бути використаний у рiзних задачах статистичного виведення, зокрема класифiкацiї, передбачення, iдентифiкацiї, сегментацiї, а також як онлайн-алгоритм - для динамiчної обробки даних та обробки потоку даних. Далi ми наводимо приклад застосування методу до прикладних задач, порiвнюємо запропонований пiдхiд iз сучасними алгоритмами. Метою дослiдження є розробка методiв регуляризацiї обернених задач, що виникають на стадiї навчання ймовiрнiсних графiчних моделей, в яких уявлення про розподiл занурено в гiльбертiв простiр iз вiдтворюючим ядром. Основною методикою реалiзацiї є застосування узагальненого сiмейства регуляризацiйних функцiй та дискретної регуляризацiї, зокрема метод Нiстрома, до вiдповiдних обернених задач обертання матриць ядра та ознак. Задачу вибору вiдповiдних регуляризацiйних змiнних та параметрiв ядра, що визначає гiльбертiв простiр, розв’язано за допомогою методу лiнiйної функцiональної стратегiї, тобто ансамблю рiшень, побудованих iз рiзними значеннями параметрiв. У результатi дослiдження отримано теоретичнi апроксимацiйнi оцiнки та оцiнки складностi алгоритму, а також у процесi чисельного експерименту запропонований пiдхiд було порiвняно з продуктивнiстю iнших алгоритмiв.
Прихованi марковськi моделi - добре вiдомi ймовiрнiснi графiчнi моделi для часових рядiв дискретних, частково спостережуваних стохастичних процесiв. Ми розглядаємо спосiб розширити застосування прихованих марковських моделей до негаусових неперервних розподiлiв за допомогою занурення апрiорного ймовiрнiсного розподiлу простору станiв у гiльбертiв простiр iз вiдтворюючим ядром. Вiдповiднi методи регуляризацiї запропоновано для зменшення схильностi до перенавчання та обчислювальної складностi алгоритму, наприклад, метод пiдвибiрки Нiстрома та узагальнене сiмейство регуляризацiйних функцiй застосовуються пiд час побудови обернених ядерної та ознакової матриць. Цей метод може бути використаний у рiзних задачах статистичного виведення, зокрема класифiкацiї, передбачення, iдентифiкацiї, сегментацiї, а також як онлайн-алгоритм - для динамiчної обробки даних та обробки потоку даних. Далi ми наводимо приклад застосування методу до прикладних задач, порiвнюємо запропонований пiдхiд iз сучасними алгоритмами. Метою дослiдження є розробка методiв регуляризацiї обернених задач, що виникають на стадiї навчання ймовiрнiсних графiчних моделей, в яких уявлення про розподiл занурено в гiльбертiв простiр iз вiдтворюючим ядром. Основною методикою реалiзацiї є застосування узагальненого сiмейства регуляризацiйних функцiй та дискретної регуляризацiї, зокрема метод Нiстрома, до вiдповiдних обернених задач обертання матриць ядра та ознак. Задачу вибору вiдповiдних регуляризацiйних змiнних та параметрiв ядра, що визначає гiльбертiв простiр, розв’язано за допомогою методу лiнiйної функцiональної стратегiї, тобто ансамблю рiшень, побудованих iз рiзними значеннями параметрiв. У результатi дослiдження отримано теоретичнi апроксимацiйнi оцiнки та оцiнки складностi алгоритму, а також у процесi чисельного експерименту запропонований пiдхiд було порiвняно з продуктивнiстю iнших алгоритмiв.
Description
Keywords
Hidden Markov model, data stream mining, reproducing kernel Hilbert space, online algorithm, regularization, article, прихована марковська модель, обробка потоку даних, гiльбертiв простiр iз вiдтворюючим ядром, онлайн-алгоритм, регуляризацiя
Citation
Kriukova G. A discrete regularization method for hidden Markov models embedded into reproducing kernel Hilbert space / G. Kriukova // Могилянський математичний журнал : науковий журнал. - 2018. - Т. 1. - С. 15-20.