Про деякі необхідні та достатні умови рівноймовірного вибору альтернатив у рамках марковського ланцюга зміни ймовірностей вибору
Loading...
Date
2019
Authors
Олецький, Олексій
Journal Title
Journal ISSN
Volume Title
Publisher
Abstract
Задача вибору інтелектуальним агентом певної дії з деякої множини альтернатив розглядається з погляду деякого марковського ланцюга, стани якого відповідають розподілам імовірностей вибору. Відповідно до цього множина станів характеризується матрицею, яку названо матрицею "стан-вибір дії". Оскільки сума елементів кожного рядка дорівнює 1, але кількість стовпчиків може не дорівнювати кількості рядків, подібні матриці за аналогією зі стохастичними матрицями можна охарактеризувати як прямокутні стохастичні. У цьому контексті важливе значення мають збалансовані прямокутні стохастичні матриці, суми елементів кожного стовпчика яких рівні між собою. Показано деякі властивості таких матриць. Доведено, що якщо матриця "стан-вибір дії" є збалансованою, а перехідна матриця марковського ланцюга є подвійно-стохастичною, то агент вибирає варіанти з рівними ймовірностями. За умови певних додаткових припущень доведено й зворотне твердження. Наведено деякі алгоритми генерації збалансованих прямокутних стохастичних матриць, а також результати одного з ілюстративних комп’ютерних експериментів.
This paper describes the process of making and changing decisions by means of a Markov chain based on a model named "state-probability of action" (SPA). In this model, each state is connected with probabilities of choosing variants, and changing these probabilities is switching between states. One of the most important components of the SPA model is a matrix in which the rows correspond to the states and the columns correspond to possible variants of choice. The sum of elements of each row equals 1, and the matrix generally is a rectangular one. So we may regard such matrices as a generalization of stochastic matrices which we will name rectangular stochastic matrices (RSM). An important particular case of RSMs is the case when component sums of all the columns are equal to each other, and we will name such a kind of matrices balanced rectangular stochastic matrices (BRSM). More exactly, it has been proven that the sum of each column equals m/n, where n is the number of columns and m is the number of rows. Some important properties of BRSMs are discussed, and sufficient and necessary conditions related to the connection between BRSMs and equal probabilities of choices are proven in the article. BRSMs appear to become a good starting point for simulating processes of actual decision making when changing the model turns the agent’s behavior from the equi-probabilistic choice to other possible situations. For generating BRSMs, some approaches are proposed, based on permuting components of some basic vector and by getting convex hulls of other BRSMs. Some actual simulations are described, where pair comparisons have been used for getting choice probabilities.
This paper describes the process of making and changing decisions by means of a Markov chain based on a model named "state-probability of action" (SPA). In this model, each state is connected with probabilities of choosing variants, and changing these probabilities is switching between states. One of the most important components of the SPA model is a matrix in which the rows correspond to the states and the columns correspond to possible variants of choice. The sum of elements of each row equals 1, and the matrix generally is a rectangular one. So we may regard such matrices as a generalization of stochastic matrices which we will name rectangular stochastic matrices (RSM). An important particular case of RSMs is the case when component sums of all the columns are equal to each other, and we will name such a kind of matrices balanced rectangular stochastic matrices (BRSM). More exactly, it has been proven that the sum of each column equals m/n, where n is the number of columns and m is the number of rows. Some important properties of BRSMs are discussed, and sufficient and necessary conditions related to the connection between BRSMs and equal probabilities of choices are proven in the article. BRSMs appear to become a good starting point for simulating processes of actual decision making when changing the model turns the agent’s behavior from the equi-probabilistic choice to other possible situations. For generating BRSMs, some approaches are proposed, based on permuting components of some basic vector and by getting convex hulls of other BRSMs. Some actual simulations are described, where pair comparisons have been used for getting choice probabilities.
Description
Keywords
інтелектуальний агент, марковський ланцюг, задача вибору, прямокутна стохастична матриця, рівноймовірний вибір, парні порівняння, стаття, intelligent agent, problem of choosing, Markov chain, rectangular stochastic matrix, article
Citation
Олецький О. В Про деякі необхідні та достатні умови рівноймовірного вибору альтернатив у рамках марковського ланцюга зміни ймовірностей вибору / Олецький Олексій // Наукові записки НаУКМА. Комп'ютерні науки. - 2019. - Т. 2. - С. 4-9.