Software architecture of the question-answering subsystem with elements of self-learning
Loading...
Date
2021
Authors
Hlybovets, Andrii
Tsaruk, A.
Journal Title
Journal ISSN
Volume Title
Publisher
Abstract
Within the framework of this paper, the analysis of software systems of question-answering type and their basic architectures has been carried out.
With the development of machine learning technologies, creation of natural language processing (NLP) engines, as well as the rising popularity of virtual personal assistant programs that use the capabilities of speech synthesis (text-to-speech), there is a growing need in developing question-answering systems which can provide personalized answers to users' questions. All modern cloud providers proposed frameworks for organization of question answering systems but still we have a problem with personalized dialogs. Personalization is very important, it can put forward additional demands to a question-answering system’s capabilities to take this information into account while processing users’ questions.
Traditionally, a question-answering system (QAS) is developed in the form of an application that contains a knowledge base and a user interface, which provides a user with answers to questions, and a means of interaction with an expert. In this article we analyze modern approaches to architecture development and try to build system from the building blocks that already exist on the market. Main criteria for the NLP modules were: support of the Ukrainian language, natural language understanding, functions of automatic definition of entities (attributes), ability to construct a dialogue flow, quality and completeness of documentation, API capabilities and integration with external systems, possibilities of external knowledge bases integration After provided analyses article propose the detailed architecture of the question-answering subsystem with elements of self-learning in the Ukrainian language. In the work you can find detailed description of main semantic components of the system (architecture components).
У рамках даної роботи проведено аналіз програмних систем запитально-відповідного типу та їх базових архітектур. З розвитком технологій машинного навчання, створенням механізмів обробки природної мови (NLP), а також зростанням популярності віртуальних персональних помічників, які використовують можливості синтезу мовлення (перетворення тексту в мовлення), зростає потреба в розробці питально-відповідальних систем, які можуть вести персоналізований діалог з користувачем. Усі сучасні хмарні провайдери запропонували фреймворки для побудови питально-відповідальних систем, але ми все ще маємо проблему з персоналізованими діалогами на основі баз знань. Персоналізація дуже важлива, вона може висувати додаткові вимоги до архітектури системи при веденні діалогу з користувачем. Традиційно систему запитань-відповідей (QAS) розробляють у вигляді програми, що містить базу знань та інтерфейс користувача, що надає користувачеві відповіді на запитання, і засіб взаємодії з експертом. У цій статті ми аналізуємо сучасні підходи до розробки архітектури та намагаємося побудувати систему з блоків, які вже існують на ринку. Основними критеріями при обранні модулів NLP були: підтримка української мови, розуміння природної мови, функції автоматичного визначення сутностей (атрибутів), здатність побудови діалогового потоку, якість і повнота документації, можливості API та інтеграція із зовнішніми системами, можливості інтеграції зовнішніх баз знань. Після проведеного аналізу в статті пропонується детальна архітектура питально-відповідальної підсистеми з елементами самонавчання українською мовою. У роботі ви знайдете детальний опис основних семантичних компонентів системи (компонентів архітектури).
У рамках даної роботи проведено аналіз програмних систем запитально-відповідного типу та їх базових архітектур. З розвитком технологій машинного навчання, створенням механізмів обробки природної мови (NLP), а також зростанням популярності віртуальних персональних помічників, які використовують можливості синтезу мовлення (перетворення тексту в мовлення), зростає потреба в розробці питально-відповідальних систем, які можуть вести персоналізований діалог з користувачем. Усі сучасні хмарні провайдери запропонували фреймворки для побудови питально-відповідальних систем, але ми все ще маємо проблему з персоналізованими діалогами на основі баз знань. Персоналізація дуже важлива, вона може висувати додаткові вимоги до архітектури системи при веденні діалогу з користувачем. Традиційно систему запитань-відповідей (QAS) розробляють у вигляді програми, що містить базу знань та інтерфейс користувача, що надає користувачеві відповіді на запитання, і засіб взаємодії з експертом. У цій статті ми аналізуємо сучасні підходи до розробки архітектури та намагаємося побудувати систему з блоків, які вже існують на ринку. Основними критеріями при обранні модулів NLP були: підтримка української мови, розуміння природної мови, функції автоматичного визначення сутностей (атрибутів), здатність побудови діалогового потоку, якість і повнота документації, можливості API та інтеграція із зовнішніми системами, можливості інтеграції зовнішніх баз знань. Після проведеного аналізу в статті пропонується детальна архітектура питально-відповідальної підсистеми з елементами самонавчання українською мовою. У роботі ви знайдете детальний опис основних семантичних компонентів системи (компонентів архітектури).
Description
Keywords
question-answering systems, chatbots, Google Dialogflow, self learning, software architecture, article, питально відповідальні системи, чат-бот, Google Dialogflow, самонавчання, архітектура програмного застосунку
Citation
Hlybovets A. Software architecture of the question-answering subsystem with elements of self-learning / A. Hlybovets, A. Tsaruk // Штучний інтелект. - 2021. - № 2. - С. 88-95. - https://doi.org/10.15407/jai2021.02.088