Алгоритм токенізації та стемінгу для текстів українською мовою

Simple item page
dc.contributor.authorГлибовець, Андрій
dc.contributor.authorТочицький, Володимир
dc.date.accessioned2018-01-27T19:04:45Z
dc.date.available2018-01-27T19:04:45Z
dc.date.issued2017
dc.description.abstractУ статті досліджено проблематику застосування алгоритмів токенізації (лематизації) та стемінгу для обробки документів українською мовою як початкових етапів для аналізу текстових документів. Аналіз текстів – доволі поширена задача, що виникає в різноманітних завданнях, і на першому етапі початкової обробки завжди використовується стемінг або лематизація. Для більшості мов цю проблему давно розв’язано й існує багато різноманітних реалізацій. Але для української мови немає реалізації цих алгоритмів. Для написання лематизатора потрібно мати багато додаткових інструментів, оскільки він спирається на лексикографічний аналіз, тоді як реалізація стемера не потребує додаткових бібліотек. У цій статті ми зосередилися на створенні стемера для української мови. Було проаналізовано наявні алгоритми і запропоновано адаптацію та реалізацію для української мови. Результатом є готовий модуль мовою PHP, що перебуває у вільному доступі та може використовуватися в проектах, пов’язаних з аналізом текстів українською мовою.uk_UA
dc.description.abstractThe article focuses on the problem of adaptation of tokenization and stemming algorithms for documents written in the Ukrainian language and finding an optimal approach to the initial stage of automated text analysis. Intelligent Text Analysis (IAT) is the direction of Data Mining and Artificial Intelligence, whose purpose is to retrieve information from collections of text documents based on the application of effective methods of machine learning and the processing of natural language. Every year, progress in this area is growing at a rapid pace. Modern software increasingly needs ready-made solutions for word processing and enhancement of their systems. The greatest difficulty is encountered when working with natural language or with texts without a clear content structure. The key tasks of IAT: categorization of texts, information search, processing of changes in text collections, and development of means of representation of information for the user. In order to work comfortably with the text, one needs to translate it into the presentation of the programming language and process it for further work. For the Ukrainian language, there are some unfinished works (for example, “Free algorithm for stigma for the Ukrainian language” http://www.senyk.poltava.ua/projects/projects.html) or complex systems, but without the necessary functional (for example, “LanguageTool” https://www.languagetool.org/development/). Therefore, there is a need to implement their own libraries for processing and analyzing texts. After analyzing the classic approaches to the text mining text analysis, we adapted Porter’s algorithm and implemented a freely available PHP language module for tokenization and emulation of the Ukrainian language. Practical testing has shown that for tokenization, a simple breakdown into spaces with the subsequent normalization of tokens works well. For stemming, we used an approach that cuts the end and suffix, bringing words to its root as closely as possible. A better result can be achieved through lemmatization, but such a solution requires a separate study of the language and large resources. The resulting initial processing of the text in this article allows one to work with tokens to obtain semantic links in texts written in Ukrainian. The stemmer designed as a module that can be quickly integrated into the project and available for use at the link https://packagist.org/packages/tochytskyi/ukrstemmeren_US
dc.identifier.citationГлибовець А. М. Алгоритм токенізації та стемінгу для текстів українською мовою / Глибовець А. М., Точицький В. В. // Наукові записки НаУКМА. Комп'ютерні науки. - 2017. - Т. 198. - С. 4-8.uk_UA
dc.identifier.urihttps://ekmair.ukma.edu.ua/handle/123456789/12541
dc.language.isoukuk_UA
dc.relation.sourceНаукові записки НаУКМА: Комп'ютерні наукиuk_UA
dc.statuspublished earlieruk_UA
dc.subjecttext miningen_US
dc.subjectтокенізаціяuk_UA
dc.subjectлематизаціяuk_UA
dc.subjectстемінгuk_UA
dc.subjectсемантичний аналіз текстівuk_UA
dc.subjectстаттяuk_UA
dc.subjecttokenizationen_US
dc.subjectlematizationen_US
dc.subjectstemmingen_US
dc.subjectsemantic text analysisen_US
dc.subjectстаттяuk_UA
dc.titleАлгоритм токенізації та стемінгу для текстів українською мовоюuk_UA
dc.title.alternativeTokenization and Stemming Algorithms for the Ukrainian Languageen_US
dc.typeArticleuk_UA
Files
Original bundle
Now showing 1 - 1 of 1
Thumbnail Image
Name:
Hlybovets_Tochytskyi_Alhorytm_tokenizatsii.pdf
Size:
283.86 KB
Format:
Adobe Portable Document Format
Description:
Download
License bundle
Now showing 1 - 1 of 1
No Thumbnail Available
Name:
license.txt
Size:
7.54 KB
Format:
Item-specific license agreed upon to submission
Description:
Download
Collections
198: Комп'ютерні науки
Кафедра мережних технологій