Алгоритм вилучення ключових фрагментів зображень у системах відеопошуку
Loading...
Date
2022
Authors
Афонін, Андрій
Оксюта, Ірина
Journal Title
Journal ISSN
Volume Title
Publisher
Abstract
У статті описано алгоритм вилучення ключових кадрів фрагментів зображень у процесі оброблення відеозаписів для індексації у відеопошукових системах. Наведено дослідження сучасних методів машинного навчання у вирішенні задач детекції та кластеризації зображень для досягнення найвищої точності в процесі оброблення. Запропоновано метрики оцінки якості кадрів для визначення найкращих і ранжування. Результати роботи алгоритму може бути використано в системах розпізнавання облич для подальшого присвоєння міток у процесі відеопошуку.
Description
As a part of this work, there was a study of image processing algorithms used in video search systems.
With the development of search engines and an increase in the types of queries possible for searching,
the need for indexing an increasing amount of diverse information is growing. New data in the form of images
and videos require new processing techniques to extract key content descriptions. In video search engines,
according to this description, users can find the video files most relevant to the search query. The
search query, in turn, can be of various types: text, search by image, search by video file to find a similar
one, etc. Therefore, it is necessary to accurately describe the objects in the video in order to assign appropriate
labels to the video file in the search engine database.
In this article, we focused on the algorithm for extracting key frames of faces from a video sequence,
since one of the important objects in the video are people themselves. This algorithm allows you to perform
the initial processing of the file and save the identified frames with faces in order to later process this data
with the help of the face recognition algorithm and assign the appropriate labels. An alternative application
for this algorithm is the current processing of video files to form datasets of faces for the development and
training of new computer vision models. The main criteria for such an algorithm were: the accuracy of face
detection, the ability to distinguish keyframes of all people from each other, comprehensive evaluation of
candidate frames and sorting by the relevance of the entire set for each face.
After an analysis of existing solutions for specific stages of the algorithm, the article proposes a sequence
of steps for the algorithm for extracting key frames of faces from a video file. An important step is to
assess the quality of all candidates and sort them by quality. For this, the work defines various metrics for
assessing the quality of the frame, which affect the overall assessment and, accordingly, the sorting order.
The article also describes the basic version of the interface for using the proposed algorithm.
Keywords
системи відеопошуку, оброблення відеозаписів, детекція облич, комп’ютерний зір, машинне навчання, стаття, content-based video retrieval systems, video processing, face detection, computer vision, machine learning
Citation
Афонін А. О. Алгоритм вилучення ключових фрагментів зображень у системах відеопошуку / Афонін А. О., Оксюта І. М. // Наукові записки НаУКМА. Комп'ютерні науки. - 2022. - Т. 5. - С. 62-67. - https://doi.org/10.18523/2617-3808.2022.5.62-67