Elasticsearch як ядро пошукової системи

Abstract

Задача побудови пошукової системи вимагає чіткого розуміння аспектів сфери її використання, таких як: об’єм пошукових даних, кількість користувачів, кількість пошукових запитів в секунду (rps). Що робити, коли даних багато та навантаження на систему велике? Сучасні пошукові системи мають наступні базовіфункції: швидкий повнотекстовий пошук, фільтрацію, сортування і ранжування документів, нечіткий пошук, швидке збереження та індексування структурованих даних. Необхідність отримувати результати пошукових запитів за мілісекунди, маючи десятки або сотні гігабайт інформації вимагає використання ефективних алгоритмів та структур даних. Окрім цього, сама система повинна гарантувати цілісність та відмовостійкість. Надає необхідний функціонал та задовольняє наведені вимоги пошуковий двигун Elasticsearch. Для демонстрації можливостей індексації, пошуку та аналізу було використано статистичні дані поширення вірусу COVID-19, опубліковані університетом Джона Гопкінса [5]. Для ілюстрації індексованих даних поширення вірусу було використано Kibana - інструмент для візуалізації даних з Elasticsearh. Мета роботи - розглянути можливості пошукового двигуна Elasticsearch, виконати індексацію та аналіз тестових даних. Постановка задачі 1. Ознайомитися з базовим функціоналом пошукового двигуна Elasticsearch. 2. Дослідити алгоритми та структури даних, що використовуються для індексації. 3. Розглянути архітектуру пошукового двигуна. 4. Застосувати Elasticsearch для індексації та аналізу тестових даних.