Розробка фреймворку для масштабованої ETL-системи
Loading...
Date
2024
Authors
Копійка, Вадим
Journal Title
Journal ISSN
Volume Title
Publisher
Abstract
Метою цієї роботи є розробка універсального, як для batch-processing, так і для stream-processing, фреймворку для масштабованої ETL-системи. Побудована система відповідала б сучасним дослідженням стосовно організації етапів обробки даних і була б масштабованим рішенням, яке б задовольняло потребу в можливості розгортання всієї системи, як локально, так і в хмарному середовищі.
Description
Keywords
ETL, ELT, EtLT, архітектура, видобування даних, перетворення даних, вивантаження даних, Data Lake, Data Lakehouse, обробка даних, система керування, мікросервіси, Docker, Swarm, контейнери, масштабування, середовище оркестрації, магістерська робота