Duże ilości danych wymagają zaplanowania architektury pod kątem ich zbierania, przechowywania, ich analizy czy udostępniania do innych systemów. W tradycyjnym modelu dane są zbierane przez hurtownie danych z systemów np. ERP, CRM, eCommerce, WMS, itd. a analizowane w systemach klasy Business Inteligence.
Poniżej przykładowy flow od źródeł danych, poprzez ich zbieranie, transformację, przechowywanie i analizę.
Źródła danych dla Big Data
- Aplikacje mobilne
- Aplikacje dedykowane
- Systemy ERP, WMS, CRM, POS, MES, MRP, APS, TMS, itd.
- Systemy eCommerce jak sklepy internetowe, marketplace
- Bazy OLTP
- Bazy logów, eventów
- API innych firm
- itd.
Zbieranie i transformacja danych
- Konektory
- Zbieranie danych
- Workflow Manager
- Platforma Spark
- Python Libs
- Batch Query Engine
- Event Streaming
Przechowywanie danych
- Data lake
- Data warehouse
Analiza danych, predictive, sztuczna inteligencja (AI – Artificial Intelligence), uczenie maszynowe (Machine Learning)
- Data Science Platform
- Biblioteki Machine Learning
- Analityka czasu rzeczywistego
Rezultaty analizy danych
- Dashboardy
- Wbudowana analityka
- Rozszerzona analityka
- Aplikacje wbudowane, frameworki app
Powyższy schemat architektury pozwala na zbieranie danych biznesowych, wyciąganie danych z systemów operacyjnych, dostarczanie danych do magazynów danych wg. określonych schematów, transformację danych dla narzędzi analitycznych, przechowywanie danych aby mogły być one używane do analizy z uwzględnieniem kosztów przechowywania, czasów dostępów czy czasów dostarczenia danych, analizę danych poprzez systemy lub platformy do analizy, analizy historyczne i próby przewidywania przyszłości (predictive) aż do prezentacji wyników analizy danych dla wewnętrznych lub zewnętrznych użytkowników np. w systemach czy aplikacjach.
Jakie są najnowsze trendy w architekturze Big Data?
- Zmiana systemów On Prem na Cloud Data Warehouse
- Zmiana Hadoop na Data Lakes
- Zmiany ETP (Extract Transform Load) na ELT (Extract Load Transform)
- Zmiana Workflow Manager na Dataflow Automation
Zobacz także:
Zapraszamy do kontaktu:
pfederowicz@gotechnologies.pl