ELK

Hi ELK。

ETL（Extract, Transform, Load）

從多種資料源提取資料，對其進行轉換，以適應資料倉儲或其他系統的需求，然後將其加載到目標數據庫或數據倉儲中。

• 提取 (Extract)

SELECT * FROM orders WHERE order_date BETWEEN '2022-01-01' AND '2022-12-31';

• 轉換 (Transform)

UPDATE orders 
SET order_amount_twd = order_amount_usd * 28 
WHERE order_date BETWEEN '2022-01-01' AND '2022-12-31';

• 加載 (Load)

INSERT INTO orders_2022 
SELECT * FROM orders 
WHERE order_date BETWEEN '2022-01-01' AND '2022-12-31';

ELK

一個ETL應用，讓用戶能在一個平台上搜尋，搜尋與監控所有日誌。

1. Elasticsearch: 集中儲存資料以便於做快速搜尋，輕易擴展分析。 搜尋log
2. Logstash: 能夠從多個資料源擷取、轉換、再將其傳送至您的「存放區」。 處理log
3. Kibana: 提供搜尋和可視化的功能。查看log

實時數據處理和分析領域

處理大規模高吞吐量、低延遲的複雜數據查詢可以用Elasticsearch或Kafka，但缺點都是存儲成本與設定複雜度高。

• Elasticsearch
  • 提供RESTful API
• Kafka
  • 持久數據，可以故障恢復
  • 可擴充節點增加負載
  • 需要其他組件完成像ELK的功能

ref

---

如果你覺得這篇文章很棒，請你不吝點讚 (ﾟ∀ﾟ)