作業開發地圖導向概覽。
理解上下遊
上遊(Source):資料來源系統,即從哪裡讀取資料。
樣本:Kafka、MySQL CDC、Hologres、Log Service(如 SLS)等。
下遊(Sink):資料輸出目標,即處理後的結果寫入何處。
樣本:資料庫(MySQL、PostgreSQL)、資料倉儲(ClickHouse、Doris、StarRocks)、訊息佇列、資料湖(paimon/oss)等。
Realtime ComputeFlink支援 30+ 種上下遊連接器,涵蓋資料庫、訊息佇列與資料湖等情境,實現資料鏈路的開箱即用與快速對接。詳情請參見支援的連接器。
明確業務定位
作業類型 | 適用情境 |
Flink SQL | 即時 ETL,即時指標計算,多流 Join,即時數倉構建,構建湖倉的流批統一。 |
Flink CDC 資料攝入 | 資料庫即時同步,資料移轉,多表自動同步。 |
DatastreamAPI | 複雜事件處理(CEP),高頻外部調用,複雜視窗邏輯,自訂 Source/Sink。 |
作業開發
Flink SQL 快速實現 ETL、彙總、維表 Join。 | Flink CDC 資料攝入 資料庫即時同步、多表批量接入。 | DatastreamAPI 需要 CEP、自訂狀態、複雜邏輯。 |
典型的應用情境 | 查詢與測試 | 進階使用 |
多生態融合 | 營運與調優 | 常見問題處理 |