利用MaxCompute平台的資料上傳/下載工具,可以廣泛用於各種資料上雲的應用情境,本文將介紹幾種常見的經典情境。
Hadoop資料移轉
Hadoop資料移轉有兩種可選的工具,分別是Sqoop和DataWorks。
- Sqoop執行時,會在原來的Hadoop叢集上執行MR作業,可以分布式地將資料轉送到MaxCompute上,效率會比較高,詳情請參見Sqoop工具的介紹。
-
DataWorks可以結合DataX進行Hadoop資料移轉。
資料庫資料同步
資料庫資料同步到MaxCompute需要根據資料庫的類型和同步策略來選擇相應的工具。
日誌採集
日誌採集時,您可以選用Flume、Fluentd、LogStash等工具。