MaxCompute平台提供了豐富的資料上傳下載工具,可以廣泛應用於各種資料上雲的應用情境,本文為您介紹三種經典資料上雲情境。
Hadoop資料移轉
您可使用MMA、Sqoop和DataWorks進行Hadoop資料移轉。
- DataWorks可以結合DataX進行Hadoop資料移轉。
- Sqoop執行時,會在原來的Hadoop叢集上執行MR作業,可以分布式地將資料轉送到MaxCompute上,詳情請參見Sqoop工具的介紹。
資料庫資料同步
資料庫的資料同步到MaxCompute需要根據資料庫的類型和同步策略來選擇相應的工具。
- 離線批量的資料庫資料同步:可以選擇DataWorks,支援的資料庫種類豐富,包括MySQL、SQL Server、PostgreSQL等,詳情請參見通過嚮導模式配置離線同步任務。您也可以參見建立同步任務進行執行個體操作。
- Oracle資料庫資料即時同步時,可以選擇OGG外掛程式。
- RDS資料庫資料即時同步時,可以選擇DataWorks的Data Integration,詳情請參見配置資料來源(來源為MySQL)。
日誌採集
日誌採集時,您可以選用Flume、Fluentd、Logstash等工具。