利用MaxCompute平台的資料上傳/下載工具,可以廣泛用於各種資料上雲的應用情境,本文將介紹幾種常見的經典情境。

Hadoop資料移轉

Hadoop資料移轉有兩種可選的工具,分別是Sqoop和DataWorks。

  • Sqoop執行時,會在原來的Hadoop叢集上執行MR作業,可以分布式地將資料轉送到MaxCompute上,效率會比較高,詳情請參見Sqoop工具的介紹
  • DataWorks可以結合DataX進行Hadoop資料移轉。

資料庫資料同步

資料庫資料同步到MaxCompute需要根據資料庫的類型和同步策略來選擇相應的工具。

  • 離線批量的資料庫資料同步:可以選擇DataWorks,支援的資料庫種類比較豐富,有MySQL、SQL Server、PostgreSQL等,詳情請參見資料同步簡介,您也可以參見 建立同步任務進行執行個體操作。
  • Oracle資料庫資料即時同步時,可以選擇OGG外掛程式工具。
  • RDS資料庫資料即時同步時,可以選擇DTS同步。

日誌採集

日誌採集時,您可以選用Flume、Fluentd、LogStash等工具。