本文對MaxCompute系統資料的上傳和下載進行概述,包括服務串連、SDK、工具和資料上雲情境。

總的來說,您可以通過DataHub即時資料通道和Tunnel批量資料通道兩種途徑進出MaxCompute系統。DataHub和Tunnel各自都提供了SDK,而基於這些SDK又衍生了許多用於資料上傳/下載的工具,方便您在各種情境下的資料進行上傳/下載的需求。

資料上傳/下載的工具主要包括:DataWorks、DTS、OGG外掛程式、Sqoop、Flume外掛程式、LogStash外掛程式、Fluentd外掛程式、Kettle外掛程式以及MaxCompute用戶端等。

上述工具使用的底層資料通道,分類如下:
  • DataHub通道系列
    • OGG外掛程式
    • Flume外掛程式
    • LogStash外掛程式
    • Fluentd外掛程式
  • Tunnel通道系列
    • DataWorks
    • DTS
    • Sqoop
    • Kettle外掛程式
    • MaxCompute用戶端

基於上述豐富的資料上傳/下載的工具,可以滿足大部分常見的資料上雲情境,後續的章節會對工具本身以及Hadoop資料移轉、資料庫資料同步、日誌採集等資料上雲的情境進行介紹,為您進行技術方案選型時提供參考。