本文對MaxCompute系統資料的上傳和下載進行概述,包括服務串連、SDK、工具和資料上雲情境。
總的來說,您可以通過DataHub即時資料通道和Tunnel批量資料通道兩種途徑進出MaxCompute系統。DataHub和Tunnel各自都提供了SDK,而基於這些SDK又衍生了許多用於資料上傳/下載的工具,方便您在各種情境下的資料進行上傳/下載的需求。
資料上傳/下載的工具主要包括:DataWorks、DTS、OGG外掛程式、Sqoop、Flume外掛程式、LogStash外掛程式、Fluentd外掛程式、Kettle外掛程式以及MaxCompute用戶端等。
上述工具使用的底層資料通道,分類如下:
- DataHub通道系列
- OGG外掛程式
- Flume外掛程式
- LogStash外掛程式
- Fluentd外掛程式
- Tunnel通道系列
- DataWorks
- DTS
- Sqoop
- Kettle外掛程式
- MaxCompute用戶端
基於上述豐富的資料上傳/下載的工具,可以滿足大部分常見的資料上雲情境,後續的章節會對工具本身以及Hadoop資料移轉、資料庫資料同步、日誌採集等資料上雲的情境進行介紹,為您進行技術方案選型時提供參考。