全部產品
Search
文件中心

Tablestore:同步到MaxCompute

更新時間:Aug 23, 2025

Tablestore中的增量資料及全量資料可以通過DataWorks的Data Integration同步到MaxCompute中。

實現原理

DataWorksData Integration主要用於離線(批量)資料同步。離線(批量)的資料通道通過定義資料來源和去向的資料來源和資料集,提供一套抽象化的資料幫浦外掛程式(Reader)、資料寫入外掛程式(Writer),並基於此架構設計一套簡化版的中間資料轉送格式,從而實現任意結構化、半結構化資料來源之間的資料轉送。

image

同步Table Store資料到MaxCompute時,離線同步任務中會涉及到配置Table Store相關的Reader外掛程式和MaxCompute相關的Writer外掛程式。相關外掛程式說明如下:

  • Table Store相關的Reader外掛程式

    根據資料同步方式不同,要使用的Table Store相關的Reader外掛程式不同。具體說明請參見下表。

    同步方式

    所用外掛程式

    外掛程式說明

    全量匯出

    Tablestore(OTS) Reader

    用於讀取Table Store表中的資料,並可以通過指定抽取資料範圍實現資料增量抽取的需求。更多資訊,請參見Tablestore資料來源

    增量同步處理

    OTSStream Reader

    用於增量匯出Table Store表中的資料。更多資訊,請參見Tablestore Stream資料來源

  • MaxCompute相關的Write外掛程式

    不論使用的同步方式是全量匯出還是增量同步處理,DataWorks均使用MaxCompute Writer外掛程式向MaxCompute中寫入資料。更多資訊,請參見MaxCompute資料來源

同步方式

將Table Store的全量資料一次性匯出到MaxCompute中備份或者使用。更多資訊,請參見匯出全量資料到MaxCompute