DataHub DataConnector是把DataHub服務中的流式資料同步到其他雲產品中的功能,目前支援將Topic中的資料即時/准即時同步到MaxCompute(ODPS)、OSS、Elasticsearch、RDS Mysql、ADS、TableStore中。使用者只需要向DataHub中寫入一次資料,並在DataHub服務中配置好同步功能,便可以在各個雲產品中使用這份資料。
DataHub DataConnector是把DataHub服務中的流式資料同步到其他雲產品中的功能,目前支援將Topic中的資料即時/准即時同步到MaxCompute(ODPS)、OSS、Elasticsearch、RDS Mysql、ADS、TableStore中。使用者只需要向DataHub中寫入一次資料,並在DataHub服務中配置好同步功能,便可以在各個雲產品中使用這份資料。
注意事項:
目前所有DataConnector均僅支援同一Region的雲端服務之間同步資料,不支援同步資料到跨Region的服務。
DataConnector所配置的目標服務Endpoint需要填寫相應的內網網域名稱(傳統網路),不支援使用公網網域名稱同步。
資料同步目前僅支援at least once語義,在網路服務異常等小機率情境下可能會導致目的端的資料產生重複,需要做去重處理。
DataConnector支援系統
目標系統 | 時效性 | 是否支援vpc | 描述 |
MaxCompute(ODPS) | 准即時,通常情況5分鐘延遲 | No | 同步Topic中流式資料到離線MaxCompute表,欄位類型名稱需一一對應,且DataHub中必須包含一列(或多列)MaxCompute表中分區列對應的欄位 |
OSS | 即時 | No | 同步資料到Object Storage Service指定Bucket的檔案中,將以csv格式儲存 |
Elasticsearch | 即時 | Yes | 同步資料到Elasticsearch指定Index中,Shard之間資料同步不保證時序,所以需將同樣ID的資料寫入相同的Shard中 |
MySQL | 即時 | Yes | 同步資料到指定的Rds Mysql表中 |
ADS | 即時 | No | 同步資料到指定的ADS表中 |
TableStore | 即時 | No | 同步資料到指定的TableStore表中 |
查看同步任務
在建立完成同步任務後,切換到資料同步頁簽點擊查看可以查看同步的詳細資料,包括同步的點位、同步狀態等資訊

