全部產品
Search
文件中心

DataHub:查看同步任務

更新時間:Jul 13, 2024

DataHub DataConnector是把DataHub服務中的流式資料同步到其他雲產品中的功能,目前支援將Topic中的資料即時/准即時同步到MaxCompute(ODPS)、OSS、Elasticsearch、RDS Mysql、ADS、TableStore中。使用者只需要向DataHub中寫入一次資料,並在DataHub服務中配置好同步功能,便可以在各個雲產品中使用這份資料。

DataHub DataConnector是把DataHub服務中的流式資料同步到其他雲產品中的功能,目前支援將Topic中的資料即時/准即時同步到MaxCompute(ODPS)、OSS、Elasticsearch、RDS Mysql、ADS、TableStore中。使用者只需要向DataHub中寫入一次資料,並在DataHub服務中配置好同步功能,便可以在各個雲產品中使用這份資料。

注意事項:

  1. 目前所有DataConnector均僅支援同一Region的雲端服務之間同步資料,不支援同步資料到跨Region的服務。

  2. DataConnector所配置的目標服務Endpoint需要填寫相應的內網網域名稱(傳統網路),不支援使用公網網域名稱同步。

  3. 資料同步目前僅支援at least once語義,在網路服務異常等小機率情境下可能會導致目的端的資料產生重複,需要做去重處理。

DataConnector支援系統

目標系統

時效性

是否支援vpc

描述

MaxCompute(ODPS)

准即時,通常情況5分鐘延遲

No

同步Topic中流式資料到離線MaxCompute表,欄位類型名稱需一一對應,且DataHub中必須包含一列(或多列)MaxCompute表中分區列對應的欄位

OSS

即時

No

同步資料到Object Storage Service指定Bucket的檔案中,將以csv格式儲存

Elasticsearch

即時

Yes

同步資料到Elasticsearch指定Index中,Shard之間資料同步不保證時序,所以需將同樣ID的資料寫入相同的Shard中

MySQL

即時

Yes

同步資料到指定的Rds Mysql表中

ADS

即時

No

同步資料到指定的ADS表中

TableStore

即時

No

同步資料到指定的TableStore表中

查看同步任務

在建立完成同步任務後,切換到資料同步頁簽點擊查看可以查看同步的詳細資料,包括同步的點位、同步狀態等資訊

11-1

11-2