DataHub：概述

DataHub資料同步功能

DataHub提供資料Sink/Source功能，即資料同步功能，DataHub支援將對應Topic中的資料即時/准即時的同步到第三方阿里雲產品中，打通阿里雲產品間的資料流通。目前支援MaxCompute（原ODPS）、AnalyticDBMySQL(ADS)、雲資料庫RDS、Table Store、Object Storage Service、Elasticsearch以及Function Compute服務等。使用者只需向DataHub服務中寫入一次資料，並且在DataHub服務中配置資料同步功能，便可以在所支援的各個雲產品中使用該資料，提供完整的資料閉環。

DataHub支援雲產品

注意：

• 使用Maxcompute當batch資料量達到64M或者5min同步一次

• 使用TableStore/OSS/Elasticsearch/Function Compute/Hologres當batch資料量達到4M或 者20s會同步一次

• 同步MySQL/RDS/ADS3.0 當batch資料量達到512kb或者20s會進行一次同步

使用說明

1. 使用者使用資料同步時儘可能的進行同一Region的雲產品之間的資料同步，一方面避免跨Region網路不通問題，另一方面也減少不同Region之間資料同步的網路時延。

2. 由於阿里雲的網路隔離原因，使用者配置目標服務的Endpoint時請使用對應服務的內網地址（傳統網路），不支援使用公網地址同步。

3. DataHub資料同步僅支援at least once語義，在網路服務異常等小機率情境下可能會導致目標端的資料產生少量重複，使用者使用時請注意進行去重處理。

4. 使用者在建立資料同步時，DataHub會自動為該同步任務綁定SubscriptionId用於記錄從DataHub讀取資料的讀取點位（非同步點位），該SubscriptionId請使用者不要操作。

5. 目前只有DataHub topic的Owner/Creator帳號才具備建立connector(資料同步)的許可權。

IP白名單

服務白名單

目前MaxCompute支援配置project層級的ip白名單，如果設定ip白名單之後DataHub將無法正常同步MaxCompute。為瞭解決該問題，MaxCompute添加了服務白名單，可以將DataHub的服務名稱添加到MaxCompute的服務白名單中，此時DataHub便可以正常將資料同步至MaxCompute。

DataHub的服務名稱當前定義為DataHub，可以通過SDK或者odpscmd進行設定。

SDK設定方式參考以下樣本:

public static void setServiceName() throws OdpsException {
    String endpoint = "";
    String project = "";
    String accessId = "";
    String accessKey = "";

    Account account = new AliyunAccount(accessId, accessKey);
    Odps odps = new Odps(account);
    odps.setEndpoint(endpoint);
    odps.setDefaultProject(project);

    Map<String, String> prop = new HashMap<>();
    //將DataHub的服務名稱添加到MaxCompute的服務白名單，如果添加多個需要以逗號隔開，每次設定會覆蓋之前的設定
    prop.put("odps.security.ip.whitelist.services", "DataHub");
    Group group = new Groups(odps).get("groupName");
    group.updateProject(project, null, null, prop);

    //檢查當前MaxCompute服務白名單是否服務預期
    prop = odps.projects().get(project).getAllProperties();
    System.out.println("current service list: " + prop.get("odps.security.ip.whitelist.services"));
}

odpscmd設定參考以下樣本：

啟動odpscmd之後，輸入以下命令 進行設定。

setproject odps.security.ip.whitelist.services=DataHub;

設定完成之後，可以通過以下是否設定成功

setproject;
## 結果有 odps.security.ip.whitelist.services=DataHub配置項則說明設定成功