DataHub:概要

DataHub データ同期機能

DataHub データ同期機能は、データソースおよびシンク機能を提供します。これにより、Topic から他の Alibaba Cloud プロダクトへデータを リアルタイム/ニアリアルタイムで同期し、サービス間のデータ交換を容易にすることができます。現在、サポートされているサービスには、MaxCompute (旧 ODPS)、AnalyticDB for MySQL (ADS)、ApsaraDB RDS、Tablestore、Object Storage Service (OSS)、Elasticsearch、および Function Compute が含まれます。DataHub に一度データを書き込み、データ同期を構成することで、サポートされているすべてのクラウドサービスでデータを使用できます。これにより、エンドツーエンドのデータループが作成されます。

DataHub がサポートする Alibaba Cloud サービス

注：

• MaxCompute の場合：同期は 5 分ごと、またはバッチサイズが 64 MB に達したときに発生します。

• Tablestore、OSS、Elasticsearch、Function Compute、および Hologres の場合：同期は 20 秒ごと、またはバッチサイズが 4 MB に達したときに発生します。

• MySQL、RDS、および ADS 3.0 の場合：同期は 20 秒ごと、またはバッチサイズが 512 KB に達したときに発生します。

注意事項

1. 可能な限り、同じリージョン内の Alibaba Cloud サービス間でデータを同期し、リージョン間のネットワーク接続の問題を回避し、ネットワーク遅延を削減してください。

2. Alibaba Cloud のネットワーク隔離のため、エンドポイントを構成する際は、ターゲットサービスの内部エンドポイント (クラシックネットワーク) のみを使用してください。パブリックエンドポイントはサポートされていません。

3. DataHub データ同期は、少なくとも1回保証のセマンティクスを使用します。ネットワークまたはサービス障害などのまれなケースでは、重複するレコードが宛先に表示されることがあります。必要に応じてデータを重複排除してください。

4. 同期タスクを作成する際、DataHub は DataHub Topic からの読み取りオフセットを追跡するためにサブスクリプション ID を自動的に作成します。このサブスクリプション ID を変更しないでください。

5. DataHub Topic の所有者または作成者のみがコネクタ (同期タスク) を作成できます。

6. 同期タイプごとに最大 2 つの同期タスクを作成できます。

IP ホワイトリスト

サービスホワイトリスト

MaxCompute はプロジェクトレベルの IP ホワイトリストをサポートしています。IP ホワイトリストを有効にすると、DataHub は MaxCompute にデータを同期できません。これを解決するには、MaxCompute はサービスホワイトリストを提供します。データの同期を成功させるため、DataHub サービス名を MaxCompute サービスホワイトリストに追加してください。

現在の DataHub サービス名は DataHub です。SDK または odpscmd を使用して構成できます。

次の例は、SDK を構成する方法を示しています。

public static void setServiceName() throws OdpsException {
    String endpoint = "";
    String project = "";
    String accessId = "";
    String accessKey = "";

    Account account = new AliyunAccount(accessId, accessKey);
    Odps odps = new Odps(account);
    odps.setEndpoint(endpoint);
    odps.setDefaultProject(project);

    Map<String, String> prop = new HashMap<>();
    // DataHub サービス名を MaxCompute サービスホワイトリストに追加します。
    // 複数の名前をカンマで区切ります。更新するたびに以前の設定が上書きされます。
    prop.put("odps.security.ip.whitelist.services", "DataHub");
    Group group = new Groups(odps).get("groupName");
    group.updateProject(project, null, null, prop);

    // 現在のサービスホワイトリスト設定を確認します。
    prop = odps.projects().get(project).getAllProperties();
    System.out.println("current service list: " + prop.get("odps.security.ip.whitelist.services"));
}

odpscmd の設定については、次の例をご参照ください。

odpscmd を起動し、次のコマンドを入力します。

setproject odps.security.ip.whitelist.services=DataHub;

設定が完了したら、次の方法で成功を確認できます。

setproject;
## 出力に odps.security.ip.whitelist.services=DataHub が含まれている場合、設定は成功しています。