DataHub:概要

DataHub のデータ同期

DataHub は、データ同期とも呼ばれるデータソースおよびシンク機能を提供します。この機能を使用して、DataHub Topic から他の Alibaba Cloud サービスにデータを リアルタイムまたはほぼリアルタイム で同期できます。このプロセスにより、異なる Alibaba Cloud サービス間でデータをフローさせることができます。DataHub は、MaxCompute (旧 ODPS)、AnalyticDB for MySQL (ADS)、ApsaraDB RDS、Tablestore、Object Storage Service (OSS)、Elasticsearch、および Function Compute へのデータ同期をサポートしています。データを一度 DataHub に書き込み、データ同期を設定すると、サポートされているクラウドサービスのいずれかでデータを使用して、完全なクローズドループのデータソリューションを作成できます。

サポートされている Alibaba Cloud サービス

注:

• MaxCompute の場合、データは 5 分ごと、またはバッチが 64 MB に達したときに同期されます。

• Tablestore、OSS、Elasticsearch、Function Compute、または Hologres の場合、データは 20 秒ごと、またはバッチが 4 MB に達したときに同期されます。

• MySQL、ApsaraDB RDS、または AnalyticDB for MySQL 3.0 の場合、データは 20 秒ごと、またはバッチが 512 KB に達したときに同期されます。

使用上の注意

1. データを同期するときは、同じリージョンにある Alibaba Cloud サービスを使用してください。これにより、ネットワーク接続の問題を回避し、リージョン間のネットワーク遅延を削減できます。

2. Alibaba Cloud のネットワーク隔離のため、構成中に宛先サービスの内部エンドポイント (クラシックネットワーク) を使用する必要があります。パブリックインターネット経由の同期はサポートされていません。

3. DataHub のデータ同期は、at-least-once セマンティクスのみをサポートします。ネットワークエラーなどのまれなケースでは、宛先サービスで少量のデータが重複する可能性があります。宛先でデータ重複除去を処理する必要があります。

4. 同期タスクを作成すると、DataHub はタスクに SubscriptionId を自動的にアタッチします。この ID は、同期ポイントではなく、DataHub の読み取りポイントを記録します。この SubscriptionId は変更しないでください。

5. DataHub Topic のオーナーまたは作成者のみが、コネクタ (同期タスク) を作成する権限を持っています。

IP ホワイトリスト

サービスホワイトリスト

MaxCompute では、プロジェクトレベルの IP ホワイトリストを設定できます。IP ホワイトリストを設定すると、DataHub は MaxCompute にデータを同期できません。この問題を解決するために、MaxCompute はサービスホワイトリスト機能を提供します。DataHub が MaxCompute にデータを同期できるようにするには、DataHub サービス名を MaxCompute サービスホワイトリストに追加する必要があります。

DataHub のサービス名は DataHub です。ソフトウェア開発キット (SDK) または odpscmd を使用してサービスホワイトリストを設定できます。

SDK を使用してホワイトリストを設定するには、次の例をご参照ください:

public static void setServiceName() throws OdpsException {
    String endpoint = "";
    String project = "";
    String accessId = "";
    String accessKey = "";

    Account account = new AliyunAccount(accessId, accessKey);
    Odps odps = new Odps(account);
    odps.setEndpoint(endpoint);
    odps.setDefaultProject(project);

    Map<String, String> prop = new HashMap<>();
    // DataHub サービス名を MaxCompute サービスホワイトリストに追加します。複数のサービスを追加するには、カンマで区切ります。このプロパティを設定するたびに、以前の設定が上書きされます。
    prop.put("odps.security.ip.whitelist.services", "DataHub");
    Group group = new Groups(odps).get("groupName");
    group.updateProject(project, null, null, prop);

    // 現在の MaxCompute サービスホワイトリストが期待どおりに設定されているかどうかを確認します。
    prop = odps.projects().get(project).getAllProperties();
    System.out.println("current service list: " + prop.get("odps.security.ip.whitelist.services"));
}

odpscmd を使用してホワイトリストを設定するには、次の例をご参照ください:

odpscmd を起動した後、次のコマンドを実行して構成を適用します。

setproject odps.security.ip.whitelist.services=DataHub;

構成が完了したら、構成が成功したことを確認できます。

setproject;
## 出力に odps.security.ip.whitelist.services=DataHub 設定項目が含まれている場合、設定は成功です。