DataHub:Vue d'ensemble de DataConnectors

Fonctionnalité de synchronisation des données DataHub

La fonctionnalité de synchronisation des données DataHub gère les sources et les destinations de données. Elle permet de synchroniser les données d'un topic vers d'autres produits Alibaba Cloud en temps réel ou quasi temps réel, facilitant ainsi les échanges de données entre les services. Les services actuellement pris en charge incluent MaxCompute (anciennement ODPS), AnalyticDB for MySQL (ADS), ApsaraDB RDS, Tablestore, Object Storage Service (OSS), Elasticsearch et Function Compute. Écrivez les données une seule fois dans DataHub et configurez la synchronisation pour les utiliser dans l'ensemble des services cloud pris en charge, créant ainsi une boucle de données de bout en bout.

Services Alibaba Cloud pris en charge par DataHub

Remarque :

• Pour MaxCompute : les synchronisations ont lieu toutes les 5 minutes ou lorsque la taille du lot atteint 64 Mo.

• Pour Tablestore, OSS, Elasticsearch, Function Compute et Hologres : les synchronisations ont lieu toutes les 20 secondes ou lorsque la taille du lot atteint 4 Mo.

• Pour MySQL, RDS et ADS 3.0 : les synchronisations ont lieu toutes les 20 secondes ou lorsque la taille du lot atteint 512 Ko.

Notes d'utilisation

1. Dans la mesure du possible, synchronisez les données entre les services Alibaba Cloud situés dans la même région afin d'éviter les problèmes de connectivité réseau interrégionaux et de réduire la latence.

2. En raison de l'isolation réseau d'Alibaba Cloud, utilisez uniquement le point de terminaison interne (réseau classique) de votre service cible lors de la configuration de l'endpoint. Les points de terminaison publics ne sont pas pris en charge.

3. La synchronisation des données DataHub utilise une sémantique « au moins une fois » (at-least-once). Dans de rares cas, tels que des pannes réseau ou de service, des enregistrements en double peuvent apparaître dans la destination. Dédupliquez les données si nécessaire.

4. Lorsque vous créez une tâche de synchronisation, DataHub génère automatiquement un ID d'abonnement pour suivre le décalage de lecture (read offset) depuis le topic DataHub. Ne modifiez pas cet ID d'abonnement.

5. Seul le propriétaire ou le créateur d'un topic DataHub peut créer des connecteurs (tâches de synchronisation).

6. Vous pouvez créer jusqu'à deux tâches de synchronisation par type de synchronisation.

Liste blanche d'adresses IP

Liste blanche des services

MaxCompute prend en charge les listes blanches d'adresses IP au niveau du projet. Si vous activez une liste blanche d'adresses IP, DataHub ne peut pas synchroniser les données vers MaxCompute. Pour résoudre ce problème, MaxCompute propose une liste blanche de services. Ajoutez le nom du service DataHub à la liste blanche des services MaxCompute pour permettre la synchronisation réussie des données.

Le nom actuel du service DataHub est DataHub. Vous pouvez le configurer à l'aide du SDK ou d'odpscmd.

L'exemple suivant montre comment configurer le SDK :

public static void setServiceName() throws OdpsException {
    String endpoint = "";
    String project = "";
    String accessId = "";
    String accessKey = "";

    Account account = new AliyunAccount(accessId, accessKey);
    Odps odps = new Odps(account);
    odps.setEndpoint(endpoint);
    odps.setDefaultProject(project);

    Map<String, String> prop = new HashMap<>();
    // Add the DataHub service name to the MaxCompute service whitelist.
    // Separate multiple names with commas. Each update overwrites previous settings.
    prop.put("odps.security.ip.whitelist.services", "DataHub");
    Group group = new Groups(odps).get("groupName");
    group.updateProject(project, null, null, prop);

    // Verify the current service whitelist setting.
    prop = odps.projects().get(project).getAllProperties();
    System.out.println("current service list: " + prop.get("odps.security.ip.whitelist.services"));
}

Pour les paramètres odpscmd, consultez l'exemple suivant.

Démarrez odpscmd, puis saisissez la commande suivante.

setproject odps.security.ip.whitelist.services=DataHub;

Une fois la configuration terminée, vérifiez sa réussite à l'aide de la méthode suivante.

setproject;
## If the output includes odps.security.ip.whitelist.services=DataHub, the setting succeeded.