DataHub:Descripción general de DataConnectors

Función de sincronización de datos de DataHub

La función de sincronización de datos de DataHub ofrece capacidades de origen y destino de datos. Le permite sincronizar información desde un topic hacia otros productos de Alibaba Cloud en real-time/near real-time para facilitar el intercambio entre servicios. Actualmente, los servicios compatibles incluyen MaxCompute (anteriormente ODPS), AnalyticDB for MySQL (ADS), ApsaraDB RDS, Tablestore, Object Storage Service (OSS), Elasticsearch y Function Compute. Escriba los datos en DataHub una sola vez y configure la sincronización para utilizarlos en todos los servicios en la nube compatibles; así creará un ciclo de datos integral de extremo a extremo.

Servicios de Alibaba Cloud compatibles con DataHub

Nota:

• Para MaxCompute: Las sincronizaciones se realizan cada 5 minutos o cuando el tamaño del lote alcanza los 64 MB.

• Para Tablestore, OSS, Elasticsearch, Function Compute y Hologres: Las sincronizaciones se realizan cada 20 segundos o cuando el tamaño del lote alcanza los 4 MB.

• Para MySQL, RDS y ADS 3.0: Las sincronizaciones se realizan cada 20 segundos o cuando el tamaño del lote alcanza los 512 KB.

Notas de uso

1. Siempre que sea posible, sincronice los datos entre servicios de Alibaba Cloud dentro de la misma región para evitar problemas de conectividad de red entre regiones y reducir la latencia.

2. Debido al aislamiento de red de Alibaba Cloud, utilice únicamente el endpoint interno (red clásica) del servicio de destino al configurar el endpoint. Los endpoints públicos no son compatibles.

3. La sincronización de datos de DataHub utiliza semántica de al menos una vez. En casos poco frecuentes, como fallos de red o del servicio, pueden aparecer registros duplicados en el destino. Deduplique los datos según sea necesario.

4. Al crear una tarea de sincronización, DataHub genera automáticamente un ID de suscripción para rastrear el desplazamiento de lectura del topic de DataHub. No modifique este ID de suscripción.

5. Solo el propietario o creador de un topic de DataHub puede crear conectores (tareas de sincronización).

6. Cree hasta dos tareas de sincronización por tipo de sincronización.

Lista blanca de IP

Lista blanca de servicios

MaxCompute admite listas blancas de IP a nivel de proyecto. Si habilita una lista blanca de IP, DataHub no podrá sincronizar datos con MaxCompute. Para resolverlo, MaxCompute proporciona una lista blanca de servicios. Agregue el nombre del servicio DataHub a la lista blanca de servicios de MaxCompute para permitir la sincronización correcta de los datos.

El nombre actual del servicio DataHub es DataHub. Configúrelo mediante el SDK u odpscmd.

A continuación se muestra un ejemplo de cómo configurar el SDK:

public static void setServiceName() throws OdpsException {
    String endpoint = "";
    String project = "";
    String accessId = "";
    String accessKey = "";

    Account account = new AliyunAccount(accessId, accessKey);
    Odps odps = new Odps(account);
    odps.setEndpoint(endpoint);
    odps.setDefaultProject(project);

    Map<String, String> prop = new HashMap<>();
    // Add the DataHub service name to the MaxCompute service whitelist.
    // Separate multiple names with commas. Each update overwrites previous settings.
    prop.put("odps.security.ip.whitelist.services", "DataHub");
    Group group = new Groups(odps).get("groupName");
    group.updateProject(project, null, null, prop);

    // Verify the current service whitelist setting.
    prop = odps.projects().get(project).getAllProperties();
    System.out.println("current service list: " + prop.get("odps.security.ip.whitelist.services"));
}

Para la configuración de odpscmd, consulte el siguiente ejemplo.

Inicie odpscmd y luego introduzca el siguiente comando.

setproject odps.security.ip.whitelist.services=DataHub;

Una vez completada la configuración, compruebe que se aplicó correctamente mediante el siguiente método.

setproject;
## If the output includes odps.security.ip.whitelist.services=DataHub, the setting succeeded.