DataHub:Visão geral dos DataConnectors

Recurso de sincronização de dados do DataHub

O recurso de sincronização de dados do DataHub oferece capacidades de source e sink. Ele permite sincronizar dados de um tópico para outros produtos da Alibaba Cloud em tempo real/quase tempo real, facilitando a troca de dados entre serviços. Atualmente, os serviços suportados incluem MaxCompute (anteriormente ODPS), AnalyticDB for MySQL (ADS), ApsaraDB RDS, Tablestore, Object Storage Service (OSS), Elasticsearch e Function Compute. Você pode gravar dados no DataHub uma única vez e configurar a sincronização para utilizar esses dados em todos os serviços de nuvem suportados, criando um ciclo de dados de ponta a ponta.

Serviços da Alibaba Cloud suportados pelo DataHub

Nota:

• Para MaxCompute: As sincronizações ocorrem a cada 5 minutos ou quando o tamanho do lote atinge 64 MB.

• Para Tablestore, OSS, Elasticsearch, Function Compute e Hologres: As sincronizações ocorrem a cada 20 segundos ou quando o tamanho do lote atinge 4 MB.

• Para MySQL, RDS e ADS 3.0: As sincronizações ocorrem a cada 20 segundos ou quando o tamanho do lote atinge 512 KB.

Observações de uso

1. Sempre que possível, sincronize dados entre serviços da Alibaba Cloud na mesma região para evitar problemas de conectividade de rede entre regiões e reduzir a latência.

2. Devido ao isolamento de rede da Alibaba Cloud, utilize apenas o endpoint interno (rede clássica) do serviço de destino ao configurar o endpoint. Endpoints públicos não são suportados.

3. A sincronização de dados do DataHub utiliza semântica de pelo menos uma vez. Em casos raros, como falhas de rede ou de serviço, registros duplicados podem aparecer no destino. Realize a deduplicação dos dados conforme necessário.

4. Ao criar uma tarefa de sincronização, o DataHub cria automaticamente um ID de assinatura para rastrear o offset de leitura do tópico do DataHub. Não modifique esse ID de assinatura.

5. Somente o proprietário ou criador de um tópico do DataHub pode criar conectores (tarefas de sincronização).

6. É possível criar até duas tarefas de sincronização por tipo de sincronização.

Lista de permissões de IP

Lista de permissões de serviço

O MaxCompute suporta listas de permissões de IP no nível do projeto. Se você ativar uma lista de permissões de IP, o DataHub não conseguirá sincronizar dados para o MaxCompute. Para resolver isso, o MaxCompute oferece uma lista de permissões de serviço. Adicione o nome do serviço DataHub à lista de permissões de serviço do MaxCompute para permitir a sincronização correta dos dados.

O nome atual do serviço DataHub é DataHub. Você pode configurá-lo usando o SDK ou odpscmd.

O exemplo a seguir mostra como configurar o SDK:

public static void setServiceName() throws OdpsException {
    String endpoint = "";
    String project = "";
    String accessId = "";
    String accessKey = "";

    Account account = new AliyunAccount(accessId, accessKey);
    Odps odps = new Odps(account);
    odps.setEndpoint(endpoint);
    odps.setDefaultProject(project);

    Map<String, String> prop = new HashMap<>();
    // Add the DataHub service name to the MaxCompute service whitelist.
    // Separate multiple names with commas. Each update overwrites previous settings.
    prop.put("odps.security.ip.whitelist.services", "DataHub");
    Group group = new Groups(odps).get("groupName");
    group.updateProject(project, null, null, prop);

    // Verify the current service whitelist setting.
    prop = odps.projects().get(project).getAllProperties();
    System.out.println("current service list: " + prop.get("odps.security.ip.whitelist.services"));
}

Para configurações via odpscmd, consulte o exemplo abaixo.

Inicie o odpscmd e insira o seguinte comando.

setproject odps.security.ip.whitelist.services=DataHub;

Após concluir a configuração, verifique se ela foi bem-sucedida utilizando o método a seguir.

setproject;
## If the output includes odps.security.ip.whitelist.services=DataHub, the setting succeeded.

Instruções

1. Leia o conteúdo em inglês para entender O QUE precisa ser comunicado

2. Escreva o português brasileiro DO ZERO — esqueça a estrutura das frases em inglês

3. Preserve toda a formatação markdown, blocos de código, links e imagens exatamente como estão

4. Tags xref (<a data-tag="xref" ...>texto</a>) — preserve a tag INTEIRA com todos os atributos na ordem e caixa originais, traduza APENAS o texto visível entre > e

5. Aplique todas as regras específicas do idioma rigorosamente

6. Aplique as regras de stopwords com tolerância zero

7. Use o modo imperativo em passos numerados e listas de procedimentos

8. Garanta a consistência terminológica — mesmo termo = mesma tradução em todo o documento

9. Varie os inícios de frase em listas/tabelas — nenhum início repetido mais de 3 vezes

10. Retorne APENAS o documento markdown em português brasileiro, sem explicações