DataWorks:Single-table real-time synchronization capabilities

Capacidade

Descrição

Sincronização de dados entre diversas fontes de dados

A sincronização em tempo real é compatível com várias fontes de dados. Combine diferentes fontes de dados de origem e destino para criar um pipeline de sincronização. Para mais informações, consulte Supported data sources and sync solutions.

Sincronização de dados em ambientes de rede complexos

A sincronização em tempo real permite transferir dados de bancos de dados da Alibaba Cloud, data centers on-premises, bancos de dados autogerenciados em instâncias ECS e bancos de dados externos à Alibaba Cloud. Antes de iniciar, garanta a conectividade de rede entre o grupo de recursos e as origens e destinos. Para obter detalhes sobre a configuração, consulte Network connectivity solutions.

Cenários de sincronização

A sincronização em tempo real suporta a sincronização de uma única tabela para uma tabela de destino e a consolidação de dados incrementais de bancos de dados e tabelas com sharding em uma única tabela de destino.

• Data Integration & Data Studio (nova versão): Configuração baseada em assistente para sincronização ETL de tabela única para tabela única. Além de recursos avançados de processamento de dados, oferece funcionalidades como amostragem de dados, execução simulada e parâmetros avançados.

• Data Studio (versão legada): Configuração via arrastar e soltar para sincronização ETL de tabela única para tabela única. Inclui recursos de processamento de dados como filtragem, substituição de strings e mascaramento de dados.

Configuração de tarefas de sincronização em tempo real

Ao configurar uma tarefa de sincronização em tempo real, você conta com as capacidades abaixo. Colete dados em tempo real de ETL de tabela única por meio de uma configuração simples, sem necessidade de escrever código. Para mais informações, consulte Configure a single-table real-time synchronization task.

Sincronização em tempo real de tabela única:

• Método de configuração: Oferece desenvolvimento low-code gráfico (arrastar e soltar) ou baseado em assistente. Não exige codificação, facilitando o início para novos usuários.

• Mapeamento de campos: Permite mapeamento por nome, por linha e relações personalizadas. Caso um campo de origem não tenha correspondente na tabela de destino, especifique uma política de tratamento de campos dinâmicos para adicionar coluna, ignorar ou gerar erro. A tarefa também possibilita a atribuição dinâmica de constantes, variáveis e funções aos campos de destino.

• Processamento de dados: Processa os dados de origem com Data Filtering, Replace String, Data Masking e JSON Parsing, enviando o resultado processado ao banco de dados de destino.

• Depuração de código: Amostra dados da fonte de dados de origem e exibe resultados intermediários em cada etapa de processamento. Utilize a Dry Run para simular a saída final dos dados. Como a saída durante a Dry Run não é gravada na tabela de destino, não há risco de impacto nos dados reais durante a depuração.

O&M de tarefas de sincronização em tempo real

Permite configurar alertas de monitoramento para tarefas de sincronização.

• Oferece retomada baseada em checkpoints. Se a tarefa for interrompida ou houver perda de dados devido a flutuações inesperadas, especifique um checkpoint adequado para garantir a integridade dos dados.

• Possibilita a configuração de alertas de monitoramento para latência de negócios, failover, políticas de DDL e verificações de heartbeat. Para mais informações, consulte Configure monitoring alerts for a real-time synchronization task.

• As notificações de alerta são enviadas aos destinatários por e-mail, SMS, chamadas telefônicas e mensagens do DingTalk, permitindo detectar e tratar exceções nas tarefas rapidamente.

• Inclui controle de fadiga de alertas. Para evitar a geração excessiva de alertas em curto período, o DataWorks permite configurar uma regra que envia apenas um alerta dentro de um intervalo de tempo especificado.

• Conta com detecção de heartbeat, que ativa ou desativa automaticamente os alertas de heartbeat quando a tarefa inicia ou para. Se você desativar o recurso manualmente, ele permanecerá desativado.

DI Agent

Utilize o DI Agent para criar e gerenciar tarefas de sincronização em tempo real de tabela única por meio de conversas. Em vez de preencher formulários de configuração campo por campo, descreva seus requisitos de sincronização em linguagem natural. O Agent cuida automaticamente da identificação da fonte de dados, mapeamento de campos, atribuição de grupos de recursos e configuração de políticas de agendamento. Ele também fornece capacidades de O&M, como diagnósticos inteligentes e inspeções periódicas. Para mais informações sobre o DI Agent, consulte DI Agent overview.