Uma fonte de dados conecta o Data Integration a bancos de dados e serviços de armazenamento, como MaxCompute, MySQL e OSS, e define onde as tarefas de sincronização leem e gravam dados.
Função de uma fonte de dados
A fonte de dados atua como um endpoint para o fluxo de dados:
Source (Reader): A tarefa lê dados da source.
Destination (Writer): A tarefa grava os dados processados no destination.
Antes de sincronizar dados, configure uma source e um destination com conectividade de rede estável.
Tipos de fonte de dados compatíveis
O Data Integration é compatível com os tipos de fonte de dados listados em Supported data sources and synchronization solutions. A configuração varia conforme o tipo.
Crie uma fonte de dados
Crie e gerencie todas as fontes de dados no Management Center. Essas fontes são reutilizáveis, oferecem environment isolation e seguem as melhores práticas empresariais.
Configuração: Data source management.
Você pode criar uma fonte de dados no Management Center ou no Data Integration. A tabela a seguir compara os dois métodos.
|
Recurso |
Management Center (recomendado) |
Data Integration |
|
Local de gerenciamento |
. |
. |
|
Oferece configurações separadas de desenvolvimento e produção para isolar dados. |
Não compatível. Apenas o ambiente de produção está disponível. |
|
|
Reutilização entre módulos |
Disponível em todos os módulos: Data Integration, Data Studio e análise de dados. |
Funcionalidade limitada em outros módulos. |
|
Controle de permissões |
Permite autorização entre workspaces. |
Não permite autorização. |
|
Modo aplicável |
Recomendado para workspaces no modo padrão. |
Adequado para modo básico ou modo padrão sem isolamento. |
|
Clonagem |
Permite clonar fontes de dados. |
Não compatível. |
Ambos os métodos oferecem third-party authentication e configuring data sources by using a RAM role .
O procedimento para criar uma fonte de dados é o mesmo em ambos os locais.
Ao criar uma fonte de dados no Management Center, o sistema cria automaticamente uma fonte correspondente no Data Integration. Ambas compartilham a mesma configuração do ambiente de produção.
Ao criar uma fonte de dados no Data Integration, o sistema cria automaticamente uma fonte correspondente no Management Center apenas com a configuração do ambiente de produção. Adicione manualmente a configuração do ambiente de desenvolvimento.
Os parâmetros de configuração variam conforme o tipo de fonte de dados. Consulte Data source list.
Uso de fontes de dados
Modo básico:
Workspaces no modo básico possuem um único ambiente. As fontes de dados no Management Center e no Data Integration são idênticas.
Modo padrão:
Um workspace in standard mode permite o isolamento de ambientes para fontes de dados. Cada fonte pode ter configurações separadas de ambiente de desenvolvimento e ambiente de produção, apontando para bancos de dados ou instâncias diferentes.
No Data Integration, apenas tarefas de sincronização em lote de tabela única oferecem isolamento de ambiente. Outras tarefas de sincronização usam a fonte de dados do ambiente de produção.
Fontes de dados criadas no Data Integration contêm apenas a configuração do ambiente de produção. Para usá-las no Data Studio ou na sincronização em lote de tabela única, adicione a configuração do ambiente de desenvolvimento no Management Center.
Próximas etapas
Após a fonte de dados passar no connectivity test, configure uma tarefa de sincronização:
Sincronização em lote para tabela única: Configure by using the codeless UI e Configure by using the code editor.
Sincronização em tempo real para tabela única: Configure a single-table real-time synchronization task.
Sincronização em lote para banco de dados completo: Configure a batch synchronization task for a full database.
Sincronização em tempo real para banco de dados completo: Configure a real-time synchronization task for a full database.
Sincronização completa e incremental para banco de dados completo: Configure a full and incremental synchronization task for a full database
FAQ
Why does data source connectivity sometimes succeed and sometimes fail?
The connectivity test fails when I access a database in a VPC. How do I fix this?
Para mais dúvidas sobre fontes de dados, consulte Data Integration FAQ.