Uma fonte de dados (source) registra os detalhes de conexão de um sistema de dados externo (banco de dados, armazenamento ou fila de mensagens) no DataWorks para leitura e gravação de dados em vários módulos. Os workspaces no modo padrão suportam isolamento de ambiente: fontes de dados separadas para desenvolvimento e produção impedem que operações de teste afetem os dados de produção.
Recursos
Uso de fontes de dados
As fontes de dados no DataWorks são gerenciadas centralmente na seção de um workspace. Após criar e testar uma conexão, você pode usá-la em todos os módulos do DataWorks.
|
Módulo |
Caso de uso |
Tipos suportados |
|
Data Integration |
execute tarefas de sincronização de dados para migrar dados entre fontes de dados, como do MySQL para o maxcompute. Suporta vários tipos de sincronização, incluindo tabela única, banco de dados completo, em lote e em tempo real. |
|
|
Data Studio |
Desenvolva, depure e agende nós periodicamente. No modo padrão, as tarefas usam automaticamente a fonte de dados designada para o ambiente de desenvolvimento ou produção. |
|
|
Data Map |
Colete metadados das fontes de dados. Permite que você visualize estruturas de tabelas e informações de linhagem. |
|
|
Data Analysis |
Conecte-se a bancos de dados para processamento, análise, transformação e visualização de dados. |
|
|
Data Service |
Gere serviços de API com base nas estruturas de tabelas da fonte de dados para fornecer interfaces de consulta de dados. |
Isolamento de ambiente de fonte de dados
Os workspaces no modo padrão suportam o isolamento de ambiente de fonte de dados: fontes de dados separadas para desenvolvimento e produção impedem que operações de teste afetem os dados de produção. Para mais informações, consulte Data source environment description.
Tipos de fontes de dados
O DataWorks suporta dois tipos de fontes de dados:
|
Comparação |
Tipo padrão |
Tipo de metadados |
|
Finalidade principal |
Armazena detalhes de conexão para acesso a dados físicos, usado para leitura, gravação e computação. |
Armazena detalhes de conexão para centros de metadados de data lake. É usado apenas para coleta e governança de metadados. |
|
Objeto de destino |
Os próprios dados físicos. |
Informações descritivas sobre os dados (metadados), como estruturas de banco de dados, tabelas e colunas. |
|
Disponível para execução de tarefas |
Sim. O leitor e o gravador das tarefas de sincronização devem referenciar este tipo de fonte de dados. |
Não. Não pode ser usado como entrada ou saída de uma tarefa. |
|
Exemplos típicos |
MySQL, MaxCompute, Hologres, DLF, OSS, entre outros. |
Paimon Catalog. |
Resumo: Use fontes de dados padrão para leitura, gravação ou computação de dados. Use fontes de dados de metadados para trazer o Paimon e outras estruturas de tabelas de data lake para o DataWorks, visando governança e visualização.
Pré-requisitos
Antes de configurar uma fonte de dados, certifique-se do seguinte:
Requisitos de permissão: Você deve ter a função Workspace Administrator ou Operator no workspace de destino, ou ser um usuário RAM com a política
AliyunDataWorksFullAccessouAdministratorAccess. Autorização: Grant permissions to a RAM user e Manage workspace roles and members.Detalhes de conexão: Prepare as informações de conexão: instância ou endpoint (Endpoint/URL JDBC), porta, nome do banco de dados, nome de usuário e senha.
Conectividade de rede: Certifique-se de que o resource group do DataWorks possa acessar sua fonte de dados. Se a sua fonte de dados for acessível pela Internet e você usar um grupo de recursos serverless, configure um Internet NAT Gateway e um EIP para a VPC associada ao grupo de recursos.
Observações
Limites de uso: Fontes de dados criadas com métodos de região cruzada, conta cruzada ou AccessKey só podem ser usadas para sincronização de dados, e não para desenvolvimento de dados ou agendamento de tarefas.
Diferenças de criação por módulo: No modo padrão, as fontes de dados criadas em Administration incluem informações dos ambientes de desenvolvimento e produção. As fontes de dados criadas em Data Integration incluem apenas informações do ambiente de produção. Recomenda-se que você crie e mantenha todas as fontes de dados no Administration.
Métodos de criação: Automático e manual
|
Método de criação |
Descrição |
Cenário aplicável |
|
Criação automática |
Ao associar um recurso de computação (como MaxCompute ou Hologres) a um workspace, o sistema cria e gerencia automaticamente a fonte de dados correspondente. Seu ciclo de vida e permissões são herdados do recurso de computação. |
Recomendado: Quando a fonte de dados é usada para desenvolvimento de dados, você deve usar este método. Caso contrário, as tarefas não poderão ser executadas. |
|
Criação manual |
Especifique manualmente os detalhes de conexão, credenciais de autenticação e outros parâmetros da fonte de dados. Você pode controlar o ciclo de vida e a atribuição de permissões da fonte de dados. |
Aplicável a todos os tipos de fontes de dados, especialmente para Data Integration, Data Service ou cenários que exigem controle de permissão granular. |
Ponto de entrada
-
Faça login no console do DataWorks. Na região de destino, clique em no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Management Center.
No painel de navegação à esquerda, clique em Data Sources para acessar a página Data Sources.
Clique em Add Data Source no canto superior esquerdo da página.
Criar uma fonte de dados
Etapa 1: Selecione um modo de conexão
O DataWorks suporta os modos Alibaba Cloud Instance Mode e User-created Data Store with Public IP Addresses para configurar conexões de fontes de dados.
Cenário 1: Modo de instância (conta atual da Alibaba Cloud)
Se a sua fonte de dados for um service da Alibaba Cloud (como ApsaraDB RDS ou PolarDB) na conta atual, selecione Alibaba Cloud Instance Mode. Especifique a Region e a Instance. O sistema obtém automaticamente os detalhes de conexão.
Ao comprar uma nova instância, use a mesma VPC do grupo de recursos do DataWorks para minimizar a configuração de rede.
Se você já tiver uma instância de fonte de dados e a VPC dela for diferente da VPC usada pelo grupo de recursos do DataWorks, make sure to configure network connectivity para garantir o acesso adequado à fonte de dados.
Cenário 2: Modo de instância (outra conta da Alibaba Cloud)
Ao adicionar uma fonte de dados no modo de instância, se precisar acessar uma instância em Another Alibaba Cloud Account, configure o ID of Another Alibaba Cloud Account e o Name of Role Assigned to RAM User para criar uma fonte de dados de conta cruzada.
Ao criar uma fonte de dados de conta cruzada, certifique-se de que:
A função RAM utilizada tenha acesso à fonte de dados de destino. Para autorização de conta cruzada, consulte Cross-account authorization for data sources e Cross-account authorization for instances.
O Network connectivity esteja estabelecido entre o grupo de recursos da conta consumidora (conta atual) e a fonte de dados da conta proprietária do recurso (outra conta).
Cenário 3: Modo de string de conexão
Para fontes de dados autogerenciadas em instâncias ECS, em data centers on-premises ou na rede pública, use o modo de string de conexão. Configure manualmente o endereço de rede (Endpoint/URL JDBC), porta, nome do banco de dados e credenciais (nome de usuário/senha/AccessKey).
Ao usar o modo de string de conexão, certifique-se de que o endereço IP e a porta estejam acessíveis a partir da rede do grupo de recursos do DataWorks. Determine se deve ativar o acesso à rede pública e configure os grupos de segurança e listas de permissões conforme necessário. Configure network connectivity.
Se o endereço IP da sua fonte de dados mudar com frequência ou usar acesso baseado em domínio, resolva isso binding a host to an exclusive resource group for Data Integration ou configurando PrivateZone DNS resolution para o grupo de recursos serverless.
Ao usar o modo de string de conexão, o DataWorks analisa automaticamente a URL JDBC. Se a URL contiver parâmetros não suportados, o sistema remove automaticamente esses parâmetros. Para manter parâmetros especiais, para contatar o suporte técnico.
Etapa 2: Insira os detalhes de conexão
No modo padrão, configure os detalhes de conexão separadamente para o ambiente de desenvolvimento e o ambiente de produção. Escolha usar configurações iguais ou diferentes para os dois ambientes.
Nome da fonte de dados: Deve ser único dentro do workspace. Recomendamos o uso de um nome que identifique claramente o negócio e o ambiente, como
rds_mysql_order_dev.Descrição da fonte de dados: Descreva brevemente a finalidade da fonte de dados.
Detalhes de conexão: Com base no modo de conexão descrito acima, insira a instância ou endereço URL, porta e outras informações da fonte de dados.
Etapa 3: Defina as credenciais de autenticação
O DataWorks suporta vários métodos de autenticação. Defina as credenciais com base no tipo de fonte de dados e na página de configuração. Certifique-se de que as credenciais tenham as permissões de banco de dados necessárias.
Método de autenticação | Caso de uso |
Nome de usuário e senha | Aplicável à maioria dos tipos de banco de dados (como ApsaraDB RDS e StarRocks). O DataWorks acessa a fonte de dados por meio de autenticação por nome de usuário e senha. |
Conta RAM | Vários métodos são suportados conforme descrito abaixo. Aplicável a services da Alibaba Cloud que suportam autenticação de conta RAM, como MaxCompute e Hologres. Defina a conta com base nas permissões necessárias.
|
Autenticação Kerberos | Um mecanismo de autenticação de terceiros. Aplicável a componentes de big data como Hive, HDFS e HBase. A autenticação Kerberos exige o upload de Keytab, krb5.conf e outros arquivos de autenticação. Guia de configuração: Configure Kerberos authentication. |
AccessKey | Um AccessKey pair é uma credencial de acesso permanente composta por um AccessKey ID e um AccessKey Secret. Aplicável a fontes de dados como OSS e Tablestore. Os pares de AccessKey têm um nível de segurança mais baixo: use a autenticação baseada em função RAM quando disponível. |
Segredo genérico do KMS | Armazene as credenciais de acesso à fonte de dados no Alibaba Cloud Key Management Service (KMS). Ao criar uma fonte de dados, defina o Access identity como Key Management Service, selecione a Kms Region onde o segredo genérico do KMS reside e selecione o segredo genérico de destino na KMS List. Após a rotação do segredo, o DataWorks usa automaticamente a credencial mais recente, e nenhuma reconfiguração no DataWorks é necessária. Crie primeiro um segredo genérico no KMS. Para mais informações, consulte Manage and use generic secrets. O conteúdo de um segredo genérico do KMS suporta os dois formatos JSON a seguir: Tipos de fontes de dados que atualmente suportam segredos genéricos do KMS: DB2, FTP, MongoDB, MySQL, Oracle, PolarDB, PolarDB-O, PostgreSQL, PolarDB-X 2.0, SQL Server. Nota Após a alteração do conteúdo de um segredo genérico do KMS, o DataWorks armazena o segredo em cache por até 5 minutos. O novo segredo entra em vigor em, no máximo, 5 minutos. |
Se o seu banco de dados tiver a autenticação SSL ativada, ative também o SSL ao criar a fonte de dados. Enable SSL authentication for a PostgreSQL data source.
Etapa 4: Teste a conectividade
Na parte inferior da página, clique em Test Network Connectivity para cada grupo de recursos associado ao workspace.
Se Connected for exibido, a configuração está correta.
Se Connection failed. for exibido, o sistema fornece uma ferramenta de diagnóstico para ajudar na solução de problemas. As causas comuns incluem credenciais incorretas, problemas de rede (lista de permissões de IP não configurada) ou um gateway NAT ausente.
No modo padrão, certifique-se de que tanto o ambiente de desenvolvimento quanto o ambiente de produção mostrem Connected. Caso contrário, ocorrerão erros durante o uso subsequente.
Configure a rede com base no modo de configuração da fonte de dados, região, propriedade da instância e local de implantação:
|
Cenário |
Instruções |
|
A fonte de dados é um service da Alibaba Cloud, pertence à mesma conta da Alibaba Cloud e está na mesma região do workspace do DataWorks. |
|
|
A fonte de dados é um service da Alibaba Cloud, pertence à mesma conta da Alibaba Cloud do workspace do DataWorks, mas está em uma região diferente. |
Connect data sources under the same Alibaba Cloud account across different regions |
|
A fonte de dados é um service da Alibaba Cloud, mas pertence a uma conta da Alibaba Cloud diferente da do workspace do DataWorks. |
|
|
A fonte de dados está implantada em uma instância ECS da Alibaba Cloud. |
|
|
A fonte de dados está implantada em um data center on-premises. |
|
|
A fonte de dados possui um endpoint público. |
Gerenciar fontes de dados
Na página de gerenciamento de fontes de dados, filtre as fontes de dados por Data Source Type e Data Source Name. Você também pode realizar as seguintes operações em uma fonte de dados:
Editar, clonar e gerenciar permissões
-
Edit: Modifique a configuração de uma fonte de dados conforme necessário. O nome da fonte de dados e o ambiente aplicável não podem ser alterados.
As fontes de dados criadas automaticamente ao associar um recurso de computação em Administration não podem ser editadas diretamente. Para modificá-las, edite-as na página de gerenciamento de recursos de computação.
Cloning: Clone uma fonte de dados para criar rapidamente uma nova com a mesma configuração.
-
Manage Permissions: Clique no ícone
para que você gerencie as permissões de uso entre workspaces para a fonte de dados. O gerenciamento de permissões de fontes de dados permite conceder acesso à fonte de dados atual para outros workspaces ou usuários específicos em outros workspaces. Após conceder a permissão Allowed, o usuário pode visualizar e usar a fonte de dados, mas não pode editá-la.Outros problemas de permissão de fonte de dados: Data source permission FAQ .
Excluir uma fonte de dados e os impactos
Na lista de fontes de dados, clique no botão de exclusão para excluir uma fonte de dados. No entanto, as fontes de dados criadas automaticamente ao associar um recurso de computação em Administration não podem ser excluídas diretamente. No Administration, clique em Computing Resources no painel de navegação à esquerda do Administration, localize o recurso de computação e clique em Disassociate. Após a desassociação, a fonte de dados correspondente também é excluída.
Os impactos da exclusão de uma fonte de dados no módulo Data Integration são os seguintes:
Pré-verificação: Antes de excluir uma fonte de dados, verifique se a fonte de dados está associada a alguma tarefa de sincronização no ambiente de produção.
Solução: Se existirem tarefas associadas, use batch editing para alterar a fonte de dados das tarefas e, em seguida, reenvie e implante-as.
Cenário de exclusão | Impacto |
Excluir os ambientes de desenvolvimento e produção | • As tarefas de produção falharão completamente e não poderão ser executadas. • A fonte de dados não ficará visível ao configurar novas tarefas no ambiente de desenvolvimento. |
Excluir apenas o ambiente de desenvolvimento | • As tarefas de produção podem ser executadas normalmente. • No entanto, ao editar uma tarefa, os metadados (como estruturas de tabelas) não poderão ser recuperados. • A fonte de dados não ficará visível ao configurar novas tarefas no ambiente de desenvolvimento. |
Excluir apenas o ambiente de produção | • As tarefas de produção falharão completamente e não poderão ser executadas. • As tarefas que usam esta fonte de dados no ambiente de desenvolvimento não podem ser enviadas e implantadas no ambiente de produção. |
Os impactos em outros módulos são os seguintes:
|
Módulo |
Nível de risco |
Principais impactos e soluções |
|
Operation Center |
Alto |
Impacto: Todas as tarefas de computação periódica e do Data Integration que dependem desta fonte de dados falharão. Solução: Use batch editing para alterar a fonte de dados das tarefas e, em seguida, reimplemente-as. |
|
Data Service API |
Alto |
Impacto: Todas as generated APIs e API orchestrations baseadas nesta fonte de dados falharão ao serem chamadas. Solução: Substitua a fonte de dados das APIs afetadas. |
|
Data Analysis |
Médio |
Impacto: No módulo DataAnalysis, as query tasks direcionadas a esta fonte de dados falharão. Solução: Mude para outra fonte de dados disponível ao executar consultas SQL. |
|
Data Quality |
Médio |
Impacto: Tarefas com data quality monitoring rules configuradas relatarão exceções de verificação. Solução: É necessário que você acesse o Operation Center e desassocie as tarefas das regras DQC, ou modifique as regras. |
Se a fonte de dados tiver sido concedida para uso entre workspaces, a exclusão da fonte de dados também fará com que as tarefas que a utilizam em outros workspaces falhem.
Tópicos avançados
Descrição do ambiente da fonte de dados
Modos de workspace: Básico vs. padrão
O DataWorks fornece workspaces nos modos básico e padrão. Basic mode and standard mode.
Modo básico: Ambiente único. Todas as operações de desenvolvimento afetam diretamente a produção. Adequado para verificação rápida ou testes pessoais.
Modo padrão: Recomendado para uso empresarial. Ambientes de desenvolvimento e produção integrados. Configure diferentes fontes de dados (como bancos de dados de teste e produção) ou diferentes permissões de acesso para cada ambiente para alcançar o isolamento de dados.
Isolamento de ambiente da fonte de dados
O Workspaces in standard mode suporta o isolamento de ambiente da fonte de dados. Uma fonte de dados com o mesmo nome pode ter duas configurações: uma para desenvolvimento e outra para produção, conectando-se a diferentes bancos de dados ou instâncias. Isso isola os dados acessados durante os testes e o agendamento de produção, impedindo que os dados de produção sejam contaminados por operações de depuração.
No módulo Data Integration, apenas as tarefas de sincronização em lote de tabela única em workspaces no modo padrão suportam o isolamento de fontes de dados entre os ambientes de desenvolvimento e produção. Outros tipos de tarefas de sincronização usam a fonte de dados do ambiente de produção.
Uma fonte de dados com apenas o ambiente de produção configurado e sem informações do ambiente de desenvolvimento não pode ser selecionada ao configurar nós no Data Studio.
Se você atualizar um workspace do modo básico para o modo padrão, a fonte de dados original será dividida em duas fontes de dados para os ambientes de produção e desenvolvimento. Upgrade a workspace from basic mode to standard mode.
Relação com as fontes de dados do Data Integration
Modo básico:
Quando o workspace está no modo básico, há apenas um ambiente. As fontes de dados criadas no Data Integration e aquelas criadas no Administration são idênticas.
Modo padrão:
Ao criar uma fonte de dados no Administration, uma fonte de dados com o mesmo nome é criada automaticamente no Data Integration. Ambas compartilham a configuração do ambiente de produção da fonte de dados.
Ao criar uma fonte de dados no Data Integration, uma fonte de dados com o mesmo nome também é criada automaticamente no Administration. No entanto, esta fonte de dados possui apenas informações do ambiente de produção, e o ambiente de desenvolvimento mostrará informações ausentes. Complete as informações do ambiente de desenvolvimento antes que a fonte de dados possa ser usada no Data Studio.
Para garantir a integridade das informações da fonte de dados, recomendamos que você sempre crie e gerencie todas as fontes de dados no Administration.
Perguntas frequentes
-
P: Uma tarefa configurada com uma fonte de dados em um workspace no modo padrão é bem-sucedida no ambiente de desenvolvimento, mas falha durante o agendamento de produção. Por quê?
R:
Verifique se o teste de conectividade é bem-sucedido tanto para o ambiente de desenvolvimento quanto para o ambiente de produção da fonte de dados.
Verifique se os dados nos bancos de dados do ambiente de desenvolvimento e do ambiente de produção são consistentes e atendem aos requisitos de negócio.
-
Para que servem as fontes de dados dos ambientes de desenvolvimento e produção?
Configure fontes de dados separadas para o ambiente de desenvolvimento e o ambiente de produção. As fontes de dados do ambiente de desenvolvimento são usadas apenas para o desenvolvimento e depuração de nós, enquanto as fontes de dados do ambiente de produção lidam com o agendamento periódico de nós implantados. Essa separação rigorosa impede que operações de teste afetem os dados de produção.
-
P: Por que o teste de conectividade da fonte de dados falha?
R: Isso geralmente é causado pelos seguintes motivos. Verifique-os um por um. Para configuração de conectividade de rede, consulte Configure network connectivity.
Credenciais incorretas: Verifique se o nome de usuário e a senha inseridos estão corretos.
Destino de acesso incorreto: Verifique se o banco de dados, bucket ou outro nome de destino de conexão inserido está correto, e se a conta e a senha têm as permissões de acesso necessárias.
Endereço ou porta incorretos: Verifique se o endereço de conexão da fonte de dados e o número da porta estão corretos. Se um nome de domínio de host for especificado como endereço, certifique-se de que o nome de domínio possa ser resolvido corretamente. Consulte PrivateZone DNS resolution.
Problemas de rede: Verifique se a fonte de dados e o grupo de recursos estão conectados. Se a fonte de dados tiver controles de lista de permissões, verifique se o bloco CIDR do vSwitch associado ao grupo de recursos foi adicionado à lista de permissões. Se você usar um grupo de recursos serverless para se conectar a uma fonte de dados de rede pública, verifique se um NAT gateway has been configured.
-
P: Qual é a diferença entre um recurso de computação e uma fonte de dados?
R:
Um recurso de computação é uma instância de recurso no DataWorks que pode executar tarefas de processamento e análise de dados e possui capacidades de computação. Geralmente refere-se ao mecanismo de computação subjacente, como MaxCompute, Hologres ou AnalyticDB, e é usado principalmente para tarefas de desenvolvimento e agendamento de dados.
Uma fonte de dados no DataWorks é usada para se conectar a vários services de armazenamento de dados e fornece recursos de armazenamento e gerenciamento de dados. As fontes de dados fornecem interfaces para leitura e gravação de dados e são usadas principalmente para tarefas de sincronização e integração. Além disso, as fontes de dados também suportam recursos como nós de banco de dados, APIs do Data Service e análise de consultas.
-
P: Qual é a diferença entre uma fonte de dados DLF e uma fonte de dados Paimon Catalog?
R: Uma fonte de dados DLF é um tipo de fonte de dados padrão que pode ser usada para Data Integration e Data Analysis. Ela também suporta o gerenciamento de metadados para Paimon, Iceberg e outros tipos de tabelas que usam metadados registrados no DLF. Uma fonte de dados Paimon Catalog é usada apenas para a coleta de metadados de formatos de lake Paimon de fontes não-DLF, suportando recursos de governança como recuperação, visualização e monitoramento de qualidade de metadados. Atualmente, ela não suporta sincronização de dados.