Uma fonte de dados registra os detalhes de conexão de um sistema externo (banco de dados, armazenamento ou fila de mensagens) no DataWorks para permitir leitura e escrita de dados em vários módulos. Workspaces no modo padrão oferecem isolamento de ambiente: fontes de dados separadas para desenvolvimento e produção impedem que operações de teste afetem os dados de produção.
Recursos
Uso de fontes de dados
O DataWorks gerencia centralmente as fontes de dados na seção do workspace. Após criar e testar uma conexão, utilize-a em todos os módulos do DataWorks.
|
Módulo |
Caso de uso |
Tipos suportados |
|
Data Integration |
Execute tarefas de sincronização para migrar dados entre fontes, como de MySQL para MaxCompute. Suporta diversos tipos de sincronização, incluindo tabela única, banco de dados completo, em lote e em tempo real. |
|
|
Data Studio |
Desenvolva, depure e agende nós periodicamente. No modo padrão, as tarefas usam automaticamente a fonte de dados designada para o ambiente de desenvolvimento ou produção. |
|
|
Data Map |
Colete metadados das fontes de dados. Visualize estruturas de tabelas e informações de linhagem. |
|
|
Data Analysis |
Conecte-se a bancos de dados para processar, analisar, transformar e visualizar dados. |
|
|
Data Service |
Gere serviços de API com base nas estruturas de tabelas da fonte de dados para fornecer interfaces de consulta. |
Isolamento de ambiente da fonte de dados
Workspaces no modo padrão oferecem isolamento de ambiente da fonte de dados: fontes separadas para desenvolvimento e produção evitam que operações de teste afetem os dados de produção. Para mais informações, consulte Descrição do ambiente da fonte de dados.
Tipos de fonte de dados
O DataWorks suporta dois tipos de fontes de dados:
|
Comparação |
Tipo padrão |
Tipo de metadados |
|
Objetivo principal |
Armazena detalhes de conexão para acesso físico aos dados, usados para leitura, escrita e computação. |
Armazena detalhes de conexão para centros de metadados de data lake. Uso exclusivo para coleta e governança de metadados. |
|
Objeto alvo |
Os próprios dados físicos. |
Informações descritivas sobre os dados (metadados), como estruturas de banco de dados, tabelas e colunas. |
|
Disponível para execução de tarefas |
Sim. O leitor e o gravador das tarefas de sincronização devem referenciar este tipo de fonte de dados. |
Não. Não pode ser usado como entrada ou saída de tarefas. |
|
Exemplos típicos |
MySQL, MaxCompute, Hologres, DLF, OSS, entre outros. |
Paimon Catalog. |
Resumo: Utilize fontes de dados padrão para leitura, escrita ou computação de dados. Use fontes de dados de metadados para integrar estruturas de tabelas do Paimon e de outros data lakes ao DataWorks para governança e visualização.
Pré-requisitos
Antes de configurar uma fonte de dados, garanta o seguinte:
Requisitos de permissão: Você deve ter a função Workspace Administrator ou Operator no workspace de destino, ou ser um usuário RAM com a política
AliyunDataWorksFullAccessouAdministratorAccess. Autorização: Conceder permissões a um usuário RAM e Gerenciar funções e membros do workspace.Detalhes de conexão: Prepare as informações de conexão: instância ou endpoint (Endpoint/JDBC URL), porta, nome do banco de dados, nome de usuário e senha.
Conectividade de rede: Garanta que o grupo de recursos do DataWorks possa acessar sua fonte de dados. Se a fonte de dados for acessível pela Internet e você utilizar um grupo de recursos serverless, configure um Internet NAT Gateway e um EIP para a VPC associada ao grupo de recursos.
Observações
Limites de uso: Fontes de dados criadas com métodos entre regiões, entre contas ou via AccessKey servem apenas para sincronização de dados. Não é possível usá-las para desenvolvimento de dados ou agendamento de tarefas.
Diferenças na criação por módulo: No modo padrão, as fontes de dados criadas em Administration incluem informações dos ambientes de desenvolvimento e produção. Já as fontes criadas em Data Integration contêm apenas informações do ambiente de produção. Crie e mantenha todas as fontes de dados em Administration.
Métodos de criação: Automática e manual
|
Método de criação |
Descrição |
Cenário aplicável |
|
Criação automática |
Ao associar um recurso de computação (como MaxCompute ou Hologres) a um workspace, o sistema cria e gerencia automaticamente a fonte de dados correspondente. O ciclo de vida e as permissões são herdados do recurso de computação. |
Recomendado: Quando a fonte de dados for usada para desenvolvimento de dados, você deve usar este método. Caso contrário, as tarefas não serão executadas. |
|
Criação manual |
Especifique manualmente os detalhes de conexão, credenciais de autenticação e outros parâmetros da fonte de dados. Permite controlar o ciclo de vida e a atribuição de permissões da fonte de dados. |
Aplicável a todos os tipos de fontes de dados, especialmente para Data Integration, Data Service ou cenários que exigem controle granular de permissões. |
Ponto de entrada
-
Faça login no console do DataWorks. Na região de destino, clique em no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Management Center.
No painel de navegação à esquerda, clique em Data Sources para acessar a página Data Sources.
Clique em Add Connection no canto superior esquerdo da página.
Criar uma fonte de dados
Etapa 1: Selecionar um modo de conexão
O DataWorks suporta os modos Instance Mode e User-created Data Store with Public IP Addresses para configurar conexões de fontes de dados.
Cenário 1: Modo de instância (conta atual da Alibaba Cloud)
Se sua fonte de dados for um serviço da Alibaba Cloud (como ApsaraDB RDS ou PolarDB) na conta atual, selecione Instance Mode. Especifique a Region e a Instance. O sistema obtém automaticamente os detalhes de conexão.
Ao adquirir uma nova instância, use a mesma VPC do grupo de recursos do DataWorks para minimizar configurações de rede.
Caso já possua uma instância de fonte de dados e sua VPC seja diferente da VPC usada pelo grupo de recursos do DataWorks, certifique-se de configurar a conectividade de rede para garantir o acesso adequado à fonte de dados.
Cenário 2: Modo de instância (outra conta da Alibaba Cloud)
Ao adicionar uma fonte de dados no modo de instância, se precisar acessar uma instância em Another Alibaba Cloud Account, configure o ID of Another Alibaba Cloud Account e o Name of Role Assigned to RAM User para criar uma fonte de dados entre contas.
Ao criar uma fonte de dados entre contas, certifique-se de que:
A função RAM utilizada tenha acesso à fonte de dados de destino. Para autorização entre contas, consulte Autorização entre contas para fontes de dados e Autorização entre contas para instâncias.
A conectividade de rede esteja estabelecida entre o grupo de recursos da conta consumidora (conta atual) e a fonte de dados da conta proprietária do recurso (outra conta).
O exemplo a seguir usa o ApsaraDB RDS para ilustrar a criação de fonte de dados entre contas:
Conta A da Alibaba Cloud: O DataWorks está ativado e precisa acessar uma instância do ApsaraDB RDS na conta B da Alibaba Cloud.
Conta B da Alibaba Cloud: Uma instância do ApsaraDB RDS está ativada e um banco de dados RDS foi criado.
-
Operações na conta B
-
Crie uma função RAM.
Defina Trusted Entity Type como Account.
Personalize o Role Name, por exemplo, RDSRole.
Defina Trusted Entity como Another Alibaba Cloud Account e insira o ID da conta A da Alibaba Cloud.
-
Conceda permissões à função.
Conceda permissões exatas à função RAM especificando uma política. Conceder permissões a uma função RAM.
Tipo de instância
Nome da política
RDS
AliyunDataWorksAccessingRdsReadOnlyPolicy
-
Modifique a política de confiança da função.
Modifique a política de confiança da função RAM. Modificar a política de confiança de uma função RAM. O exemplo a seguir mostra uma política de confiança:
{ "Version": "1", "Statement": [ { "Action": [ "sts:AssumeRole" ], "Effect": "Allow", "Principal": { "Service": [ "{Alibaba Cloud account ID of account A}@dataworks.aliyuncs.com" ] } } ] }
-
-
Operações na conta A
Configure a fonte de dados usando o ID da conta da Alibaba Cloud e a função RAM da conta B.
Modo de configuração: Alibaba Cloud Instance Mode.
Conta: Another Alibaba Cloud Account.
-
Parâmetros principais:
ID of Another Alibaba Cloud Account: O ID da conta B.Name of Role Assigned to RAM User:RDSRole.Instance: O recurso da conta B (como uma instância do ApsaraDB RDS).
Cenário 3: Modo de string de conexão
Para fontes de dados autogerenciadas em instâncias ECS, em data centers locais ou na rede pública, use o modo de string de conexão. Configure manualmente o endereço de rede (Endpoint/JDBC URL), porta, nome do banco de dados e credenciais (nome de usuário/senha/AccessKey).
Ao usar o modo de string de conexão, garanta que o endereço IP e a porta estejam acessíveis pela rede do grupo de recursos do DataWorks. Determine se deve ativar o acesso à rede pública e configure grupos de segurança e listas de permissões conforme necessário. Configurar conectividade de rede.
Se o endereço IP da sua fonte de dados mudar frequentemente ou usar acesso baseado em domínio, resolva isso vinculando um host a um grupo de recursos exclusivo para Data Integration ou configurando a resolução DNS do PrivateZone para o grupo de recursos serverless.
Ao usar o modo de string de conexão, o DataWorks analisa automaticamente a JDBC URL. Se a URL contiver parâmetros não suportados, o sistema remove esses parâmetros automaticamente. Para manter parâmetros especiais, para entrar em contato com o suporte técnico.
Etapa 2: Inserir detalhes de conexão
No modo padrão, configure os detalhes de conexão separadamente para o ambiente de desenvolvimento e o ambiente de produção. Você pode optar por usar configurações iguais ou diferentes para os dois ambientes.
Nome da fonte de dados: Deve ser único dentro do workspace. Recomendamos usar um nome que identifique claramente o negócio e o ambiente, como
rds_mysql_order_dev.Descrição da fonte de dados: Descreva brevemente a finalidade da fonte de dados.
Detalhes de conexão: Com base no modo de conexão descrito acima, insira a instância ou endereço URL, porta e outras informações da fonte de dados.
Etapa 3: Definir credenciais de autenticação
O DataWorks suporta múltiplos métodos de autenticação. Defina as credenciais com base no tipo de fonte de dados e na página de configuração. Garanta que as credenciais tenham as permissões necessárias no banco de dados.
|
Método de autenticação |
Caso de uso |
|
Nome de usuário e senha |
Aplicável à maioria dos tipos de banco de dados (como ApsaraDB RDS e StarRocks). O DataWorks acessa a fonte de dados por meio de autenticação por nome de usuário e senha. |
|
Conta RAM |
Vários métodos são suportados conforme descrito abaixo. Aplicável a serviços da Alibaba Cloud que suportam autenticação de conta RAM, como MaxCompute e Hologres. Defina a conta com base nas permissões necessárias.
|
|
Autenticação Kerberos |
Um mecanismo de autenticação de terceiros. Aplicável a componentes de big data como Hive, HDFS e HBase. A autenticação Kerberos requer o upload de Keytab, krb5.conf e outros arquivos de autenticação. Guia de configuração: Configurar autenticação Kerberos. |
|
AccessKey |
Um par de AccessKey é uma credencial de acesso permanente composta por um AccessKey ID e um AccessKey Secret. Aplicável a fontes de dados como OSS e Tablestore. Pares de AccessKey possuem um nível de segurança inferior — use autenticação baseada em função RAM quando disponível. |
|
Segredo genérico do KMS |
Armazene as credenciais de acesso da fonte de dados no Key Management Service (KMS) da Alibaba Cloud. Ao criar uma fonte de dados, defina Access identity como Key Management Service, selecione a Kms Region onde reside o segredo genérico do KMS e escolha o segredo genérico alvo na KMS List. Após a rotação do segredo, o DataWorks usa automaticamente a credencial mais recente, sem necessidade de reconfiguração. Crie primeiro um segredo genérico no KMS. Para mais informações, consulte Gerenciar e usar segredos genéricos. O conteúdo de um segredo genérico do KMS suporta os dois formatos JSON a seguir: Tipos de fontes de dados que atualmente suportam segredos genéricos do KMS: DB2, FTP, MongoDB, MySQL, Oracle, PolarDB, PolarDB-O, PostgreSQL, PolarDB-X 2.0, SQL Server. Nota
Após a alteração do conteúdo de um segredo genérico do KMS, o DataWorks armazena o segredo em cache por até 5 minutos. O novo segredo entra em vigor em, no máximo, 5 minutos. |
Se o seu banco de dados tiver autenticação SSL ativada, ative também o SSL ao criar a fonte de dados. Ativar autenticação SSL para uma fonte de dados PostgreSQL.
Etapa 4: Testar conectividade
Na parte inferior da página, clique em Test Connectivity para cada grupo de recursos associado ao workspace.
Se Connectable for exibido, a configuração está correta.
Se Cannot Connect for exibido, o sistema fornece uma ferramenta de diagnóstico para ajudar na solução de problemas. Causas comuns incluem credenciais incorretas, problemas de rede (lista de permissões de IP não configurada) ou ausência de NAT gateway.
No modo padrão, garanta que tanto o ambiente de desenvolvimento quanto o ambiente de produção mostrem Connectable. Caso contrário, ocorrerão erros durante o uso subsequente.
Configure a rede com base no modo de configuração da fonte de dados, região, propriedade da instância e local de implantação:
|
Cenário |
Instruções |
|
A fonte de dados é um serviço da Alibaba Cloud, pertence à mesma conta da Alibaba Cloud e está na mesma região do workspace do DataWorks. |
|
|
A fonte de dados é um serviço da Alibaba Cloud e pertence à mesma conta da Alibaba Cloud do workspace do DataWorks, mas está em uma região diferente. |
Conectar fontes de dados na mesma conta da Alibaba Cloud em regiões diferentes |
|
A fonte de dados é um serviço da Alibaba Cloud, mas pertence a uma conta da Alibaba Cloud diferente daquela do workspace do DataWorks. |
|
|
A fonte de dados está implantada em uma instância ECS da Alibaba Cloud. |
|
|
A fonte de dados está implantada em um data center local. |
|
|
A fonte de dados possui um endpoint público. |
Gerenciar fontes de dados
Na página de gerenciamento de fontes de dados, filtre as fontes por Data Source Type e Data Source Name. Também é possível realizar as seguintes operações em uma fonte de dados:
Editar, clonar e gerenciar permissões
-
Edit: Modifique a configuração de uma fonte de dados conforme necessário. O nome da fonte de dados e o ambiente aplicável não podem ser alterados.
Fontes de dados criadas automaticamente ao associar um recurso de computação em Administration não podem ser editadas diretamente. Para modificá-las, edite-as na página de gerenciamento de recursos de computação.
Cloning: Clone uma fonte de dados para criar rapidamente uma nova com a mesma configuração.
-
Manage Permissions: Clique no ícone
para gerenciar permissões de uso entre workspaces para a fonte de dados. O gerenciamento de permissões permite conceder acesso à fonte de dados atual para outros workspaces ou usuários específicos em outros workspaces. Após conceder a permissão Allowed, o usuário poderá visualizar e usar a fonte de dados, mas não poderá editá-la.Outros problemas de permissão de fonte de dados: FAQ sobre permissões de fonte de dados .
Excluir uma fonte de dados e os impactos
Na lista de fontes de dados, clique no botão de exclusão para remover uma fonte de dados. No entanto, fontes criadas automaticamente ao associar um recurso de computação em Administration não podem ser excluídas diretamente. Em Administration, clique em Computing Resources no painel de navegação à esquerda, localize o recurso de computação e clique em Disassociate. Após desassociar, a fonte de dados correspondente também será excluída.
Os impactos da exclusão de uma fonte de dados no módulo Data Integration são os seguintes:
Pré-verificação: Antes de excluir uma fonte de dados, verifique se ela está associada a alguma tarefa de sincronização no ambiente de produção.
Solução: Se existirem tarefas associadas, use a edição em lote para alterar a fonte de dados das tarefas e, em seguida, reenvie-as e implante-as.
|
Cenário de exclusão |
Impacto |
|
Excluir ambos os ambientes de desenvolvimento e produção |
• As tarefas de produção falharão completamente e não poderão ser executadas. • A fonte de dados não ficará visível ao configurar novas tarefas no ambiente de desenvolvimento. |
|
Excluir apenas o ambiente de desenvolvimento |
• As tarefas de produção podem ser executadas normalmente. • No entanto, ao editar uma tarefa, os metadados (como estruturas de tabelas) não poderão ser recuperados. • A fonte de dados não ficará visível ao configurar novas tarefas no ambiente de desenvolvimento. |
|
Excluir apenas o ambiente de produção |
• As tarefas de produção falharão completamente e não poderão ser executadas. • Tarefas que usam esta fonte de dados no ambiente de desenvolvimento não podem ser enviadas e implantadas no ambiente de produção. |
Os impactos em outros módulos são os seguintes:
|
Módulo |
Nível de risco |
Principais impactos e soluções |
|
Operation Center |
Alto |
Impacto: Todas as tarefas periódicas de computação e do Data Integration que dependem desta fonte de dados falharão. Solução: Use a edição em lote para alterar a fonte de dados das tarefas e, em seguida, reimplemente-as. |
|
Data Service API |
Alto |
Impacto: Todas as APIs geradas e orquestrações de API baseadas nesta fonte de dados falharão ao serem chamadas. Solução: Substitua a fonte de dados das APIs afetadas. |
|
Data Analysis |
Médio |
Impacto: No módulo DataAnalysis, as tarefas de consulta direcionadas a esta fonte de dados falharão. Solução: Mude para outra fonte de dados disponível ao executar consultas SQL. |
|
Data Quality |
Médio |
Impacto: Tarefas com regras de monitoramento de qualidade de dados configuradas relatarão exceções de verificação. Solução: Acesse o Operation Center e desassocie as tarefas das regras DQC, ou modifique as regras. |
Se a fonte de dados tiver sido concedida para uso entre workspaces, excluí-la também causará falhas nas tarefas que utilizam essa fonte em outros workspaces.
Fontes de dados suportadas
Tópicos avançados
Descrição do ambiente da fonte de dados
Modos de workspace: Básico vs. padrão
O DataWorks oferece workspaces nos modos básico e padrão. Modo básico e modo padrão.
Modo básico: Ambiente único. Todas as operações de desenvolvimento afetam diretamente a produção. Adequado para verificações rápidas ou testes pessoais.
Modo padrão: Recomendado para uso empresarial. Possui ambientes integrados de desenvolvimento e produção. Configure diferentes fontes de dados (como bancos de teste e produção) ou permissões de acesso distintas para cada ambiente, garantindo o isolamento dos dados.
Isolamento de ambiente da fonte de dados
Workspaces no modo padrão suportam isolamento de ambiente da fonte de dados. Uma fonte de dados com o mesmo nome pode ter duas configurações — uma para desenvolvimento e outra para produção — conectando-se a bancos de dados ou instâncias diferentes. Isso isola os dados acessados durante testes e agendamentos de produção, evitando que dados produtivos sejam contaminados por operações de depuração.
No módulo Data Integration, apenas tarefas de sincronização em lote de tabela única em workspaces no modo padrão suportam isolamento de fonte de dados entre ambientes de desenvolvimento e produção. Outros tipos de tarefas de sincronização usam a fonte de dados do ambiente de produção.
Uma fonte de dados configurada apenas com o ambiente de produção, sem informações do ambiente de desenvolvimento, não pode ser selecionada ao configurar nós no Data Studio.
Ao atualizar um workspace do modo básico para o modo padrão, a fonte de dados original é dividida em duas fontes para os ambientes de produção e desenvolvimento. Atualizar um workspace do modo básico para o modo padrão.
Relação com fontes de dados do Data Integration
Modo básico:
Quando o workspace está no modo básico, existe apenas um ambiente. Fontes de dados criadas no Data Integration e aquelas criadas em Administration são idênticas.
Modo padrão:
Ao criar uma fonte de dados em Administration, uma fonte com o mesmo nome é criada automaticamente no Data Integration. Ambas compartilham a configuração do ambiente de produção da fonte de dados.
Ao criar uma fonte de dados no Data Integration, uma fonte com o mesmo nome também é criada automaticamente em Administration. No entanto, essa fonte terá apenas informações do ambiente de produção, e o ambiente de desenvolvimento apresentará informações ausentes. Complete as informações do ambiente de desenvolvimento antes que a fonte possa ser usada no Data Studio.
Para garantir a integridade das informações da fonte de dados, recomendamos sempre criar e gerenciar todas as fontes de dados em Administration.
FAQ
-
P: Uma tarefa configurada com uma fonte de dados em um workspace no modo padrão tem sucesso no ambiente de desenvolvimento, mas falha durante o agendamento de produção. Por quê?
R:
Verifique se o teste de conectividade teve sucesso tanto no ambiente de desenvolvimento quanto no ambiente de produção da fonte de dados.
Confirme se os dados nos bancos dos ambientes de desenvolvimento e produção estão consistentes e atendem aos requisitos de negócio.
-
Para que servem as fontes de dados dos ambientes de desenvolvimento e produção?
Configure fontes de dados separadas para os ambientes de desenvolvimento e produção. As fontes de desenvolvimento destinam-se apenas ao desenvolvimento e depuração de nós, enquanto as fontes de produção lidam com agendamentos periódicos para nós implantados. Essa separação rigorosa impede que operações de teste afetem os dados de produção.
-
P: Por que o teste de conectividade da fonte de dados falha?
R: Isso geralmente ocorre pelos motivos abaixo. Verifique-os um a um. Para configuração de conectividade de rede, consulte Configurar conectividade de rede.
Credenciais incorretas: Verifique se o nome de usuário e a senha inseridos estão corretos.
Alvo de acesso incorreto: Confirme se o banco de dados, bucket ou outro nome de destino de conexão inserido está correto, e se a conta e senha possuem as permissões de acesso necessárias.
Endereço ou porta incorretos: Verifique se o endereço de conexão e o número da porta da fonte de dados estão corretos. Se um nome de domínio de host for especificado como endereço, garanta que o domínio possa ser resolvido adequadamente. Consulte Resolução DNS do PrivateZone.
Problemas de rede: Verifique se a fonte de dados e o grupo de recursos estão conectados. Se a fonte de dados possuir controles de lista de permissões, confirme se o bloco CIDR do vSwitch associado ao grupo de recursos foi adicionado à lista de permissões. Ao usar um grupo de recursos serverless para conectar-se a uma fonte de dados de rede pública, verifique se um NAT gateway foi configurado.
-
P: Qual a diferença entre um recurso de computação e uma fonte de dados?
R:
Um recurso de computação é uma instância de recurso no DataWorks capaz de executar tarefas de processamento e análise de dados, possuindo capacidades de computação. Geralmente refere-se ao mecanismo de computação subjacente, como MaxCompute, Hologres ou AnalyticDB, sendo usado principalmente para desenvolvimento de dados e tarefas de agendamento.
Uma fonte de dados no DataWorks conecta-se a vários serviços de armazenamento de dados, fornecendo capacidades de armazenamento e gerenciamento. As fontes de dados oferecem interfaces para leitura e escrita, sendo usadas principalmente para tarefas de sincronização e integração. Além disso, também suportam recursos como nós de banco de dados, APIs do Data Service e análise de consultas.
-
P: Qual a diferença entre uma fonte de dados DLF e uma fonte de dados Paimon Catalog?
R: Uma fonte de dados DLF é um tipo de fonte de dados padrão que pode ser usada para Data Integration e Data Analysis. Ela também suporta gerenciamento de metadados para Paimon, Iceberg e outros tipos de tabelas que utilizam metadados registrados no DLF. Uma fonte de dados Paimon Catalog serve apenas para coleta de metadados de formatos de lake Paimon provenientes de fontes não-DLF, suportando recursos de governança como recuperação, visualização e monitoramento de qualidade de metadados. Atualmente, não suporta sincronização de dados.