O DataWorks permite configurar uma fonte de dados Catálogo Paimon para coletar e governar metadados de tabelas Paimon que não se originam do Data Lake Formation (DLF). Essa fonte de dados especializada ajuda a unificar a governança de ativos de data lake Paimon no Data Map. Este tópico descreve como configurar essa fonte de dados.
Introdução
Com a crescente adoção da arquitetura lakehouse nas empresas, formatos abertos de tabela como Paimon, Iceberg e Delta Lake tornaram-se a base para a construção de data warehouses em tempo real e para viabilizar cenários de processamento unificado de batch e stream. No ecossistema de processamento de streams do Flink, o Catálogo Paimon é amplamente utilizado devido à sua compatibilidade nativa.
O DataWorks integra-se profundamente ao Data Lake Formation, oferecendo suporte ao gerenciamento e acesso unificados a tabelas de data lake por meio de fontes de dados DLF. Por exemplo, um usuário pode definir um Catálogo Paimon usando o mecanismo Flink, com os metadados e dados armazenados no OSS da Alibaba Cloud.
Os sistemas de fontes de dados existentes não conseguem descobrir ou gerenciar adequadamente esse tipo de metadado de formato de lake nativo e não gerenciado pelo DLF. Para resolver isso, o DataWorks introduz a fonte de dados Catálogo Paimon, que oferece suporte à coleta e governança de metadados para formatos nativos de data lake. Esse recurso preenche a lacuna de gerenciamento para catálogos autodeclarados, tornando os dados de lakehouse de ponta a ponta visíveis, gerenciáveis e utilizáveis.
Limitações
Conectividade de rede: Apenas o grupo de recursos serverless é suportado.
Cenários: Atualmente, o Catálogo Paimon serve apenas para Collect Metadata e governança. Ele não oferece suporte a tarefas de integração e sincronização de dados. Para ler e gravar em tabelas Paimon visando a sincronização de dados, utilize outras fontes de dados, como DLF ou OSS.
Procedimento
1. Acesse a página Data Sources
Faça login no console do DataWorks e mude para a região de destino. Na barra de navegação à esquerda, clique em Workspace e, em seguida, clique em Manage na coluna Actions do workspace desejado para acessar a página de gerenciamento.
Na página do centro de gerenciamento de workspaces, clique em Data Sources na barra de navegação à esquerda para ir à página de fontes de dados.
2. Adicione uma fonte de dados Catálogo Paimon
Na página Data Sources, clique em Add Data Source.
Na caixa de diálogo Add Data Source, pesquise e selecione Paimon Catalog.
3. Configure os parâmetros
Configure os seguintes parâmetros:
Parâmetro | Descrição |
Data Source Name | Especifique um nome personalizado para a fonte de dados, como |
Catalog | Nome do catálogo para a conexão, como |
MetaStore | Tipo de armazenamento do catálogo. Atualmente, há suporte apenas para Filesystem. |
Filesystem | Tipo de armazenamento de arquivos. Atualmente, apenas o OSS é suportado. |
Access Mode |
|
Region | Selecione um bucket na mesma região do workspace para obter desempenho ideal. Para fontes de dados entre regiões, estabeleça uma conexão VPC peering. Para mais detalhes, consulte Conectar-se a uma fonte de dados em uma região diferente sob a mesma conta Alibaba Cloud. Alternativamente, conecte-se usando um endpoint público. |
Endpoint | Para informações sobre a configuração de endpoints, consulte Nomes de domínio de acesso e data centers. |
Warehouse | Caminho do Warehouse: O caminho de armazenamento do Catálogo Paimon no OSS.
|
à direita da caixa de entrada para selecionar um caminho em uma lista.4. Teste a conectividade
Após configurar a fonte de dados, execute um teste de conectividade para verificar a conexão entre a fonte de dados e o grupo de recursos.
Se Connected for exibido, a configuração está correta.
Caso apareça Connection failed., uma ferramenta de diagnóstico será aberta para ajudar na solução de problemas. As causas comuns incluem credenciais incorretas, problemas de conectividade de rede (como lista de permissões de IP não configurada) ou ausência de gateway NAT.
No modo padrão, garanta que tanto o ambiente de desenvolvimento quanto o de produção estejam Connected. Caso contrário, ocorrerão erros durante operações subsequentes, como a coleta de metadados.
Próximas etapas
Depois de adicionar a fonte de dados, acesse o módulo Data Map para coletar metadados. Em seguida, visualize e governe esses metadados.