O diretório dedicado é um tipo de diretório no catálogo de dados usado para se conectar diretamente a serviços de metadados externos. Ele é baseado no serviço totalmente gerenciado Apache Gravitino (serviço de metadados) fornecido pelo DataWorks. Não é necessário implantar ou manter clusters do Gravitino. Acesse diretamente os metadados em serviços de metadados externos entre regiões, nuvens e tenants, ou em data lakes. Além disso, gerencie tabelas de formatos de lake e fontes de dados como Paimon, Iceberg, Hive e JDBC. Isso permite que mecanismos de computação, como o Spark, leiam e gravem os dados em tempo real. Também é possível sincronizar os metadados com o Data Map para recuperação e governança unificadas. Este tópico descreve como ativar e usar o diretório dedicado.
Visão geral
O diretório dedicado do catálogo de dados é baseado no serviço Gravitino totalmente gerenciado (serviço de metadados) fornecido pelo DataWorks. Após ativar o serviço de metadados e alocar a cota de CU ao criar um grupo de recursos serverless, o DataWorks implanta e mantém automaticamente o serviço Gravitino no grupo de recursos. Você não precisa criar ou manter um cluster Gravitino por conta própria. Mecanismos de computação, como o Spark, podem se conectar diretamente ao serviço de metadados usando os endereços de serviço e acessar os metadados em tempo real. Os metadados são organizados por Metalake e catálogo.
O catálogo de dados também fornece o diretório padrão, projetado para agregação e governança. O Data Map agrega metadados de várias fontes de dados por meio da coleta, permitindo recuperação e governança unificadas. Além disso, ele os atualiza periodicamente com base nas tarefas de coleta. Os dois tipos de diretórios atendem a propósitos diferentes e não se substituem. Use-os em conjunto. Para recuperar e governar centralmente no Data Map os metadados gerenciados no diretório dedicado, use a coleta de metadados para sincronizá-los com o diretório padrão. Para obter mais informações, consulte a seção "Sincronizar metadados com o Data Map" neste tópico.
O diretório dedicado oferece os seguintes recursos principais:
Gerenciamento unificado de Metalakes e catálogos: Crie e gerencie Metalakes no serviço de metadados na guia Dedicated Directory do catálogo de dados. Em cada Metalake, crie e gerencie catálogos (como Paimon, Iceberg, Hive, StarRocks e provedores de serviço JDBC). Você pode editar, excluir e associar tags e políticas aos catálogos.
Acesso de leitura e gravação do mecanismo: O serviço gera automaticamente o Metadata Service Endpoint e o Iceberg Endpoint. Após conectar um mecanismo de computação, como o Spark, à rede do grupo de recursos, o mecanismo pode ler e gravar dados nos catálogos usando os endereços de serviço.
Sincronização e governança de metadados: Use a coleta de metadados para sincronizar os metadados gerenciados pelo Gravitino com o Data Map, garantindo recuperação e governança unificadas.
Se você tiver um serviço Gravitino autogerenciado, conecte-o ao DataWorks para coleta de metadados. Para obter mais informações, consulte Apache Gravitino data source. Este tópico se aplica a cenários em que você usa o diretório dedicado (serviço Apache Gravitino totalmente gerenciado, versão 1.3.1 implantada atualmente) do catálogo de dados. Os tipos de provedor de serviço suportados variam de acordo com a versão do Gravitino. Prevalecem os provedores de serviço disponíveis no console.
Pré-requisitos
Um serverless resource group foi criado ou será criado, e a virtual private cloud (VPC) e o vSwitch usados pelo grupo de recursos foram planejados.
Para acessar o serviço Gravitino a partir de um mecanismo de computação, como um cluster Spark autogerenciado, certifique-se de que a rede do mecanismo se comunique com a VPC do grupo de recursos.
Obtenha as permissões necessárias. Para criar, editar ou excluir Metalakes e catálogos, a conta atual deve ser uma conta Alibaba Cloud (Tenant Owner), um usuário do RAM com a permissão
AliyunDataWorksFullAccessou um membro com uma função no nível de tenant, como Tenant Administrator, Data Catalog Administrator ou Metadata Collection Administrator. Para obter mais informações sobre como conceder essas funções, consulte Permission control for global services.
Limitações
O serviço de metadados de diretórios dedicados está disponível apenas nas seguintes regiões: China (Hangzhou), China (Shanghai), China (Beijing), China (Ulanqab), China (Shenzhen), China (Hong Kong), Japan (Tokyo), Singapore, Malaysia (Kuala Lumpur), Indonesia (Jakarta), Germany (Frankfurt), US (Silicon Valley) e US (Virginia).
O serviço de metadados só pode ser ativado em grupos de recursos serverless por assinatura.
A cota de CU alocada para o serviço de metadados deve ser de pelo menos 3.
Procedimento
Etapa 1: Ativar o serviço de metadados
Acesse o console do DataWorks e mude para a região de destino.
No painel de navegação à esquerda, clique em Resource Group para acessar a página da lista de grupos de recursos.
Clique em Create Resource Group e crie um grupo de recursos serverless. Durante a criação, selecione Metadata Service como finalidade e aloque CUs para o serviço de metadados. O serviço de metadados só pode ser ativado em grupos de recursos serverless por assinatura, e a cota de CU alocada deve ser de pelo menos 3. Para obter mais informações sobre como criar um grupo de recursos, consulte Use serverless resource groups.
Após a criação do grupo de recursos, o sistema inicia automaticamente o serviço Gravitino e inicializa o armazenamento de metadados no grupo de recursos. O processo leva aproximadamente de 5 a 10 minutos. Após a inicialização do serviço, use o serviço de metadados na guia Dedicated Directory do catálogo de dados.
O serviço de metadados consome recursos de CU do grupo de recursos. Planeje a cota de CU com atenção.
Etapa 2: Criar e acessar um Metalake
Um Metalake é a unidade de gerenciamento de nível superior no diretório dedicado. Crie vários Metalakes em um grupo de recursos, e cada Metalake gerenciará independentemente um conjunto de catálogos. É possível dividir os Metalakes por ambiente de nuvem, tenant ou linha de negócios. Por exemplo, crie Metalakes separados para tenants de produção e teste, ou para data lakes em nuvens diferentes, a fim de isolar o gerenciamento de metadados e definir limites de permissão. Antes de acessar a página de gerenciamento do Metalake, crie ou selecione um Metalake.
Acesse o console do DataWorks e mude para a região de destino. No painel de navegação à esquerda, clique em . Na página exibida, clique em Go to Data Map.
No painel de navegação à esquerda do Data Map, clique em Data Catalog e, em seguida, clique na guia Dedicated Directory na parte superior da página.
Se a página indicar a ausência de grupos de recursos disponíveis para o serviço de metadados na região atual, significa que o serviço não está ativado. Nesse caso, clique em Go to Configuration e ative o serviço de metadados. Em seguida, aloque a cota de CU para um grupo de recursos serverless por assinatura, conforme descrito na Etapa 1. Por fim, retorne à guia Dedicated Directory para continuar as operações.
Clique no cartão Metadata Service do grupo de recursos com o serviço de metadados ativado. Isso abrirá a página de gerenciamento do Metalake. No primeiro acesso à página, o sistema o orientará na criação de um Metalake.
Insira um nome para o Metalake e clique em OK. O sistema cria o Metalake e redireciona você para a página de Metalake management. Esta página fornece entradas de gerenciamento, como Data Catalogs e Compliance Management.
Etapa 3: Gerenciar catálogos de dados
O catálogo é a unidade lógica no diretório dedicado que gerencia uma fonte de dados específica. Cada catálogo corresponde a um tipo de fonte de dados, como Paimon, Iceberg, Hive, StarRocks ou JDBC. Na guia Data Catalogs da página de gerenciamento do Metalake, crie, edite e exclua catálogos, além de associar tags e políticas a eles.
Criar um catálogo
Na página de gerenciamento do Metalake, certifique-se de estar na guia Data Catalogs e clique em + Create Catalog.
-
Na caixa de diálogo exibida, selecione um provedor de serviço. O serviço de metadados suporta os seguintes provedores de serviço:
Provedor de serviço
Descrição
lakehouse-paimon
Gerencia tabelas do Apache Paimon. Adequado para cenários de data lakehouse.
lakehouse-iceberg
Controla tabelas do Apache Iceberg. Ideal para cenários de formato de tabela aberta.
hive
Administra tabelas do Apache Hive.
jdbc-mysql / jdbc-postgresql / jdbc-starrocks, etc.
Gerencia tabelas em bancos de dados relacionais. Acessa fontes de dados por meio de conexões JDBC.
lakehouse-generic
Catálogo de formato de lake genérico. O formato real da tabela é especificado por meio de parâmetros. Por exemplo, para gerenciar os metadados de Delta Tables externas, defina
format=deltaeexternal=true, e uselocationpara especificar o caminho onde os dados estão armazenados. Este provedor de serviço suporta apenas o gerenciamento de metadados. Não é possível criar, modificar ou limpar dados físicos do Delta. Com base no provedor de serviço selecionado, especifique o nome do catálogo, as informações de conexão (como o caminho de armazenamento, a URL JDBC e as credenciais) e outros parâmetros de configuração.
Clique em OK para criar o catálogo. Após a criação, o catálogo aparece na lista de catálogos de dados.
Gerenciar catálogos existentes
Na guia Data Catalogs, visualize o nome, o provedor de serviço, a descrição, as tags e as políticas de todos os catálogos no Metalake atual. Execute as seguintes operações em cada catálogo. Para executar operações como edição e exclusão, você deve ter as permissões necessárias. Para obter mais informações, consulte a seção Pré-requisitos deste tópico.
Editar: Modifique as informações de conexão e os parâmetros de configuração do catálogo.
Excluir: Remova um catálogo que não esteja mais em uso. A exclusão de um catálogo não exclui os dados reais na fonte de dados subjacente.
Associar tags: Adicione tags ao catálogo para classificação e recuperação.
Associar políticas: Vincule políticas de controle de acesso ao catálogo para um gerenciamento de permissões refinado.
Navegar por bancos de dados e tabelas: Expanda um catálogo na árvore de fontes de dados no lado esquerdo para visualizar os bancos de dados e os detalhes da estrutura da tabela, além de editar as propriedades dos metadados.
Operações avançadas
Conectar mecanismos de computação para ler e gravar dados
Se você precisar usar mecanismos de computação externos, como Spark ou EMR, para ler e gravar dados em catálogos gerenciados no diretório dedicado, certifique-se de que eles possam acessar os endereços do serviço Gravitino. Em seguida, configure as conexões do catálogo nos mecanismos.
Obter endereços de serviço
Após ativar o serviço de metadados, o sistema gera automaticamente os seguintes endereços de serviço para o grupo de recursos. Visualize os endereços reais clicando no cartão Metadata Service na guia Dedicated Directory da página Data Catalog.
|
Endereço de serviço |
Descrição |
|
Metadata Service Endpoint |
O endereço da API REST do serviço de metadados Gravitino (porta 8090). Mecanismos de computação ou ferramentas de terceiros usam este endereço para acessar e gerenciar metadados chamando as APIs do Gravitino. Exemplo: |
|
Iceberg Endpoint |
O endereço de serviço do Iceberg REST Catalog (porta 9001). Mecanismos de computação usam este endereço para ler e gravar dados em tabelas Iceberg usando o Iceberg REST Catalog. Exemplo: |
O domínio de um endereço de serviço está no formato gv-{ID}.Region.dataworks-metalake.aliyuncs.com. Prevalecem os endereços reais exibidos no console.
Configurar conexões do mecanismo
Implante o mecanismo de computação na mesma VPC do grupo de recursos ou use produtos de rede para estabelecer conectividade entre o mecanismo e o grupo de recursos.
Configure um catálogo Gravitino ou um Iceberg REST Catalog no mecanismo e especifique o endereço de serviço obtido acima. Assim, o mecanismo poderá ler e gravar dados nos bancos de dados e tabelas do catálogo.
Se você usar um mecanismo de computação serverless do DataWorks, como o Serverless Spark, para acessar o serviço, certifique-se de que a VPC vinculada ao workspace do mecanismo se comunique com a VPC do grupo de recursos. Caso contrário, o serviço Gravitino ficará inacessível.
Sincronizar metadados com o Data Map
Para recuperar e governar centralmente no Data Map os metadados gerenciados pelo Gravitino, use a coleta de metadados para sincronizar os metadados de catálogos, bancos de dados e tabelas com o Data Map. Se você gerenciar metadados apenas no diretório dedicado, pule esta seção.
Crie uma fonte de dados Apache Gravitino e defina o Endpoint como o Metadata Service Endpoint obtido acima. Para obter mais informações, consulte Apache Gravitino data source.
Crie e execute um rastreador de metadados para sincronizar os metadados de metalakes, catálogos, bancos de dados e tabelas gerenciados pelo Gravitino com o Data Map. Para obter mais informações, consulte Apache Gravitino metadata collection.
Após a conclusão da sincronização, pesquise os metadados gerenciados pelo Gravitino no Data Map e visualize os detalhes dos bancos de dados e tabelas.
Os metadados sincronizados com o diretório padrão não são atualizados em tempo real. Para visualizar os metadados mais recentes, acesse o serviço de metadados na guia Dedicated Directory.