Connect StarRocks to DLF - Data Lake Formation: Central de Documentação do Alibaba Cloud

Pré-requisitos

Antes de começar, verifique se você tem:

Uma instância EMR Serverless StarRocks na versão 3.3.8 ou posterior. Se a sua instância estiver em uma versão anterior, upgrade it.
Uma instância EMR Serverless StarRocks e um catálogo DLF na mesma região.

Crie um catálogo DLF

Configure o controle de acesso

O DLF usa o Resource Access Management (RAM) para controle de acesso. Por padrão, os usuários do StarRocks não têm acesso ao DLF. Para conceder acesso, crie um usuário RAM que atue como identidade do StarRocks ao se conectar ao DLF, conceda a esse usuário as permissões de dados no console do DLF e, em seguida, mapeie-o a um usuário do StarRocks.

Etapa 1: Crie ou selecione um usuário RAM

Faça login no console do RAM como proprietário de uma conta Alibaba Cloud ou administrador RAM.
Create a RAM user ou selecione um existente.

O nome do usuário RAM pode conter apenas letras, dígitos e sublinhados ( _ ) para atender às convenções de nomenclatura do StarRocks.

Etapa 2: Conceda permissões de dados no DLF

Faça login no console do DLF.
Acesse seu catálogo Paimon.
Na aba Permissions, clique em Grant Permissions e conceda ao usuário RAM o acesso necessário aos dados do seu catálogo. Para mais informações, consulte Gerenciar permissões de dados.

Etapa 3: Crie e configure um usuário StarRocks

Acesse EMR Serverless StarRocks console.
Clique em Connect na coluna Actions da sua instância StarRocks. Para mais informações, consulte Usar o EMR StarRocks Manager para se conectar a uma instância EMR Serverless StarRocks.

Conecte-se com um usuário admin ou outro usuário com privilégios administrativos.
No StarRocks Manager, acesse Security Center > User Management e clique em Create User.

No diálogo Create User, configure as seguintes opções e clique em OK:

Campo	Valor
User Source	Selecione RAM User
Username	Selecione o usuário RAM criado na etapa 1
Password	Defina uma senha para este usuário StarRocks
Role	O padrão é `public`

Conceda privilégios StarRocks ao novo usuário:
1. Na página User Management, localize o novo usuário e clique em Add Permission na coluna Actions.
2. Na aba Permissions, clique em Add Permission.
3. No painel Add Permission, defina Resource e Permission conforme necessário e clique em OK.
  
  Isso concede ao usuário acesso aos recursos internos do StarRocks. Para modifique permissões no seu catálogo DLF, acesse o console do DLF.

Etapa 4: Verifique o mapeamento do usuário (opcional)

O usuário StarRocks é mapeado ao usuário RAM em 10 a 20 segundos. Para verifique o mapeamento:

Faça login no StarRocks Manager com o novo usuário StarRocks.
Acesse SQL Editor e clique no ícone para criar um script SQL.
Execute o seguinte comando:
```
show property;
```
Se o ID do usuário RAM aparecer na saída, o mapeamento está ativo:

Conecte o StarRocks ao DLF

Isso cria um mapeamento lógico para o seu catálogo DLF. Criar ou excluir o catálogo no StarRocks não afeta os dados reais no DLF.

Faça login no StarRocks Manager com o novo usuário StarRocks e crie um catálogo externo que aponte para o seu catálogo Paimon no DLF.

Acesse SQL Editor e clique no ícone para criar um script SQL.

Execute o seguinte SQL para criar o catálogo externo. Substitua os valores de espaço reservado na cláusula PROPERTIES pelos seus valores reais.

CREATE EXTERNAL CATALOG `paimon_catalog`
PROPERTIES (
  'type' = 'paimon',
  'uri' = 'http://<region-id>-vpc.dlf.aliyuncs.com',
  'paimon.catalog.type' = 'rest',
  'paimon.catalog.warehouse' = '<dlf-paimon-catalog-name>',
  'token.provider' = 'dlf'
);

A tabela a seguir descreve cada propriedade:

Propriedade	Descrição	Exemplo
`type`	Tipo de catálogo do StarRocks. Defina como `paimon`.	`paimon`
`uri`	Endpoint do DLF. Formato: `http://[region-id]-vpc.dlf.aliyuncs.com`.	`http://ap-southeast-1-vpc.dlf.aliyuncs.com`
`paimon.catalog.type`	Tipo de catálogo Paimon. Defina como `rest` para acessar o DLF.	`rest`
`paimon.catalog.warehouse`	Nome do seu catálogo Paimon no DLF. Obtenha esse nome no console do DLF.	`StarRocks`
`token.provider`	Provedor do service REST. Defina como `dlf`.	`dlf`

Próximos passos

Gerenciar permissões de dados — atualize quais tabelas e bancos de dados o usuário RAM pode acessar no DLF.
Introdução ao DLF — aprenda a criar e gerenciar catálogos DLF e tabelas Paimon.