Data Lake Formation:Guia de uso da API

Escolha um endpoint de acesso

A API de metadados do DLF está disponível em dois endpoints. Escolha o endpoint adequado com base no local de execução do seu cliente:

• Endpoint VPC do DLF (Recomendado) — Oferece acesso de baixa latência a partir de uma VPC incluída na lista de permissões do DLF. Os exemplos neste tópico utilizam um endpoint VPC do DLF.

• Endpoint OpenAPI do Alibaba Cloud — Permite acesso via rede pública, atendendo a cenários como acesso entre regiões e depuração local. O suporte a assinatura para o endpoint OpenAPI exige um cliente Paimon versão 1,4 ou superior, mais recente que a versão do SDK usada na dependência Maven deste tópico.

Pré-requisitos

Antes de adicionar uma VPC à lista de permissões, conceder permissões a uma função, incluir a dependência Maven e chamar a API de metadados do DLF, certifique-se de atender aos seguintes requisitos:

• Acesso à rede — Por padrão, a API de metadados do DLF só pode ser acessada a partir de VPCs presentes na lista de permissões. Ao acessar o DLF por meio de um endpoint VPC do DLF, seu cliente deve ser executado em uma VPC autorizada.

• Ambiente de execução e função — Para utilizar a autenticação por função do Elastic Compute Service (ECS), seu cliente deve ser executado em uma instância ECS ou em um nó de cluster E-MapReduce (EMR) vinculado a uma função ECS.

• Catálogo DLF — Um catálogo DLF deve estar disponível, e a função ECS deve possuir permissões sobre esse catálogo.

• Credenciais de autorização — Você precisa de uma conta Alibaba Cloud ou credenciais de administrador do Resource Access Management (RAM) para conceder permissões RAM à função ECS.

• Versão do cliente — O cliente Paimon deve atender ao requisito de versão do endpoint escolhido, conforme descrito na seção anterior.

Configure a lista de permissões de VPC

Ao ativar o DLF, o sistema sincroniza automaticamente os IDs das VPCs da sua região atual para a lista de permissões no nível do usuário. Para adicionar uma VPC posteriormente, insira seu ID no console DLF:

1. Faça login no console do Data Lake Formation (DLF).

2. No painel de navegação à esquerda, clique em System & Security.

3. Clique na aba System & Security e, em seguida, clique em Add VPC.

4. Na caixa de diálogo exibida, insira o ID da VPC a partir da qual você acessará a API de metadados do DLF e clique em OK.

Conceda permissões do DLF a uma função

Conceda à função ECS dois conjuntos de permissões: permissões RAM no console RAM e permissões de catálogo no console DLF. Por exemplo, para um cluster EMR, a função é AliyunECSInstanceForEMRRole.

1. Conceda permissões RAM à função ECS.

   1. Faça login no console do Resource Access Management (RAM) com sua conta Alibaba Cloud ou como administrador RAM.

   2. Escolha Identities > Roles e pesquise pela função ECS.

   3. Na coluna Actions, clique em Add Permissions.

   4. Em Policies, pesquise e selecione AliyunDLFFullAccess e clique em OK.

2. Conceda permissões do DLF à função ECS.

   1. Faça login no console do Data Lake Formation (DLF).

   2. Na página Catalogs, clique no nome do catálogo desejado.

   3. Clique na aba Permissions e, em seguida, clique em Grant Permissions.

   4. Na página de autorização, configure os parâmetros abaixo e clique em OK.

      • Principal: Selecione um usuário RAM ou uma função RAM.

      • Select DLF User: Selecione ECS Role na lista suspensa.

        Nota

        Se ECS Role não aparecer na lista suspensa de usuários, escolha System & Security > Access Control > Users e clique em Sync Users.

      • Predefined Permission Type: Selecione Data Editor.

Crie um cliente de API REST

Crie um cliente de API REST para chamar a API de metadados do DLF a partir da sua aplicação Java.

<dependency>
  <groupId>org.apache.paimon</groupId>
  <artifactId>paimon-api</artifactId>
  <version>1.3.0</version>
</dependency>

import org.apache.paimon.options.Options;
import org.apache.paimon.rest.RESTApi;
import static org.apache.paimon.options.CatalogOptions.WAREHOUSE;
import static org.apache.paimon.rest.RESTCatalogOptions.DLF_TOKEN_LOADER;
import static org.apache.paimon.rest.RESTCatalogOptions.TOKEN_PROVIDER;
import static org.apache.paimon.rest.RESTCatalogOptions.URI;
public class RESTApiExample {
    public static void main(String[] args) {
        Options options = new Options();
        options.set(URI, "http://cn-hangzhou-vpc.dlf.aliyuncs.com");
        options.set(WAREHOUSE, "dlf_test");
        options.set(TOKEN_PROVIDER, "dlf");
        options.set(DLF_TOKEN_LOADER, "ecs");
        RESTApi api = new RESTApi(options);
        System.out.println(api.listTables("my_database"));
    }
}