Data Lake Formation:Guía de uso de la API

Elegir un endpoint de acceso

La API de metadatos de DLF está disponible mediante dos endpoints. Elija uno según el lugar donde se ejecute su cliente:

• Endpoint de VPC de DLF (recomendado): ofrece acceso de baja latencia desde una VPC incluida en la lista de permitidos de DLF. Los ejemplos de este tema utilizan un endpoint de VPC de DLF.

• Endpoint de OpenAPI de Alibaba Cloud: proporciona acceso a través de la red pública. Es útil para escenarios como el acceso entre regiones y la depuración local. Para usar firmas con este endpoint, necesita un cliente de Paimon versión 1.4 o posterior. Esta versión es más reciente que la del SDK utilizada en la dependencia de Maven de este tema.

Requisitos previos

Antes de agregar una VPC a la lista de permitidos, otorgar permisos a un rol, añadir la dependencia de Maven y llamar a la API de metadatos de DLF, compruebe que se cumplen a continuación requisitos:

• Acceso a la red: de forma predeterminada, la API de metadatos de DLF solo admite conexiones desde las VPC incluidas en la lista de permitidos. Si accede a DLF mediante un endpoint de VPC de DLF, su cliente debe ejecutarse en una VPC permitida.

• Entorno de ejecución y rol: si utiliza la autenticación mediante roles de Elastic Compute Service (ECS), su cliente debe ejecutarse en una instancia de ECS o en un nodo de clúster de E-MapReduce (EMR) vinculado a un rol de ECS.

• Catálogo de DLF: debe contar con un catálogo de DLF disponible y el rol de ECS debe tener permisos sobre dicho catálogo.

• Credenciales de autorización: necesita una cuenta de Alibaba Cloud o credenciales de administrador de Resource Access Management (RAM). Estas credenciales son obligatorias para otorgar permisos de RAM al rol de ECS.

• Versión del cliente: el cliente de Paimon debe cumplir con el requisito de versión del endpoint que utilice, tal como se describe en la sección anterior.

Configurar una lista de permitidos de VPC

Cuando activa DLF, el sistema sincroniza automáticamente los identificadores de VPC de su región actual con la lista de permitidos a nivel de usuario. Para agregar una VPC más adelante, añada su identificador en la consola de DLF:

1. Inicie sesión en la consola de Data Lake Formation (DLF).

2. En el panel de navegación izquierdo, haga clic en System & Security.

3. Haga clic en la pestaña System & Security y, a continuación, haga clic en Add VPC.

4. En el cuadro de diálogo que aparece, introduzca el identificador de la VPC desde la cual accederá a la API de metadatos de DLF y haga clic en OK.

Otorgar permisos de DLF a un rol

Otorgue al rol de ECS dos conjuntos de permisos: permisos de RAM en la consola de RAM y permisos de catálogo en la consola de DLF. Por ejemplo, en un clúster de EMR, el rol es AliyunECSInstanceForEMRRole.

1. Otorgue permisos de RAM al rol de ECS.

   1. Inicie sesión en la consola de Resource Access Management (RAM) con su cuenta de Alibaba Cloud o como administrador de RAM.

   2. Seleccione Identities > Roles y busque el rol de ECS.

   3. En la columna Actions, haga clic en Add Permissions.

   4. En Policies, busque y seleccione AliyunDLFFullAccess, y luego haga clic en OK.

2. Otorgue permisos de DLF al rol de ECS.

   1. Inicie sesión en la consola de Data Lake Formation (DLF).

   2. En la página Catalogs, haga clic en el nombre del catálogo de destino.

   3. Haga clic en la pestaña Permissions y, a continuación, haga clic en Grant Permissions.

   4. En la página de autorización, configure a continuación parámetros y haga clic en OK.

      • Principal: seleccione un usuario o un rol de RAM.

      • Select DLF User: seleccione ECS Role en la lista desplegable.

        Nota

        Si ECS Role no aparece en la lista desplegable de usuarios, seleccione System & Security > Access Control > Users y haga clic en Sync Users.

      • Predefined Permission Type: seleccione Data Editor.

Crear un cliente de API REST

Cree un cliente de API REST para llamar a la API de metadatos de DLF desde su aplicación Java.

<dependency>
  <groupId>org.apache.paimon</groupId>
  <artifactId>paimon-api</artifactId>
  <version>1.3.0</version>
</dependency>

import org.apache.paimon.options.Options;
import org.apache.paimon.rest.RESTApi;
import static org.apache.paimon.options.CatalogOptions.WAREHOUSE;
import static org.apache.paimon.rest.RESTCatalogOptions.DLF_TOKEN_LOADER;
import static org.apache.paimon.rest.RESTCatalogOptions.TOKEN_PROVIDER;
import static org.apache.paimon.rest.RESTCatalogOptions.URI;
public class RESTApiExample {
    public static void main(String[] args) {
        Options options = new Options();
        options.set(URI, "http://cn-hangzhou-vpc.dlf.aliyuncs.com");
        options.set(WAREHOUSE, "dlf_test");
        options.set(TOKEN_PROVIDER, "dlf");
        options.set(DLF_TOKEN_LOADER, "ecs");
        RESTApi api = new RESTApi(options);
        System.out.println(api.listTables("my_database"));
    }
}