Data Lake Formation:Guide d'utilisation de l'API

Choisir un endpoint d'accès

L'API de métadonnées DLF est accessible via deux endpoints. Choisissez un endpoint en fonction de l'emplacement d'exécution de votre client :

• Endpoint VPC DLF (recommandé) — Offre un accès à faible latence depuis un VPC figurant dans la liste d'autorisation DLF. Les exemples de cette rubrique utilisent un endpoint VPC DLF.

• Endpoint OpenAPI Alibaba Cloud — Permet un accès via le réseau public, adapté aux scénarios tels que l'accès inter-régions et le débogage local. La prise en charge de la signature pour l'endpoint OpenAPI nécessite un client Paimon version 1.4 ou ultérieure, soit une version supérieure au SDK utilisé dans la dépendance Maven de cette rubrique.

Prérequis

Avant d'ajouter un VPC à la liste d'autorisation, d'accorder des autorisations à un rôle, d'ajouter la dépendance Maven et d'appeler l'API de métadonnées DLF, vérifiez que les conditions suivantes sont remplies :

• Accès réseau — Par défaut, l'API de métadonnées DLF n'est accessible qu'à partir des VPC inclus dans la liste d'autorisation. Lorsque vous accédez à DLF via un endpoint VPC DLF, votre client doit s'exécuter dans un VPC autorisé.

• Environnement d'exécution et rôle — Lorsque vous utilisez l'authentification par rôle ECS, votre client s'exécute sur une instance Elastic Compute Service (ECS) ou sur un nœud de cluster E-MapReduce (EMR) associé à un rôle ECS.

• Catalogue DLF — Un catalogue DLF est disponible et le rôle ECS dispose des autorisations nécessaires sur ce catalogue.

• Identifiants d'autorisation — Vous disposez des identifiants d'un compte Alibaba Cloud ou d'un administrateur Resource Access Management (RAM), requis pour accorder des autorisations RAM au rôle ECS.

• Version du client — Le client Paimon satisfait aux exigences de version de l'endpoint que vous utilisez, comme décrit dans la section précédente.

Configurer une liste d'autorisation de VPC

Lors de l'activation de DLF, le système synchronise automatiquement les ID de VPC de votre région actuelle vers la liste d'autorisation au niveau de l'utilisateur. Pour ajouter un VPC ultérieurement, ajoutez son ID de VPC dans la console DLF :

1. Connectez-vous à la console Data Lake Formation (DLF).

2. Dans le volet de navigation de gauche, cliquez sur System & Security.

3. Cliquez sur l'onglet System & Security, puis cliquez sur Add VPC.

4. Dans la boîte de dialogue qui s'affiche, saisissez l'ID du VPC à partir duquel vous accédez à l'API de métadonnées DLF, puis cliquez sur OK.

Accorder des autorisations DLF à un rôle

Accordez au rôle ECS deux ensembles d'autorisations : les autorisations RAM dans la console RAM et les autorisations de catalogue dans la console DLF. Par exemple, pour un cluster EMR, le rôle est AliyunECSInstanceForEMRRole.

1. Accordez des autorisations RAM au rôle ECS.

   1. Connectez-vous à la console Resource Access Management (RAM) avec votre compte Alibaba Cloud ou en tant qu'administrateur RAM.

   2. Choisissez Identities > Roles, puis recherchez le rôle ECS.

   3. Dans la colonne Actions, cliquez sur Add Permissions.

   4. Dans Policies, recherchez et sélectionnez AliyunDLFFullAccess, puis cliquez sur OK.

2. Accordez des autorisations DLF au rôle ECS.

   1. Connectez-vous à la console Data Lake Formation (DLF).

   2. Sur la page Catalogs, cliquez sur le nom du catalogue cible.

   3. Cliquez sur l'onglet Permissions, puis cliquez sur Grant Permissions.

   4. Sur la page d'autorisation, configurez les paramètres suivants, puis cliquez sur OK.

      • Principal : Sélectionnez un utilisateur RAM ou un rôle RAM.

      • Select DLF User : Sélectionnez ECS Role dans la liste déroulante.

        Remarque

        Si ECS Role n'apparaît pas dans la liste déroulante des utilisateurs, choisissez System & Security > Access Control > Users, puis cliquez sur Sync Users.

      • Predefined Permission Type : Sélectionnez Data Editor.

Créer un client API REST

Créez un client API REST pour appeler l'API de métadonnées DLF depuis votre application Java.

<dependency>
  <groupId>org.apache.paimon</groupId>
  <artifactId>paimon-api</artifactId>
  <version>1.3.0</version>
</dependency>

import org.apache.paimon.options.Options;
import org.apache.paimon.rest.RESTApi;
import static org.apache.paimon.options.CatalogOptions.WAREHOUSE;
import static org.apache.paimon.rest.RESTCatalogOptions.DLF_TOKEN_LOADER;
import static org.apache.paimon.rest.RESTCatalogOptions.TOKEN_PROVIDER;
import static org.apache.paimon.rest.RESTCatalogOptions.URI;
public class RESTApiExample {
    public static void main(String[] args) {
        Options options = new Options();
        options.set(URI, "http://cn-hangzhou-vpc.dlf.aliyuncs.com");
        options.set(WAREHOUSE, "dlf_test");
        options.set(TOKEN_PROVIDER, "dlf");
        options.set(DLF_TOKEN_LOADER, "ecs");
        RESTApi api = new RESTApi(options);
        System.out.println(api.listTables("my_database"));
    }
}