Access Iceberg catalogs in DLF using Flink SQL - Data Lake Formation

Utilisez Flink SQL pour vous connecter à un catalogue Data Lake Formation (DLF) via le protocole REST Iceberg, puis interrogez les tables Iceberg directement depuis votre cluster de session Flink.

Prérequis

Avant de commencer, vérifiez que vous disposez des éléments suivants :

Un espace de travail Realtime Compute for Apache Flink. Consultez la rubrique Activer Realtime Compute for Apache Flink.
Un cluster de session exécutant Ververica Runtime (VVR) 11.2.0 ou ultérieure. Consultez la rubrique Créer un cluster de session.

Enregistrer le catalogue DLF dans Flink

L'enregistrement d'un catalogue dans Flink crée un mappage vers votre catalogue DLF. La création ou la suppression du catalogue dans Flink n'affecte pas les données réelles stockées dans DLF. Toutes les tables créées dans le catalogue DLF via l'interface REST Iceberg sont des tables Iceberg.

Connectez-vous à la console de gestion Realtime Compute for Apache Flink.
Dans la colonne Actions de votre espace de travail, cliquez sur Console.
Dans le volet de navigation de gauche, cliquez sur Development > Scripts.
Créez un nouveau script et collez l'instruction SQL suivante dans l'éditeur SQL.
```
CREATE CATALOG `catalog_name`
 WITH (
    'type' = 'iceberg',
    'catalog-type' = 'rest',
    'uri' = 'http://{region-id}-vpc.dlf.aliyuncs.com/iceberg',
    'warehouse' = 'iceberg_test',
    'rest.signing-region' = '{region-id}',
    'io-impl' = 'org.apache.iceberg.rest.DlfFileIO'
);
```
Remplacez {region-id} par l'ID de région de votre catalogue DLF, par exemple cn-hangzhou ou ap-southeast-1. Pour la liste des régions prises en charge et les valeurs de point de terminaison associées, consultez la rubrique Régions et points de terminaison.
Dans le coin inférieur droit, cliquez sur Environment, sélectionnez un cluster de session exécutant VVR 11.2.0 ou ultérieure, puis exécutez l'instruction SQL.

Le tableau suivant décrit les options de configuration.

Option	Description	Obligatoire	Exemple
`type`	Type de catalogue. Définissez la valeur sur `iceberg`.	Oui	`iceberg`
`catalog-type`	Type de catalogue. Définissez la valeur sur `rest`.	Oui	`rest`
`token.provider`	Fournisseur de jetons pour l'authentification DLF. Définissez la valeur sur `dlf`.	Oui	`dlf`
`uri`	Point de terminaison REST Iceberg de votre catalogue DLF. Utilisez le format `http://{region-id}-vpc.dlf.aliyuncs.com/iceberg`. Pour les valeurs spécifiques à chaque région, consultez la rubrique Régions et points de terminaison.	Oui	`http://ap-southeast-1-vpc.dlf.aliyuncs.com/iceberg`
`warehouse`	Nom de votre catalogue DLF.	Oui	`iceberg_test`
`rest.signing-region`	ID de région de votre catalogue DLF. Pour connaître les ID de région, consultez la rubrique Régions et points de terminaison.	Oui	`ap-southeast-1`
`io-impl`	Implémentation FileIO pour DLF. Définissez la valeur sur `org.apache.iceberg.rest.DlfFileIO`.	Oui	`org.apache.iceberg.rest.DlfFileIO`

Interroger les données du catalogue

Après avoir enregistré le catalogue, exécutez l'instruction SQL suivante dans Scripts :

SELECT * FROM catalog_name.database_name.table_name;

Remplacez catalog_name, database_name et table_name par les noms réels de votre catalogue DLF.