This topic describes how to connect Serverless StarRocks to a DLF Catalog using Iceberg REST. - Data Lake Formation

Cette rubrique explique comment connecter Serverless StarRocks à un catalogue Data Lake Formation (DLF) via le protocole Iceberg REST.

Connectez Serverless StarRocks à Data Lake Formation (DLF) via le protocole Iceberg REST pour permettre à StarRocks d'interroger directement les tables Iceberg stockées dans DLF.

Prérequis

Avant de commencer, assurez-vous de disposer des éléments suivants :

Une instance Serverless StarRocks exécutant la version 3.3.20-2.0.0 ou ultérieure. Consultez les rubriques Créer une instance et Notes de version d'EMR StarRocks.
Un catalogue DLF est créé.

Configurer le contrôle d'accès

DLF utilise Resource Access Management (RAM) pour le contrôle d'accès. Par défaut, les utilisateurs StarRocks n'ont aucun accès à DLF. Pour leur accorder l'accès, créez un utilisateur RAM qui servira d'identité StarRocks lors de la connexion à DLF, attribuez-lui les autorisations de données nécessaires dans la console DLF, puis associez-le à un utilisateur StarRocks.

Étape 1 : Créer ou sélectionner un utilisateur RAM

Connectez-vous à la console RAM en tant que propriétaire du compte Alibaba Cloud ou administrateur RAM.
Créez un utilisateur RAM ou sélectionnez-en un existant.

Le nom de l'utilisateur RAM ne doit contenir que des lettres, des chiffres et des traits de soulignement ( _ ) pour respecter les conventions de nommage de StarRocks.

Étape 2 : Accorder les autorisations de données dans DLF

Connectez-vous à la console DLF.
Accédez à votre catalogue Paimon.
Dans l'onglet Permissions, cliquez sur Grant Permissions et accordez à l'utilisateur RAM les accès aux données nécessaires sur votre catalogue. Pour plus d'informations, consultez la page Gérer les autorisations de données.

Étape 3 : Créer et configurer un utilisateur StarRocks

Accédez à la console EMR Serverless StarRocks.
Cliquez sur Connect dans la colonne Actions de votre instance StarRocks. Dans EMR StarRocks Manager, cliquez sur New connection, sélectionnez votre région et votre instance, puis connectez-vous en tant que admin avec le mot de passe défini lors de la création de l'instance Serverless StarRocks. Pour plus d'informations, consultez la rubrique Utiliser EMR StarRocks Manager pour se connecter à une instance EMR Serverless StarRocks.
Dans StarRocks Manager, accédez à Security Center > User Management et cliquez sur Create User.

Dans la boîte de dialogue Create User, configurez les paramètres suivants et cliquez sur OK :

Champ	Valeur
User Source	Sélectionnez RAM User
Username	Sélectionnez l'utilisateur RAM créé à l'étape 1
Password	Définissez un mot de passe pour cet utilisateur StarRocks
Role	La valeur par défaut est `public`

Accordez des privilèges StarRocks au nouvel utilisateur :
1. Sur la page User Management, localisez le nouvel utilisateur et cliquez sur Add Permission dans la colonne Actions.
2. Dans l'onglet Permissions, cliquez sur Add Permission.
3. Dans le panneau Add Permission, définissez les champs Resource et Permission selon vos besoins, puis cliquez sur OK.
  
  Cela accorde à l'utilisateur l'accès aux ressources internes de StarRocks. Pour modifier les autorisations sur votre catalogue DLF, rendez-vous dans la console DLF.

Étape 4 : Vérifier le mappage de l'utilisateur (facultatif)

Le mappage entre l'utilisateur StarRocks et l'utilisateur RAM s'effectue en 10 à 20 secondes. Pour le vérifier :

Connectez-vous à StarRocks Manager avec le nouvel utilisateur StarRocks.
Dans SQL Editor, cliquez sur + File pour créer un script SQL.
Exécutez la commande suivante :
```
show property;
```
Si l'ID de l'utilisateur RAM apparaît dans la sortie, le mappage est actif :

Créer un catalogue

Remarque

Toutes les tables créées dans un catalogue DLF via Iceberg REST sont des tables Apache Iceberg.

Connectez-vous à StarRocks Manager en tant qu'utilisateur RAM, puis exécutez l'instruction SQL suivante pour créer un catalogue externe pointant vers votre catalogue DLF.

Sur la page Queries, cliquez sur l'icône pour créer une requête SQL.
Saisissez l'instruction ci-dessous et cliquez sur Run :

Paramètres de connexion
|
**Paramètre**
|
**Requis**
|
**Description**
|
**Exemple**
| | --- | --- | --- | --- | |
`type`
|
Oui
|
Type de catalogue StarRocks. Définissez la valeur sur `iceberg`.
|
`iceberg`
| |
`uri`
|
Oui
|
URI du point de terminaison du catalogue REST DLF. Pour connaître les points de terminaison par région, consultez la rubrique [Iceberg REST](t2805215.xdita#4a3f4200d6wpf).
|
`http://cn-hangzhou-vpc.dlf.aliyuncs.com/iceberg`
| |
`iceberg.catalog.type`
|
Oui
|
Type d'implémentation du catalogue. Définissez la valeur sur `dlf_rest` pour DLF.
|
`dlf_rest`
| |
`warehouse`
|
Oui
|
Nom du catalogue DLF.
|
`iceberg_test`
|
Paramètres d'authentification
|
**Paramètre**
|
**Requis**
|
**Description**
|
**Exemple**
| | --- | --- | --- | --- | |
`rest.signing-region`
|
Oui
|
ID de région du service DLF. Pour connaître les ID de région, consultez la rubrique [Point de terminaison du service](t2805215.xdita#).
|
`cn-hangzhou`
|
```
CREATE EXTERNAL CATALOG iceberg_catalog
PROPERTIES
(
    "type" = "iceberg",
    "uri" = "http://cn-hangzhou-vpc.dlf.aliyuncs.com/iceberg",
    "iceberg.catalog.type" = "dlf_rest",
    "warehouse" = "iceberg_test",
    "rest.signing-region" = "cn-hangzhou"
);
```

Interrogez les tables Iceberg du catalogue :

SELECT * FROM catalog_name.database_name.table_name;