Data Lake Formation:Get started with DLF

Prérequis

Avant de commencer, assurez-vous d'avoir :

• Effectué la configuration de DLF (activation et autorisation, requises une seule fois).

• (Utilisateurs RAM uniquement) Les autorisations suivantes :

  • Autorisations API : La stratégie AliyunDLFFullAccess, ou une stratégie incluant les actions d'autorisation liées au catalogue. Consultez la référence des actions d'autorisation RAM.

  • Autorisations sur les données : Le rôle système super_administrator ou admin, ou un rôle personnalisé disposant des autorisations liées au catalogue. Consultez la section Configurer les permissions de données.

Créer un catalogue

Un catalogue est le conteneur de niveau supérieur pour les métadonnées de votre data lakehouse. Lors de la création d'un catalogue, choisissez un type de redondance de stockage en fonction de vos exigences de disponibilité : LRS pour un stockage mono-zone à moindre coût, ou ZRS pour une réplication inter-zones offrant une disponibilité supérieure.

1. Connectez-vous à la console DLF.

2. Sur la page Catalogs, cliquez sur Create Catalog.

3. Configurez les paramètres suivants.

   Paramètre	Description
   Catalog Name	Nom unique du catalogue.
   Description	Description du catalogue.
   Storage Type	Fixé sur Standard Storage.
   Storage Redundancy Type	Politique de redondance pour les métadonnées du catalogue. Voir le tableau ci-dessous.

   Options de redondance de stockage :

   Option	Comportement	Par défaut
   LRS (Locally Redundant Storage)	Stocke les métadonnées dans une seule zone. Si la zone devient indisponible, le catalogue est inaccessible.	Oui
   ZRS (Zone-Redundant Storage)	Réplique les métadonnées sur plusieurs zones au sein d'une région pour une disponibilité accrue. Coût plus élevé que LRS.	Non

   Important : Une fois un catalogue créé, vous ne pouvez pas modifier le type de redondance de ZRS vers LRS.

4. Lisez et acceptez les Terms of Service, puis cliquez sur Create Catalog.

Pour plus d'informations, consultez la rubrique Gérer les catalogs.

Ingérer des données dans votre data lakehouse

Après avoir créé un catalogue, synchronisez les données brutes dans votre data lakehouse à l'aide d'outils tels que Flink CDC et DataWorks Data Integration.

Analyser les données de votre data lakehouse

Interrogez et extrayez des informations pertinentes de votre data lakehouse en utilisant les moteurs suivants :

• EMR Serverless Spark — opérations de lecture et d'écriture par lots

• Realtime Compute for Apache Flink — opérations de lecture et d'écriture en streaming

• EMR Serverless StarRocks — extraction d'informations pertinentes à partir des données

Étapes suivantes

• Gérer les catalogs — créer, modifier et supprimer des catalogues

• Configurer les permissions de données — configurer les rôles et le contrôle d'accès

• Référence des actions d'autorisation RAM — consulter les actions d'autorisation disponibles