Data Lake Formation:Primeros pasos con DLF

Requisitos previos

Antes de empezar, asegúrese de cumplir con lo siguiente:

• Completó la configuración de DLF (activación y autorización; se requiere una sola vez).

• (Solo para usuarios de RAM) Los siguientes permisos:

  • Permisos de API: La directiva AliyunDLFFullAccess o una directiva que incluya acciones de autorización relacionadas con catálogos. Consulte la referencia de acciones de autorización de RAM.

  • Permisos de datos: El rol del sistema super_administrator o admin, o bien un rol personalizado con permisos relacionados con catálogos. Consulte Configurar permisos de datos.

Crear un catálogo

Un catálogo es el contenedor de nivel superior para los metadatos de su data lakehouse. Al crear un catálogo, elija un tipo de redundancia de almacenamiento según sus requisitos de disponibilidad: LRS para almacenamiento en una sola zona con menor costo, o ZRS para replicación entre zonas con mayor disponibilidad.

1. Inicie sesión en la consola de DLF.

2. En la página Catalogs, haga clic en Create Catalog.

3. Configure los siguientes parámetros.

   Parámetro	Descripción
   Catalog Name	Un nombre único para el catálogo.
   Description	Una descripción del catálogo.
   Storage Type	Fijo como Standard Storage.
   Storage Redundancy Type	La directiva de redundancia para los metadatos del catálogo. Consulte la siguiente tabla.

   Opciones de redundancia de almacenamiento:

   Opción	Comportamiento	Predeterminado
   LRS (Almacenamiento con redundancia local)	Almacena los metadatos en una sola zona. Si la zona deja de estar disponible, el catálogo será inaccesible.	Sí
   ZRS (Almacenamiento con redundancia de zona)	Replica los metadatos en varias zonas dentro de una región para ofrecer mayor disponibilidad. Tiene un costo mayor que LRS.	No

   Importante: Una vez creado el catálogo, no es posible cambiar el tipo de redundancia de ZRS a LRS.

4. Lea y seleccione los Terms of Service y, a continuación, haga clic en Create Catalog.

Para obtener más información, consulte Gestionar catálogos.

Ingerir datos en su data lakehouse

Después de crear un catálogo, sincronice los datos sin procesar hacia su data lakehouse mediante herramientas como Flink CDC y DataWorks Data Integration.

Analizar datos en su data lakehouse

Consulte y extraiga información valiosa de su data lakehouse con los siguientes motores:

• EMR Serverless Spark: operaciones de lectura y escritura por lotes.

• Realtime Compute for Apache Flink: operaciones de lectura y escritura de streaming.

• EMR Serverless StarRocks: extracción de información valiosa de los datos.

Siguientes pasos

• Gestionar catálogos: cree, modifique y elimine catálogos.

• Configurar permisos de datos: configure roles y control de acceso.

• Referencia de acciones de autorización de RAM: revise las acciones de permiso disponibles.