Un catálogo es el contenedor de metadatos de nivel superior en DLF. Este tema describe cómo crear, consultar, configurar y eliminar catálogos.
Requisitos previos
Antes de empezar, asegúrese de cumplir con lo siguiente:
Set up DLF (activación y autorización únicas)
(Usuarios de RAM) La directiva de permisos
AliyunDLFFullAccesso una directiva personalizada con acciones relacionadas con catálogos. Para obtener más información, consulte Manage API permissions.(Usuarios de RAM) El rol de sistema
super_administratoroadmin, o un rol personalizado con permisos de datos relacionados con catálogos. Para obtener más información, consulte Grant data permissions to a user.
Los usuarios de RAM requieren tanto permisos de API como permisos de datos para gestionar catálogos.
Límites
Se pueden crear un máximo de 10 catálogos por cuenta en cada región. Para solicitar un aumento, envíe un ticket.
Crear un catálogo
Inicie sesión en la consola de DLF
En la página Catalogs, haga clic en Create Catalog.
-
Configure los siguientes parámetros.
Parámetro
Obligatorio
Predeterminado
Descripción
Catalog Name
Sí
--
Un nombre único para el catálogo.
Description
No
--
Descripción del catálogo.
Storage Type
Sí
Standard Storage
Fijo como Standard Storage.
Storage Redundancy Type
Sí
LRS
Directiva de redundancia de datos. Valores válidos: LRS y ZRS.
Opciones de Storage Redundancy Type:
LRS (Locally Redundant Storage): Almacena datos en una sola zona. Si la zona deja de estar disponible, no se podrá acceder a los datos. Opción predeterminada.
ZRS (Zone-Redundant Storage): Replica datos en varias zonas dentro de una región para lograr una mayor disponibilidad.
ImportanteUna vez creado el catálogo, no se puede cambiar el tipo de redundancia de ZRS a LRS.
ZRS ofrece una mayor disponibilidad de datos, pero implica costos más altos que LRS.
Lea y seleccione Terms of Service, luego haga clic en Create Catalog.
Consultar un catálogo
En el panel de navegación izquierdo, haga clic en Catalogs.
Haga clic en el nombre de un catálogo para ver sus detalles.
En la pestaña Details, consulte la información básica del catálogo.
Haga clic en la pestaña Permissions para otorgar permisos a nivel de catálogo a usuarios o roles de DLF. Manage data authorizations.
Haga clic en la pestaña Storage Optimization para configurar la clasificación por niveles de almacenamiento. Para obtener más información, consulte Configure storage tiering.
Haga clic en la pestaña Catalog Configuration para configurar el ciclo de vida de fragmentos de archivo y las propiedades predeterminadas de tablas Paimon. Para obtener más información, consulte Configure a catalog.
Configurar un catálogo
Configurar la clasificación por niveles de almacenamiento
En la pestaña Storage Optimization, utilice Intelligent Tiering para clasificar automáticamente los datos activos e inactivos en las tablas del catálogo mediante reglas de ciclo de vida.
Comportamiento a nivel de catálogo y de tabla
Nivel de catálogo: Cuando está habilitado, Intelligent Tiering se aplica a todas las tablas y hereda la configuración del catálogo. Las anulaciones a nivel de tabla eliminan el estado "Inherited from Catalog".
Nivel de tabla: Puede habilitar Intelligent Tiering para tablas individuales incluso si la clasificación a nivel de catálogo está deshabilitada.
Estrategia de clasificación
|
Estrategia |
Descripción |
|
Last Access Time |
Activa reglas según la última vez que se accedió a los datos de la tabla o partición. |
|
Last Update Time |
Activa reglas según la última vez que se actualizaron los datos de la tabla o partición. |
Reglas de clasificación
Configure reglas para mover datos entre clases de almacenamiento. La duración mínima de almacenamiento varía según la clase.
|
Regla |
Predeterminado (días) |
Descripción |
|
Transition to Infrequent Access |
30 |
Mueve datos al almacenamiento de acceso poco frecuente (IA) después de los días especificados. Los motores de cómputo aún pueden acceder a los datos IA, aunque con un rendimiento reducido. |
|
Transition to Archive |
60 |
Mueve datos al almacenamiento de archivo después de los días especificados. Los motores de cómputo no pueden acceder a los datos archivados. |
|
Transition to Cold Archive |
180 |
Mueve datos al almacenamiento de archivo frío después de los días especificados. Los motores de cómputo no pueden acceder a los datos en archivo frío. |
Las reglas Transition to Infrequent Access y Transition to Archive admiten una opción adicional:
Convert to Standard Storage Upon Access: Restaura automáticamente la partición o tabla sin particiones al almacenamiento estándar cuando se accede a ella.
La opción Convert to Standard Storage Upon Access solo está disponible cuando Tiering Strategy está configurada como Last Access Time.
Configurar el ciclo de vida de fragmentos de archivo
En la pestaña Catalog Configuration, configure estos ajustes a nivel de catálogo.
File Fragment Lifecycle
Establezca el tiempo de caducidad para los fragmentos de archivo (mínimo: 1 día). Los fragmentos caducados se eliminan automáticamente y no se pueden recuperar.
Configurar propiedades predeterminadas de tablas Paimon
Advanced Settings
Establezca propiedades predeterminadas para las nuevas tablas Paimon. Formato de clave de configuración: table-default.<Paimon table property>. Para obtener detalles sobre las propiedades, consulte la documentación de configuración de Apache Paimon.
Por ejemplo, para habilitar Deletion Vectors de forma predeterminada, configure table-default.deletion-vectors.enabled=true. Al crear una tabla, el sistema quita el prefijo table-default. y aplica deletion-vectors.enabled=true como propiedad de la tabla.
Las propiedades especificadas explícitamente durante la creación de la tabla tienen prioridad y esta configuración no las anula.
Eliminar un catálogo
Antes de eliminar un catálogo, asegúrese de cumplir con las siguientes condiciones. De lo contrario, la eliminación fallará.
Elimine todas las tablas y todas las bases de datos que no sean
defaultdel catálogo.Espere 24 horas después de eliminar todas las tablas antes de eliminar el catálogo.
En la página Catalogs, busque el catálogo deseado y haga clic en Delete en la columna Actions.
En el cuadro de diálogo, haga clic en OK.
Siguientes pasos
Manage data authorizations: Otorgue permisos a nivel de catálogo a usuarios y roles.
Paimon Table: Cree y gestione tablas Paimon dentro de un catálogo.