MaxCompute:Almacenamiento por niveles

Configuración manual

Puede establecer manualmente el tipo de almacenamiento de una tabla no particionada o de una partición en almacenamiento de baja frecuencia o a largo plazo. El cambio surte efecto de inmediato.

ALTER TABLE <TABLE_NAME> [PARTITION(<PARTITION_SPEC>)]
        SET <TBLPROPERTIES|PARTITIONPROPERTIES>("storagetier"="standard|lowfrequency|longterm");

Configuración automatizada

Puede configurar reglas de ciclo de vida para el almacenamiento por niveles a nivel de proyecto o de tabla particionada para automatizar las transiciones de tipo de almacenamiento.

• Configuración a nivel de proyecto:

  Una regla a nivel de proyecto sirve como valor predeterminado para todas las tablas no particionadas y para las particiones en tablas que no tienen reglas específicas. Las tablas y particiones coincidentes transicionan automáticamente.

• Configuración a nivel de tabla particionada:

  Una regla establecida para una tabla particionada específica tiene prioridad sobre cualquier regla a nivel de proyecto. Cuando alguna partición de esta tabla cumple con los criterios de la regla, la partición transiciona automáticamente al tipo de almacenamiento correspondiente.

Modelo de permisos

• Interruptor global: Esta función se puede habilitar o deshabilitar a nivel de inquilino y está deshabilitada de forma predeterminada. Cuando está deshabilitada, el comportamiento coincide con el modelo existente, donde el permiso SELECT es suficiente para acceder a datos en todos los tipos de almacenamiento.

• Granularidad de permisos: Los permisos se controlan a nivel de tabla. Cuando otorga permisos sobre una tabla particionada, estos se aplican a todas las particiones dentro de esa tabla.

• Directiva de autorización: Después de habilitar el interruptor, acceder a datos en almacenamiento de baja frecuencia o a largo plazo requiere tanto el permiso SELECT en la tabla como el permiso de acceso correspondiente para el tipo de almacenamiento. El acceso a datos en almacenamiento estándar no se ve afectado.

Combinaciones de permisos

La siguiente tabla muestra los resultados de acceso para un usuario con permiso SELECT en una tabla después de habilitar el interruptor de control de acceso.

Limitaciones

• El interruptor es a nivel de inquilino. Una vez habilitado, afecta a todos los proyectos y a todas las tablas y particiones que ya se encuentran en almacenamiento de baja frecuencia o a largo plazo dentro del inquilino. Antes de habilitar el interruptor, revise y otorgue los permisos necesarios para los trabajos existentes a fin de evitar interrupciones del servicio.

• Los propietarios de tablas, propietarios de proyectos, propietarios de esquemas y usuarios con el rol Super_Administrator o Admin tienen los permisos requeridos de forma predeterminada y no necesitan que se les otorguen permisos adicionales. También pueden otorgar estos permisos a otros usuarios o roles.

• Estos permisos solo controlan la lectura de datos fríos. Para transicionar una tabla o partición de almacenamiento de baja frecuencia o a largo plazo de vuelta a almacenamiento estándar, el usuario aún necesita el permiso ALTER en la tabla.

• Para proyectos que tienen habilitada la sintaxis Schema (modelo de tres niveles), debe habilitar la sintaxis de tres niveles a nivel de sesión antes de realizar operaciones de autorización y consulta: SET odps.namespace.schema=true;.

Procedimiento

-- View table properties
DESC EXTENDED <table_name>;
-- View partition properties
DESC EXTENDED <table_name> PARTITION(<partition_spec>);

-- View the current user's permissions. ACL and Policy authorizations are displayed in their respective Authorization Type sections.
SHOW GRANTS;

-- Access data in low-frequency or long-term storage.
SELECT * FROM table_name;

FAILED: ODPS-0130013:Authorization exception - Authorization failed [4009, 4019], You have no privilege 'odps:ReadLowfrequencyStorage' on {acs:odps:*:projects/<project_name>/tables/<table_name>}

Preguntas frecuentes

GET_PARTITION_META

struct GET_PARTITION_META(<tableName>, <pt_col1>, <pt_col2>, ..., <pt_col_n>);

Notas de uso

• Al agregar una directiva de nivel de fila a una tabla, considere el comportamiento de acceso de los usuarios distintos a aquellos bajo control. Si otros usuarios ya acceden a la tabla, debe establecer directivas explícitas para ellos y evitar problemas de filtrado de datos causados por denegaciones de acceso no intencionales. Para obtener más información, consulte row-level access control.

• De forma predeterminada, se puede acceder a las tablas de MaxCompute mediante SQL y también a través de motores externos como Spark y Flink. Sin embargo, actualmente solo el motor SQL de MaxCompute es compatible con la función GET_PARTITION_META. Por lo tanto, si utiliza GET_PARTITION_META en una directiva de control de acceso a nivel de fila, únicamente el motor SQL de MaxCompute podrá leer la tabla; los demás motores no podrán acceder a ella.

• Además de cumplir con los requisitos de permisos a nivel de fila, el usuario debe contar con el permiso SELECT sobre los datos para poder acceder a ellos.

• Las condiciones de filtro dentro de GET_PARTITION_META pueden producir diferentes efectos de poda de particiones según el escenario.

  • Las condiciones de filtro se aplican exclusivamente a los campos de partición de una tabla particionada. Por ejemplo, puede permitir el acceso al almacenamiento estándar y exigir que el valor de la partición de primer nivel sea 2024.

    GET_PARTITION_META('storage_table', pt1, pt2).storagetier == 'standard') AND pt1='2024'

    Cuando utiliza SQL para acceder a storage_table y la cláusula WHERE no contiene una condición de partición, el sistema admite de forma nativa la poda de particiones. Este proceso evita un escaneo completo de la tabla al realizar accesos de solo lectura únicamente en las particiones necesarias de storage_table.

  • La condición de filtro incluye un valor de un campo no particionado y se utiliza una operación AND para conectar ambas condiciones. Por ejemplo, una condición que permite el acceso al almacenamiento estándar se combina con a>100 sobre un valor no particionado mediante una operación AND.

    GET_PARTITION_META('storage_table', pt1, pt2).storagetier == 'standard') AND a > 100

    Cuando utiliza SQL para acceder a storage_table sin una condición de partición en la cláusula WHERE, la poda de particiones sigue siendo compatible y se accede solo a las particiones almacenadas como standard.

  • Los criterios de filtro incluyen un valor de un campo no particionado y ambos criterios se conectan mediante una operación OR. Por ejemplo, una condición que permite el acceso al almacenamiento estándar se combina con el valor no particionado a>100 en una operación OR.

    get_partition_meta('storage_table', pt1, pt2).storagetier == 'standard') OR a > 100

    Cuando utiliza SQL para acceder a storage_table, se presentan dos escenarios:

    • Si la cláusula WHERE no contiene una condición de partición, se escanean todas las particiones en busca de datos que cumplan con a>100.

    • Si se especifica una condición de partición en la cláusula WHERE, solo se escanean los datos que cumplen condiciones como standard o a>100 en las particiones correspondientes.

Ejemplos

Defina la tabla particionada storage_table.

CREATE TABLE storage_table(a BIGINT, b BIGINT) PARTITIONED BY (pt1 STRING, pt2 STRING);

• Ejemplo 1:

  Otorgue al usuario predeterminado el permiso policy01 para acceder a los datos de almacenamiento estándar en storage_table. Ningún usuario (incluido el Project Owner) podrá acceder a los datos de almacenamiento de baja frecuencia o de largo plazo, y se devolverá un valor vacío.

  CREATE ROW ACCESS POLICY policy01 
  ON storage_table 
  TO DEFAULT 
  FILTER USING (get_partition_meta('storage_table', pt1, pt2).storagetier == 'standard');

  El resumen de Logview muestra el siguiente mensaje cuando se activa una directiva de acceso a nivel de fila:

  El mensaje WARNING:[1,15] row access policy is enabled on table yyy_hp_storagetier.storage_table01 indica que se activó una directiva de acceso a nivel de fila al consultar la tabla.

• Ejemplo 2:

  Otorgue al usuario user_x el permiso policy02 para acceder a los datos de almacenamiento de baja frecuencia y de largo plazo en storage_table.

  CREATE ROW ACCESS POLICY policy02 
  ON storage_table 
  TO USER (user_x)  --You can also grant permissions to a role using TO ROLE rolename, and then assign the role to the user.
  FILTER USING (get_partition_meta('storage_table', pt1, pt2).storagetier IN ('lowfrequency','longterm'));

  Pueden presentarse dos escenarios:

  • Si se establece el permiso policy01 para la tabla, todos los usuarios excepto user_x pueden acceder a los datos de almacenamiento estándar de storage_table, pero reciben un valor nulo para los datos de almacenamiento de baja frecuencia o de largo plazo. Por su parte, user_x puede acceder a los datos de almacenamiento de baja frecuencia y de largo plazo de storage_table, pero recibe un valor nulo para los datos de almacenamiento estándar.

  • Si no se configura el permiso policy01 para la tabla, se deniega a todos los usuarios excepto a user_x el acceso a cualquier dato en storage_table y reciben un valor nulo. El usuario user_x puede acceder a los datos de almacenamiento de baja frecuencia y de largo plazo, pero recibe un valor nulo al intentar acceder a los datos de almacenamiento estándar.

• Ejemplo 3:

  La directiva policy03 otorga al usuario user_y permiso de acceso a todos los datos en storage_table.

  CREATE ROW ACCESS POLICY policy03 
  ON storage_table 
  TO USER (user_y)  --You can also grant permissions to a role using TO ROLE rolename, and then assign the role to the user.
  FILTER USING (true);  -- The constant 'true' means the user can access all data in the table.

  Pueden presentarse dos escenarios:

  • Si se establece el permiso policy01 para la tabla, todos los usuarios (excepto user_y) pueden acceder a los datos de almacenamiento estándar de storage_table, pero no pueden acceder a los datos de almacenamiento de baja frecuencia o de largo plazo, y se devuelve un valor vacío. El usuario user_y puede acceder a los datos de todos los tipos de almacenamiento en storage_table.

  • Si no se establece el permiso policy01 para la tabla, todos los usuarios (excepto user_y) no pueden acceder a ningún dato almacenado en storage_table y se devuelve un valor nulo. Solo el usuario user_y puede acceder a todos los datos almacenados en storage_table.