MaxCompute:Armazenamento em camadas

Configuração manual

Você pode definir manualmente o tipo de armazenamento de uma tabela não particionada ou de uma partição para armazenamento de baixa frequência ou de longo prazo. A alteração entra em vigor imediatamente.

CREATE ROW ACCESS POLICY policy03 
ON storage_table 
TO USER (user_y)  --You can also grant permissions to a role using TO ROLE rolename, and then assign the role to the user.
FILTER USING (true);  -- The constant 'true' means the user can access all data in the table.

Configuração automatizada

Você pode configurar regras de ciclo de vida para armazenamento em camadas no nível de projeto ou tabela particionada para automatizar as transições de tipo de armazenamento.

• Configuração no nível do projeto:

  Uma regra no nível do projeto serve como padrão para todas as tabelas não particionadas e para partições em tabelas que não possuem regras específicas. Tabelas e partições correspondentes sofrem transição automaticamente.

• Configuração no nível da tabela particionada:

  Uma regra definida para uma tabela particionada específica tem precedência sobre qualquer regra no nível do projeto. Quando qualquer partição nessa tabela atende aos critérios da regra, a partição é automaticamente transferida para o tipo de armazenamento correspondente.

Modelo de permissão

• Chave global: Este recurso pode ser ativado ou desativado no nível do locatário (tenant) e fica desativado por padrão. Quando desativado, o comportamento corresponde ao modelo existente, em que a permissão SELECT é suficiente para acessar dados em todos os tipos de armazenamento.

• Granularidade da permissão: As permissões são controladas no nível da tabela. Ao conceder permissões em uma tabela particionada, elas se aplicam a todas as partições dentro dessa tabela.

• Política de autorização: Após a ativação da chave, o acesso a dados em armazenamento de baixa frequência ou de longo prazo requer tanto a permissão SELECT na tabela quanto a permissão de acesso correspondente para o tipo de armazenamento. O acesso aos dados do armazenamento padrão não é afetado.

Combinações de permissões

A tabela a seguir mostra os resultados de acesso para um usuário com permissão SELECT em uma tabela após a ativação da chave de controle de acesso.

Limitações

• A chave é de nível de locatário (tenant). Uma vez ativada, ela afeta todos os projetos e todas as tabelas e partições que já estão em armazenamento de baixa frequência ou de longo prazo dentro do locatário. Antes de ativar a chave, revise e conceda as permissões necessárias para os jobs existentes para evitar interrupções no serviço.

• Table Owners, Project Owners, Schema Owners e usuários com a função Super_Administrator ou Admin têm as permissões necessárias por padrão e não precisam receber permissões adicionais. Eles também podem conceder essas permissões a outros usuários ou funções.

• Essas permissões controlam apenas a leitura de dados frios. Para transferir uma tabela ou partição do armazenamento de baixa frequência ou de longo prazo de volta para o armazenamento padrão, o usuário ainda precisa da permissão ALTER na tabela.

• Para projetos que têm a sintaxe Schema ativada (modelo de três níveis), você deve ativar a sintaxe de três níveis no nível da sessão antes de executar operações de autorização e consulta: SET odps.namespace.schema=true;.

Procedimento

CREATE ROW ACCESS POLICY policy03 
ON storage_table 
TO USER (user_y)  --You can also grant permissions to a role using TO ROLE rolename, and then assign the role to the user.
FILTER USING (true);  -- The constant 'true' means the user can access all data in the table.

CREATE ROW ACCESS POLICY policy03 
ON storage_table 
TO USER (user_y)  --You can also grant permissions to a role using TO ROLE rolename, and then assign the role to the user.
FILTER USING (true);  -- The constant 'true' means the user can access all data in the table.

CREATE ROW ACCESS POLICY policy03 
ON storage_table 
TO USER (user_y)  --You can also grant permissions to a role using TO ROLE rolename, and then assign the role to the user.
FILTER USING (true);  -- The constant 'true' means the user can access all data in the table.

FAQ

GET_PARTITION_META

CREATE ROW ACCESS POLICY policy03 
ON storage_table 
TO USER (user_y)  --You can also grant permissions to a role using TO ROLE rolename, and then assign the role to the user.
FILTER USING (true);  -- The constant 'true' means the user can access all data in the table.

Notas de uso

• Ao adicionar uma política no nível de linha a uma tabela, considere o comportamento de acesso de usuários diferentes daqueles que estão sendo controlados. Se a tabela já estiver sendo acessada por outros usuários, você deve definir políticas explícitas para eles para evitar problemas de filtragem de dados causados por negação de acesso não intencional. Para mais informações, consulte {{XREF_6}}.

• Por padrão, as tabelas do MaxCompute podem ser acessadas não apenas por SQL, mas também por engines externos como Spark e Flink. No entanto, atualmente apenas a engine SQL do MaxCompute suporta a função GET_PARTITION_META. Portanto, se você usar GET_PARTITION_META em uma política de controle de acesso no nível de linha, apenas a engine SQL do MaxCompute poderá ler a tabela. Outras engines não conseguirão acessar a tabela.

• Além de atender aos requisitos de permissão no nível de linha, um usuário também deve ter a permissão SELECT nos dados para acessá-los.

• As condições de filtro dentro do GET_PARTITION_META podem levar a diferentes efeitos de poda de partição (partition pruning) em diferentes cenários.

  • As condições de filtro se aplicam apenas aos campos de partição de uma tabela particionada. Por exemplo, você pode permitir o acesso ao armazenamento padrão e exigir que o valor da partição de primeiro nível seja 2024.

    CREATE ROW ACCESS POLICY policy03 
    ON storage_table 
    TO USER (user_y)  --You can also grant permissions to a role using TO ROLE rolename, and then assign the role to the user.
    FILTER USING (true);  -- The constant 'true' means the user can access all data in the table.

    Ao usar SQL para acessar storage_table e a cláusula WHERE não contiver uma condição de partição, o sistema suporta nativamente a poda de partição. Esse processo evita uma varredura completa na tabela, realizando acesso de somente leitura apenas nas partições necessárias em storage_table.

  • A condição de filtro inclui um valor de um campo não particionado, e uma operação AND é usada para conectar as duas condições de filtro. Por exemplo, uma condição para permitir o acesso ao armazenamento padrão é combinada com a>100 em um valor não particionado usando uma operação AND.

    CREATE ROW ACCESS POLICY policy03 
    ON storage_table 
    TO USER (user_y)  --You can also grant permissions to a role using TO ROLE rolename, and then assign the role to the user.
    FILTER USING (true);  -- The constant 'true' means the user can access all data in the table.

    Ao usar SQL para acessar storage_table sem uma condição de partição na cláusula WHERE, a poda de partição ainda é suportada, acessando apenas as partições armazenadas como standard.

  • Os critérios de filtro incluem um valor para um campo não particionado, e os dois critérios são conectados por uma operação OR. Por exemplo, uma condição que permite o acesso ao armazenamento padrão é combinada com o valor não particionado a>100 em uma operação OR.

    CREATE ROW ACCESS POLICY policy03 
    ON storage_table 
    TO USER (user_y)  --You can also grant permissions to a role using TO ROLE rolename, and then assign the role to the user.
    FILTER USING (true);  -- The constant 'true' means the user can access all data in the table.

    Ao usar SQL para acessar storage_table, há dois cenários:

    • Se a cláusula WHERE não contiver uma condição de partição, todas as partições serão varridas em busca de dados que satisfaçam a>100.

    • Se uma condição de partição for especificada na cláusula WHERE, apenas os dados que satisfazem condições como standard ou a>100 nas partições correspondentes serão varridos.

Exemplos

Defina a tabela particionada storage_table.

CREATE ROW ACCESS POLICY policy03 
ON storage_table 
TO USER (user_y)  --You can also grant permissions to a role using TO ROLE rolename, and then assign the role to the user.
FILTER USING (true);  -- The constant 'true' means the user can access all data in the table.

• Exemplo 1:

  Conceda a permissão policy01 ao usuário padrão para acessar dados de armazenamento padrão em storage_table. Todos os usuários (incluindo o Project Owner) não podem acessar dados de armazenamento de baixa frequência ou de longo prazo, e um valor vazio é retornado.

  CREATE ROW ACCESS POLICY policy03 
  ON storage_table 
  TO USER (user_y)  --You can also grant permissions to a role using TO ROLE rolename, and then assign the role to the user.
  FILTER USING (true);  -- The constant 'true' means the user can access all data in the table.

  O Logview Summary exibe a seguinte mensagem quando uma política de acesso no nível de linha é acionada:

  A mensagem WARNING:[1,15] row access policy is enabled on table yyy_hp_storagetier.storage_table01 indica que uma política de acesso de linha foi acionada quando você consultou a tabela.

• Exemplo 2:

  Conceda ao usuário user_x a permissão policy02 para acessar dados de armazenamento de baixa frequência e de longo prazo em storage_table.

  CREATE ROW ACCESS POLICY policy03 
  ON storage_table 
  TO USER (user_y)  --You can also grant permissions to a role using TO ROLE rolename, and then assign the role to the user.
  FILTER USING (true);  -- The constant 'true' means the user can access all data in the table.

  Dois cenários podem ocorrer:

  • Se a permissão policy01 estiver definida para uma tabela, todos os usuários, exceto user_x, podem acessar os dados de armazenamento padrão de storage_table, mas recebem um valor nulo para seus dados de armazenamento de baixa frequência ou de longo prazo, enquanto user_x pode acessar os dados de armazenamento de baixa frequência e de longo prazo de storage_table, mas recebe um valor nulo para seus dados de armazenamento padrão.

  • Se a permissão policy01 não estiver configurada para a tabela, todos os usuários, exceto user_x, terão o acesso negado a quaisquer dados em storage_table e receberão um valor nulo. O user_x pode acessar dados em armazenamento de baixa frequência e de longo prazo, mas recebe um valor nulo ao tentar acessar dados no armazenamento padrão.

• Exemplo 3:

  A política policy03 concede ao usuário user_y permissão de acesso a todos os dados em storage_table.

  CREATE ROW ACCESS POLICY policy03 
  ON storage_table 
  TO USER (user_y)  --You can also grant permissions to a role using TO ROLE rolename, and then assign the role to the user.
  FILTER USING (true);  -- The constant 'true' means the user can access all data in the table.

  Dois cenários podem ocorrer:

  • Se a permissão policy01 estiver definida para a tabela, todos os usuários (exceto user_y) podem acessar os dados de armazenamento padrão de storage_table, mas não podem acessar seus dados de armazenamento de baixa frequência ou de longo prazo, e um valor vazio é retornado. O usuário user_y pode acessar dados de todos os tipos de armazenamento em storage_table.

  • Se a permissão policy01 não estiver definida para a tabela, todos os usuários (exceto user_y) não poderão acessar nenhum dado armazenado em storage_table, e um valor nulo será retornado. Apenas o usuário user_y pode acessar todos os dados armazenados em storage_table.