MaxCompute:Definição de Object Table

Sintaxe

CREATE OBJECT TABLE [IF NOT EXISTS] <objecttable_name> 
WITH SERDEPROPERTIES ('<key>' = '<value>') 
LOCATION '<location>' 
[TBLPROPERTIES ('<key>' = '<value>')] 
[COMMENT '<comment>'] 
;

Parâmetros

Exemplo

SET odps.namespace.schema=true; 
CREATE OBJECT TABLE ot_demo_day 
WITH serdeproperties ( 
 'odps.properties.rolearn'='acs:ram::xxxxxx:role/aliyunodpsdefaultrole') 
LOCATION 'oss://oss-cn-hangzhou-internal.aliyuncs.com/odps-external-****/ottest/';

Sintaxe

DESC <object_table_name>

Parâmetros

object_table_name: Obrigatório. Nome da tabela.

Exemplo

SET odps.namespace.schema=true; 
DESC ot_demo_day; 

O seguinte resultado é retornado:

+------------------------------------------------------------------------------------+
| Owner:                    ALIYUN$****@test.aliyunid.com                        |
| Project:                  test_objecttable                                         |
| Schema:                   default                                                  |
| TableComment:                                                                      |
+------------------------------------------------------------------------------------+
| CreateTime:               2024-09-02 20:01:56                                      |
| LastDDLTime:              2024-09-02 20:01:56                                      |
| LastModifiedTime:         2024-09-02 20:01:56                                      |
+------------------------------------------------------------------------------------+
| InternalTable: YES      | Size: 0                                                  |
+------------------------------------------------------------------------------------+
| Native Columns:                                                                    |
+------------------------------------------------------------------------------------+
| Field           | Type       | Label | Comment                                     |
+------------------------------------------------------------------------------------+
| key             | varchar(2048) |       | The name of the object.                     |
| size            | bigint     |       | The size of the returned object in bytes.   |
| type            | varchar(32) |       | The type of the object and valid values: Normal, Multipart, Appendable, and Symlink. |
| last_modified   | timestamp  |       | The last modified time of the object.       |
| storage_class   | varchar(32) |       | The storage class of the object.            |
| etag            | varchar(64) |       | The entity tag (ETag). When an object is created, an ETag is created to identify the content of the object. |
| restore_info    | varchar(256) |       | The restoration status of the object.       |
| owner_id        | bigint     |       | The ID of the bucket owner.                 |
| owner_display_name | varchar(256) |       | The display name of the bucket owner.       |
+------------------------------------------------------------------------------------+

A tabela a seguir descreve as principais colunas no resultado.

Sintaxe

SHOW CREATE TABLE <object_table_name>;

Parâmetros

object_table_name: Obrigatório. Nome da tabela.

Exemplo

SET odps.namespace.schema=true; 
SHOW CREATE TABLE ot_demo_day; 

O seguinte resultado é retornado:

CREATE OBJECT TABLE IF NOT EXISTS yunqi_object_****.`default`.ot_demo_day 
WITH SERDEPROPERTIES ( 
  'serialization.format'='1', 
  'odps.properties.rolearn'='acs:ram::139699392458****:role/aliyunodpsdefaultrole') 
LOCATION 
  'oss://oss-cn-hangzhou-internal.aliyuncs.com/odps-external-****/ottest/' 
TBLPROPERTIES ( 
  'last_modified_time'='1731478307', 
  'transient_lastDdlTime'='1731478307', 
  'metadata.cache.mode'='manual', 
  'metadata.staleness.seconds'='3600');

Atualização manual

Cada atualização realiza uma sincronização completa dos metadados. Você pode controlar o momento e a frequência dessas atualizações.

• Sintaxe

  ALTER TABLE <objecttable_name> REFRESH METADATA;

• Parâmetros

  objecttable_name: Obrigatório. Nome da tabela.

• Exemplo

  SET odps.namespace.schema=true; 
  ALTER TABLE ot_demo_day REFRESH METADATA;

Atualização periódica

Se os arquivos no diretório do OSS mapeado pela Object Table mudarem frequentemente, configure atualizações periódicas de metadados. Isso reduz custos de manutenção ao especificar os parâmetros relevantes durante a criação da tabela.

• Sintaxe

  SET odps.namespace.schema=true;
  SET odps.sql.type.system.odps2 = true;
  
  CREATE OBJECT TABLE ot_demo_day 
  WITH serdeproperties (
   'odps.properties.rolearn'='acs:ram::xxxxxx:role/aliyunodpsdefaultrole'
  )
  location 'oss://oss-cn-hangzhou-internal.aliyuncs.com/odps-external-****/ottest/'
  tblproperties (
    'metadata.cache.mode' = 'periodic',
    'metadata.staleness.seconds' = '3600'
  );
  

• Parâmetros

  • metadata.staleness.seconds: Intervalo de atualização. Este parâmetro é obrigatório para o modo periodic. O valor pode variar de [1, 604800], representando de 1 segundo a 1 semana. Trata-se de uma garantia de melhor esforço, e o agendador tentará executar a atualização o mais próximo possível do intervalo especificado.

  • metadata.cache.mode: Modo de atualização. As opções disponíveis são:

    • periodic: Acionamento periódico.

    • crontab: Atualização agendada.

    • manual: Acionamento manual (padrão). Permite controlar o momento do acionamento.

Atualização agendada

Caso os arquivos no diretório do OSS mapeado pela Object Table sofram alterações frequentes, agende atualizações de metadados. Essa abordagem reduz custos de manutenção mediante a especificação dos parâmetros relevantes na criação da tabela.

• Sintaxe

  SET odps.namespace.schema=true;
  SET odps.sql.type.system.odps2 = true;
  
  CREATE OBJECT TABLE ot_demo_day 
  WITH SERDEPROPERTIES (
   'odps.properties.rolearn'='acs:ram::xxxxxx:role/aliyunodpsdefaultrole'
  )
  LOCATION 'oss://oss-cn-region-internal.aliyuncs.com/odps-external-****/ottest/'
  TBLPROPERTIES (
    'metadata.cache.mode' = 'crontab',
    'metadata.crontab.expression' = 'your_timed_expression'
  );

• Parâmetros

  • metadata.crontab.expression: Expressão cron que define o agendamento. Por exemplo, para acionar uma atualização às 14h00 todos os dias, use a expressão 0 0 14 * * ?, que significa 0 segundos, 0 minutos, hora 14 (14h00), every dia, every mês e ? para não especificar um dia da semana (mutuamente exclusivo com o campo de dia do mês para evitar conflitos).

  • metadata.cache.mode: Modo de atualização. As opções disponíveis incluem:

    • crontab: Atualização agendada.

    • periodic: Acionamento periódico.

    • manual: Acionamento manual (padrão). Permite controlar o momento do acionamento.

Visualizar tarefas de atualização

Execute o comando abaixo para visualizar o histórico de tarefas de atualização.

SHOW refresh task history FOR object TABLE <object_table_name>;

• Parâmetros

  • <object_table_name> deve ser uma object table.

  • Valores de retorno: ID da instância da tarefa de atualização (InstanceId), horário de criação (CreateTime), horário de término (EndTime) e status (Status).

  • Se o Status for Failed, execute wait InstanceId; para visualizar o log e verificar detalhes do erro.

• Exemplo

  -- View the historical refresh tasks for the Object Table.
  SET odps.namespace.schema=true; 
  SHOW refresh task history for object table ot_demo_day04;
  
  -- The following result is returned.
  ID = 20260105*******f
  +---------------------------------------------------------------------------------------------------+
  | Project:                  test_project                                                                              |
  | Schema:                   default                                                                                           |
  | Task:                     ***                        |
  +---------------------------------------------------------------------------------------------------+
  | History:                                                                                          |
  +---------------------------------------------------------------------------------------------------+
  | InstanceId                       | CreateTime             | EndTime                | Status       |
  +---------------------------------------------------------------------------------------------------+
  | 20260105******************ks     | 2026-01-05 14:12:00    | 2026-01-05 14:12:04    | Terminated   |
  | 20260105******************y3     | 2026-01-05 14:10:00    | 2026-01-05 14:10:03    | Terminated   |
  +---------------------------------------------------------------------------------------------------+
  
  OK

Sintaxe

SELECT * FROM <object_table_name>;

Parâmetros

object_table_name: Obrigatório. Nome da tabela.

Exemplo

-- You can query the data uploaded to the specified OSS directory. If the amount of data is large, you can limit the result to five rows.
SET odps.namespace.schema=true; 
SELECT * FROM  ot_demo_day [limit 5];

Sintaxe

DROP TABLE [IF EXISTS] <object_table_name>; 

Parâmetros

object_table_name: Obrigatório. Nome da tabela.

Exemplo

SET odps.namespace.schema=true; 
DROP TABLE IF EXISTS ot_demo_day;

ODPS-0010000:System internal error

• Sintoma

  A seguinte mensagem de erro é relatada:

  ODPS-0010000:System internal error - 
  ActionHandler job failed with failinfo	storage service worker error occured: 
  common/io/oss/oss_file_system_cppsdk.cpp(919): 
  OSSRequestException: Status: -50, RequestId: , 
  ErrorCode: ClientError:-50, Message: E_HTTP_ERROR_CONN_REFUSED

• Causa

  Você usou um endpoint público para o OSS ao criar a Object Table.

• Solução

  Ao criar uma Object Table, o parâmetro location deve conter um endpoint interno para o oss_endpoint. Para obter informações sobre como adquirir o endpoint interno, consulte Parameter description. Se o erro persistir após alterar o endereço para um endpoint interno, entre em contato com a equipe de suporte técnico do MaxCompute enviando um ticket para suporte.

Falha na atualização periódica

• Sintoma

Você definiu parâmetros de atualização periódica ao criar a Object Table. No entanto, a atualização não é executada quando o intervalo é atingido.

• Solução

Certifique-se de que o parâmetro location usado para criar a Object Table especifique um endpoint interno do OSS. Para mais informações sobre a criação de uma Object Table, consulte Parameters.