MaxCompute:Definición de tabla de objetos

Sintaxis

CREATE OBJECT TABLE [IF NOT EXISTS] <objecttable_name> 
WITH SERDEPROPERTIES ('<key>' = '<value>') 
LOCATION '<location>' 
[TBLPROPERTIES ('<key>' = '<value>')] 
[COMMENT '<comment>'] 
;

Parámetros

Ejemplo

SET odps.namespace.schema=true; 
CREATE OBJECT TABLE ot_demo_day 
WITH serdeproperties ( 
 'odps.properties.rolearn'='acs:ram::xxxxxx:role/aliyunodpsdefaultrole') 
LOCATION 'oss://oss-cn-hangzhou-internal.aliyuncs.com/odps-external-****/ottest/';

Sintaxis

DESC <object_table_name>

Parámetros

object_table_name: Obligatorio. El nombre de la tabla.

Ejemplo

SET odps.namespace.schema=true; 
DESC ot_demo_day; 

Se devuelve el siguiente resultado:

+------------------------------------------------------------------------------------+
| Owner:                    ALIYUN$****@test.aliyunid.com                        |
| Project:                  test_objecttable                                         |
| Schema:                   default                                                  |
| TableComment:                                                                      |
+------------------------------------------------------------------------------------+
| CreateTime:               2024-09-02 20:01:56                                      |
| LastDDLTime:              2024-09-02 20:01:56                                      |
| LastModifiedTime:         2024-09-02 20:01:56                                      |
+------------------------------------------------------------------------------------+
| InternalTable: YES      | Size: 0                                                  |
+------------------------------------------------------------------------------------+
| Native Columns:                                                                    |
+------------------------------------------------------------------------------------+
| Field           | Type       | Label | Comment                                     |
+------------------------------------------------------------------------------------+
| key             | varchar(2048) |       | The name of the object.                     |
| size            | bigint     |       | The size of the returned object in bytes.   |
| type            | varchar(32) |       | The type of the object and valid values: Normal, Multipart, Appendable, and Symlink. |
| last_modified   | timestamp  |       | The last modified time of the object.       |
| storage_class   | varchar(32) |       | The storage class of the object.            |
| etag            | varchar(64) |       | The entity tag (ETag). When an object is created, an ETag is created to identify the content of the object. |
| restore_info    | varchar(256) |       | The restoration status of the object.       |
| owner_id        | bigint     |       | The ID of the bucket owner.                 |
| owner_display_name | varchar(256) |       | The display name of the bucket owner.       |
+------------------------------------------------------------------------------------+

La siguiente tabla describe las columnas clave del resultado.

Sintaxis

SHOW CREATE TABLE <object_table_name>;

Parámetros

object_table_name: Obligatorio. El nombre de la tabla.

Ejemplo

SET odps.namespace.schema=true; 
SHOW CREATE TABLE ot_demo_day; 

Se devuelve el siguiente resultado:

CREATE OBJECT TABLE IF NOT EXISTS yunqi_object_****.`default`.ot_demo_day 
WITH SERDEPROPERTIES ( 
  'serialization.format'='1', 
  'odps.properties.rolearn'='acs:ram::139699392458****:role/aliyunodpsdefaultrole') 
LOCATION 
  'oss://oss-cn-hangzhou-internal.aliyuncs.com/odps-external-****/ottest/' 
TBLPROPERTIES ( 
  'last_modified_time'='1731478307', 
  'transient_lastDdlTime'='1731478307', 
  'metadata.cache.mode'='manual', 
  'metadata.staleness.seconds'='3600');

Actualización manual

Cada actualización realiza una sincronización completa de los metadatos. Usted puede controlar el momento y la frecuencia de estas actualizaciones.

• Sintaxis

  ALTER TABLE <objecttable_name> REFRESH METADATA;

• Parámetros

  objecttable_name: Obligatorio. El nombre de la tabla.

• Ejemplo

  SET odps.namespace.schema=true; 
  ALTER TABLE ot_demo_day REFRESH METADATA;

Actualización periódica

Si los archivos en el directorio de OSS al que se asigna la Object Table cambian con frecuencia, puede configurar actualizaciones periódicas de metadatos. Esto reduce los costos de mantenimiento al especificar los parámetros relevantes cuando crea la tabla.

• Sintaxis

  SET odps.namespace.schema=true;
  SET odps.sql.type.system.odps2 = true;
  
  CREATE OBJECT TABLE ot_demo_day 
  WITH serdeproperties (
   'odps.properties.rolearn'='acs:ram::xxxxxx:role/aliyunodpsdefaultrole'
  )
  location 'oss://oss-cn-hangzhou-internal.aliyuncs.com/odps-external-****/ottest/'
  tblproperties (
    'metadata.cache.mode' = 'periodic',
    'metadata.staleness.seconds' = '3600'
  );
  

• Parámetros

  • metadata.staleness.seconds: El intervalo de actualización. Este parámetro es obligatorio para el modo periodic. El valor puede oscilar entre [1, 604800], lo que representa un rango de 1 segundo a 1 semana. Este parámetro representa una garantía de mejor esfuerzo, y el programador intentará ejecutar la actualización lo más cerca posible del intervalo especificado.

  • metadata.cache.mode: El modo de actualización. Las opciones disponibles son:

    • periodic: Activación periódica.

    • crontab: Actualización programada.

    • manual: Activación manual (predeterminado). Usted puede controlar el momento de la activación.

Actualización programada

Si los archivos en el directorio de OSS al que se asigna la Object Table cambian con frecuencia, puede programar actualizaciones de metadatos. Esto reduce los costos de mantenimiento al especificar los parámetros relevantes cuando crea la tabla.

• Sintaxis

  SET odps.namespace.schema=true;
  SET odps.sql.type.system.odps2 = true;
  
  CREATE OBJECT TABLE ot_demo_day 
  WITH SERDEPROPERTIES (
   'odps.properties.rolearn'='acs:ram::xxxxxx:role/aliyunodpsdefaultrole'
  )
  LOCATION 'oss://oss-cn-region-internal.aliyuncs.com/odps-external-****/ottest/'
  TBLPROPERTIES (
    'metadata.cache.mode' = 'crontab',
    'metadata.crontab.expression' = 'your_timed_expression'
  );

• Parámetros

  • metadata.crontab.expression: Una expresión cron que define la programación. Por ejemplo, para activar una actualización a las 2:00 PM todos los días, puede usar la expresión 0 0 14 * * ?, que significa 0 segundos, 0 minutos, hora 14 (2:00 PM), every día, every mes, y ? para no especificar un día de la semana (mutuamente excluyente con el campo de día del mes para evitar conflictos).

  • metadata.cache.mode: El modo de actualización. Las opciones disponibles son:

    • crontab: Actualización programada.

    • periodic: Activación periódica.

    • manual: Activación manual (predeterminado). Usted puede controlar el momento de la activación.

Consultar tareas de actualización

Puede ejecutar el siguiente comando para consultar el historial de tareas de actualización.

SHOW refresh task history FOR object TABLE <object_table_name>;

• Parámetros

  • <object_table_name> debe ser una tabla de objetos.

  • Valores devueltos: El ID de instancia de la tarea de actualización (InstanceId), la hora de creación (CreateTime), la hora de finalización (EndTime) y el estado (Status).

  • Si el Status es Failed, puede ejecutar wait InstanceId; para consultar el registro y verificar los detalles del error.

• Ejemplo

  -- View the historical refresh tasks for the Object Table.
  SET odps.namespace.schema=true; 
  SHOW refresh task history for object table ot_demo_day04;
  
  -- The following result is returned.
  ID = 20260105*******f
  +---------------------------------------------------------------------------------------------------+
  | Project:                  test_project                                                                              |
  | Schema:                   default                                                                                           |
  | Task:                     ***                        |
  +---------------------------------------------------------------------------------------------------+
  | History:                                                                                          |
  +---------------------------------------------------------------------------------------------------+
  | InstanceId                       | CreateTime             | EndTime                | Status       |
  +---------------------------------------------------------------------------------------------------+
  | 20260105******************ks     | 2026-01-05 14:12:00    | 2026-01-05 14:12:04    | Terminated   |
  | 20260105******************y3     | 2026-01-05 14:10:00    | 2026-01-05 14:10:03    | Terminated   |
  +---------------------------------------------------------------------------------------------------+
  
  OK

Sintaxis

SELECT * FROM <object_table_name>;

Parámetros

object_table_name: Obligatorio. El nombre de la tabla.

Ejemplo

-- You can query the data uploaded to the specified OSS directory. If the amount of data is large, you can limit the result to five rows.
SET odps.namespace.schema=true; 
SELECT * FROM  ot_demo_day [limit 5];

Sintaxis

DROP TABLE [IF EXISTS] <object_table_name>; 

Parámetros

object_table_name: Obligatorio. El nombre de la tabla.

Ejemplo

SET odps.namespace.schema=true; 
DROP TABLE IF EXISTS ot_demo_day;

ODPS-0010000:System internal error

• Síntoma

  Se reporta el siguiente mensaje de error:

  ODPS-0010000:System internal error - 
  ActionHandler job failed with failinfo	storage service worker error occured: 
  common/io/oss/oss_file_system_cppsdk.cpp(919): 
  OSSRequestException: Status: -50, RequestId: , 
  ErrorCode: ClientError:-50, Message: E_HTTP_ERROR_CONN_REFUSED

• Causa

  Utilizó un endpoint público para OSS al crear la Object Table.

• Solución

  Cuando crea una Object Table, el parámetro location debe contener un endpoint interno para el oss_endpoint. Para obtener información sobre cómo conseguir el endpoint interno, consulte Parameter description. Si el error persiste después de cambiar la dirección a un endpoint interno, póngase en contacto con el equipo de soporte técnico de MaxCompute mediante la apertura de un ticket de soporte.

Error en la actualización periódica

• Síntoma

Configuró parámetros de actualización periódica al crear la Object Table. Sin embargo, la actualización no se ejecuta cuando se alcanza el intervalo.

• Solución

Asegúrese de que el parámetro location utilizado para crear la Object Table especifique un endpoint interno de OSS. Para obtener más información sobre la creación de una Object Table, consulte Parameters.