MaxCompute:Définition de la table d'objets

Syntaxe

CREATE OBJECT TABLE [IF NOT EXISTS] <objecttable_name> 
WITH SERDEPROPERTIES ('<key>' = '<value>') 
LOCATION '<location>' 
[TBLPROPERTIES ('<key>' = '<value>')] 
[COMMENT '<comment>'] 
;

Paramètres

Exemple

SET odps.namespace.schema=true; 
CREATE OBJECT TABLE ot_demo_day 
WITH serdeproperties ( 
 'odps.properties.rolearn'='acs:ram::xxxxxx:role/aliyunodpsdefaultrole') 
LOCATION 'oss://oss-cn-hangzhou-internal.aliyuncs.com/odps-external-****/ottest/';

Syntaxe

DESC <object_table_name>

Paramètres

object_table_name : Obligatoire. Nom de la table.

Exemple

SET odps.namespace.schema=true; 
DESC ot_demo_day; 

Le résultat suivant est renvoyé :

+------------------------------------------------------------------------------------+
| Owner:                    ALIYUN$****@test.aliyunid.com                        |
| Project:                  test_objecttable                                         |
| Schema:                   default                                                  |
| TableComment:                                                                      |
+------------------------------------------------------------------------------------+
| CreateTime:               2024-09-02 20:01:56                                      |
| LastDDLTime:              2024-09-02 20:01:56                                      |
| LastModifiedTime:         2024-09-02 20:01:56                                      |
+------------------------------------------------------------------------------------+
| InternalTable: YES      | Size: 0                                                  |
+------------------------------------------------------------------------------------+
| Native Columns:                                                                    |
+------------------------------------------------------------------------------------+
| Field           | Type       | Label | Comment                                     |
+------------------------------------------------------------------------------------+
| key             | varchar(2048) |       | The name of the object.                     |
| size            | bigint     |       | The size of the returned object in bytes.   |
| type            | varchar(32) |       | The type of the object and valid values: Normal, Multipart, Appendable, and Symlink. |
| last_modified   | timestamp  |       | The last modified time of the object.       |
| storage_class   | varchar(32) |       | The storage class of the object.            |
| etag            | varchar(64) |       | The entity tag (ETag). When an object is created, an ETag is created to identify the content of the object. |
| restore_info    | varchar(256) |       | The restoration status of the object.       |
| owner_id        | bigint     |       | The ID of the bucket owner.                 |
| owner_display_name | varchar(256) |       | The display name of the bucket owner.       |
+------------------------------------------------------------------------------------+

Le tableau ci-dessous décrit les colonnes clés du résultat.

Syntaxe

SHOW CREATE TABLE <object_table_name>;

Paramètres

object_table_name : Obligatoire. Nom de la table.

Exemple

SET odps.namespace.schema=true; 
SHOW CREATE TABLE ot_demo_day; 

Le résultat suivant est renvoyé :

CREATE OBJECT TABLE IF NOT EXISTS yunqi_object_****.`default`.ot_demo_day 
WITH SERDEPROPERTIES ( 
  'serialization.format'='1', 
  'odps.properties.rolearn'='acs:ram::139699392458****:role/aliyunodpsdefaultrole') 
LOCATION 
  'oss://oss-cn-hangzhou-internal.aliyuncs.com/odps-external-****/ottest/' 
TBLPROPERTIES ( 
  'last_modified_time'='1731478307', 
  'transient_lastDdlTime'='1731478307', 
  'metadata.cache.mode'='manual', 
  'metadata.staleness.seconds'='3600');

Actualisation manuelle

Chaque actualisation effectue une synchronisation complète des métadonnées. Vous pouvez contrôler le moment et la fréquence de ces actualisations.

• Syntaxe

  ALTER TABLE <objecttable_name> REFRESH METADATA;

• Paramètres

  objecttable_name : Obligatoire. Nom de la table.

• Exemple

  SET odps.namespace.schema=true; 
  ALTER TABLE ot_demo_day REFRESH METADATA;

Actualisation périodique

Si les fichiers du répertoire OSS mappé par la table d'objets changent fréquemment, vous pouvez configurer des actualisations périodiques des métadonnées. Cela réduit les coûts de maintenance en spécifiant les paramètres pertinents lors de la création de la table.

• Syntaxe

  SET odps.namespace.schema=true;
  SET odps.sql.type.system.odps2 = true;
  
  CREATE OBJECT TABLE ot_demo_day 
  WITH serdeproperties (
   'odps.properties.rolearn'='acs:ram::xxxxxx:role/aliyunodpsdefaultrole'
  )
  location 'oss://oss-cn-hangzhou-internal.aliyuncs.com/odps-external-****/ottest/'
  tblproperties (
    'metadata.cache.mode' = 'periodic',
    'metadata.staleness.seconds' = '3600'
  );
  

• Paramètres

  • metadata.staleness.seconds: Intervalle d'actualisation. Ce paramètre est requis pour le mode periodic. La valeur peut aller de [1, 604800], soit de 1 seconde à 1 semaine. Ce paramètre constitue une garantie de meilleure effort ; le planificateur tentera d'exécuter l'actualisation aussi près que possible de l'intervalle spécifié.

  • metadata.cache.mode: Mode d'actualisation. Les options disponibles sont les suivantes :

    • periodic: Déclenchement périodique.

    • crontab: Actualisation planifiée.

    • manual: Déclenchement manuel (par défaut). Vous pouvez contrôler le moment du déclenchement.

Actualisation planifiée

Si les fichiers du répertoire OSS mappé par la table d'objets changent fréquemment, vous pouvez planifier des actualisations de métadonnées. Cette approche réduit les coûts de maintenance en spécifiant les paramètres pertinents lors de la création de la table.

• Syntaxe

  SET odps.namespace.schema=true;
  SET odps.sql.type.system.odps2 = true;
  
  CREATE OBJECT TABLE ot_demo_day 
  WITH SERDEPROPERTIES (
   'odps.properties.rolearn'='acs:ram::xxxxxx:role/aliyunodpsdefaultrole'
  )
  LOCATION 'oss://oss-cn-region-internal.aliyuncs.com/odps-external-****/ottest/'
  TBLPROPERTIES (
    'metadata.cache.mode' = 'crontab',
    'metadata.crontab.expression' = 'your_timed_expression'
  );

• Paramètres

  • metadata.crontab.expression: expression cron définissant la planification. Par exemple, pour déclencher une actualisation tous les jours à 14 h 00, utilisez l'expression 0 0 14 * * ?, ce qui signifie 0 seconde, 0 minute, heure 14 (14 h 00), chaque jour, chaque mois et ? pour ne pas spécifier le jour de la semaine (exclusif avec le champ jour du mois afin d'éviter les conflits).

  • metadata.cache.mode: mode d'actualisation. Les options disponibles sont les suivantes :

    • crontab: actualisation planifiée.

    • periodic: déclenchement périodique.

    • manual: déclenchement manuel (par défaut). Vous contrôlez le moment du déclenchement.

Afficher les tâches d'actualisation

Exécutez la commande suivante pour consulter l'historique des tâches d'actualisation.

SHOW refresh task history FOR object TABLE <object_table_name>;

• Paramètres

  • <object_table_name> doit correspondre à une table d'objets.

  • Valeurs renvoyées : ID de l'instance de la tâche d'actualisation (InstanceId), heure de création (CreateTime), heure de fin (EndTime) et statut (Status).

  • Si le statut est Failed, exécutez wait InstanceId; pour afficher le journal et vérifier les détails de l'erreur.

• Exemple

  -- View the historical refresh tasks for the Object Table.
  SET odps.namespace.schema=true; 
  SHOW refresh task history for object table ot_demo_day04;
  
  -- The following result is returned.
  ID = 20260105*******f
  +---------------------------------------------------------------------------------------------------+
  | Project:                  test_project                                                                              |
  | Schema:                   default                                                                                           |
  | Task:                     ***                        |
  +---------------------------------------------------------------------------------------------------+
  | History:                                                                                          |
  +---------------------------------------------------------------------------------------------------+
  | InstanceId                       | CreateTime             | EndTime                | Status       |
  +---------------------------------------------------------------------------------------------------+
  | 20260105******************ks     | 2026-01-05 14:12:00    | 2026-01-05 14:12:04    | Terminated   |
  | 20260105******************y3     | 2026-01-05 14:10:00    | 2026-01-05 14:10:03    | Terminated   |
  +---------------------------------------------------------------------------------------------------+
  
  OK

Syntaxe

SELECT * FROM <object_table_name>;

Paramètres

object_table_name : obligatoire. Nom de la table.

Exemple

-- You can query the data uploaded to the specified OSS directory. If the amount of data is large, you can limit the result to five rows.
SET odps.namespace.schema=true; 
SELECT * FROM  ot_demo_day [limit 5];

Syntaxe

DROP TABLE [IF EXISTS] <object_table_name>; 

Paramètres

object_table_name : obligatoire. Nom de la table.

Exemple

SET odps.namespace.schema=true; 
DROP TABLE IF EXISTS ot_demo_day;

ODPS-0010000:System internal error

• Symptôme

  Le message d'erreur suivant s'affiche :

  ODPS-0010000:System internal error - 
  ActionHandler job failed with failinfo	storage service worker error occured: 
  common/io/oss/oss_file_system_cppsdk.cpp(919): 
  OSSRequestException: Status: -50, RequestId: , 
  ErrorCode: ClientError:-50, Message: E_HTTP_ERROR_CONN_REFUSED

• Cause

  Vous avez utilisé un endpoint public pour OSS lors de la création de la table d'objets.

• Solution

  Lors de la création d'une table d'objets, le paramètre location doit contenir un endpoint interne pour oss_endpoint. Pour savoir comment obtenir l'endpoint interne, consultez la section Description des paramètres. Si l'erreur persiste après avoir remplacé l'adresse par un endpoint interne, contactez l'équipe de support technique MaxCompute en soumettant un ticket de support.

Échec de l'actualisation périodique

• Symptôme

Vous avez défini des paramètres d'actualisation périodique lors de la création de la table d'objets. Toutefois, l'actualisation ne s'exécute pas lorsque l'intervalle est atteint.

• Solution

Assurez-vous que le paramètre location utilisé pour créer la table d'objets spécifie un endpoint interne OSS. Pour plus d'informations sur la création d'une table d'objets, consultez la section Paramètres.