MaxCompute:OSS external tables

Syntaxe

CREATE EXTERNAL TABLE [IF NOT EXISTS] <mc_oss_extable_name> 
(
<col_name> <data_type>,
...
)
[comment <table_comment>]
[partitioned BY (<col_name> <data_type>, ...)] 
STORED BY '<StorageHandler>'  
WITH serdeproperties (
 ['<property_name>'='<property_value>',...]
) 
location '<oss_location>';

CREATE EXTERNAL TABLE [IF NOT EXISTS] <mc_oss_extable_name>
(
<col_name> <data_type>,
...
)
[comment <table_comment>]
[partitioned BY (<col_name> <data_type>, ...)]
[row format serde '<serde_class>'
  [WITH serdeproperties (
    ['<property_name>'='<property_value>',...])
  ]
]
STORED AS <file_format> 
location '<oss_location>' 
[USING '<resource_name>']
[tblproperties ('<tbproperty_name>'='<tbproperty_value>',...)];

CREATE EXTERNAL TABLE [IF NOT EXISTS] <mc_oss_extable_name> 
(
<col_name> <date_type>,
...
)
[comment <table_comment>]
[partitioned BY (<col_name> <data_type>, ...)] 
STORED BY '<StorageHandler>' 
WITH serdeproperties (
 ['<property_name>'='<property_value>',...]
) 
location '<oss_location>' 
USING '<jar_name>';

Paramètres

Les paramètres suivants sont communs à tous les formats de tables externes. Pour les paramètres spécifiques à un format, consultez la documentation correspondante.

• Paramètres de la syntaxe de base

  Paramètre	Obligatoire	Description
  mc_oss_extable_name	Oui	Nom de la table externe OSS à créer. Les noms de table ne sont pas sensibles à la casse et ne peuvent pas être convertis de force vers une casse spécifique.
  col_name	Oui	Nom d'une colonne dans la table externe OSS. Le schéma de la table externe doit correspondre au schéma du fichier de données OSS. Sinon, les données ne peuvent pas être lues.
  data_type	Oui	Type de données d'une colonne dans la table externe OSS. Le type de données de chaque colonne doit correspondre à la colonne correspondante dans le fichier de données OSS. Sinon, les données ne peuvent pas être lues.
  table_comment	Non	Commentaire associé à la table. Il doit s'agir d'une chaîne valide ne dépassant pas 1 024 octets. Dans le cas contraire, une erreur est signalée.
  partitioned by (col_name data_type, ...)	Non	Si les fichiers de données dans OSS sont stockés dans un chemin partitionné, incluez ce paramètre pour créer une table partitionnée. col_name : nom de la colonne de clé de partition. data_type : type de données de la colonne de clé de partition.
  '<(tb)property_name>'='<(tb)property_value>'	Oui	Propriétés étendues de la table externe. Consultez la documentation spécifique au format pour plus de détails.
  oss_location	Oui	Chemin OSS où se trouvent les fichiers de données. Par défaut, tous les fichiers de données de ce chemin sont lus. Le format est oss://<oss_endpoint>/<Bucket name>/<OSS directory name>/. oss_endpoint : Nom de domaine OSS. Vous devez utiliser le point de terminaison du réseau classique fourni par OSS, qui contient -internal. Exemple : oss://oss-cn-beijing-internal.aliyuncs.com/xxx. Les noms de domaine du réseau classique OSS sont répertoriés dans Régions et points de terminaison. Veillez à ce que la région OSS où sont stockés les fichiers de données soit identique à la région de votre projet MaxCompute. Si elles diffèrent, des problèmes de connectivité réseau peuvent survenir. Si vous ne spécifiez pas de point de terminaison, le système utilise celui de la région où se trouve le projet actuel. Cette méthode n'est pas recommandée, car le stockage de fichiers inter-régions peut entraîner des problèmes de connectivité réseau. Bucket name : nom du bucket OSS. Le nom du bucket doit suivre le oss_endpoint. Exemple : oss://oss-cn-beijing-internal.aliyuncs.com/your_bucket/path/. Consultez les noms des buckets dans Lister les buckets. Directory name : nom du répertoire OSS. Ne spécifiez pas de nom de fichier après le répertoire. Exemple : oss://oss-cn-beijing-internal.aliyuncs.com/oss-mc-test/Demo1/. Exemples incorrects : -- HTTP connections are not supported. http://oss-cn-shanghai-internal.aliyuncs.com/oss-mc-test/Demo1/ -- HTTPS connections are not supported. https://oss-cn-shanghai-internal.aliyuncs.com/oss-mc-test/Demo1/ -- Incorrect connection address. oss://oss-cn-shanghai-internal.aliyuncs.com/Demo1 -- Do not specify a file name. oss://oss-cn-shanghai-internal.aliyuncs.com/oss-mc-test/Demo1/vehicle.csv

• Attributs WITH serdeproperties

  property_name	Scénario	property_value	Valeur par défaut
  odps.properties.rolearn	Ajoutez cette propriété lors de l'utilisation de l'autorisation STS.	Spécifiez l'ARN du rôle RAM disposant des autorisations nécessaires pour accéder à OSS. Obtenez l'ARN à partir des détails du rôle dans la console RAM. Exemple : acs:ram::xxxxxx:role/<role_name>.	Si les propriétaires de MaxCompute et d'OSS sont le même compte : Si vous ne spécifiez pas odps.properties.rolearn dans l'instruction de création de table, l'ARN du rôle aliyunodpsdefaultrole est utilisé par défaut. Vous devez d'abord créer le rôle RAM en utilisant l'autorisation STS. Le rôle AliyunODPSDefaultRole dispose d'autorisations étendues. Nous vous recommandons d'accorder des autorisations via un rôle personnalisé. Pour utiliser l'ARN d'un rôle personnalisé, créez d'abord le rôle personnalisé. Autorisation STS pour OSS (autorisation personnalisée). Si les propriétaires de MaxCompute et d'OSS sont des comptes différents, vous devez spécifier l'ARN d'un rôle personnalisé. Pour plus d'informations, consultez Autorisation STS pour OSS (autorisation personnalisée).

Liste d'autorisation et liste de blocage

Les tables externes MaxCompute OSS prennent en charge le filtrage par liste d'autorisation (whitelist) et liste de blocage (blacklist). En définissant les paramètres de liste d'autorisation et de liste de blocage dans tblproperties, vous pouvez filtrer les fichiers à lire depuis un répertoire.

• Paramètres tblproperties

  Détails des paramètres tblproperties

  property_name	Cas d'utilisation	Remarque	property_value	Valeur par défaut
  odps.external.data.file.whitelist.regex	Filtrage personnalisé par liste d'autorisation	Motif regex	Motif regex pour la correspondance des fichiers, par exemple '.*\\.json'	Aucune
  odps.external.data.file.blacklist.regex	Filtrage personnalisé par liste de blocage	Motif regex	Motif regex pour la correspondance des fichiers, par exemple '.*\\.txt'	Aucune
  odps.external.data.file.recursive.listing.enabled	Contrôle de la recherche récursive de fichiers		True False	True
  odps.sql.unstructured.file.pattern.black.list（ existing session flag）	Filtrage par liste de blocage au niveau de la session	Motif regex	Motif regex pour la correspondance des fichiers, par exemple '.*\\.json'	Aucune

• Règles d'application

  • La liste de blocage est prioritaire sur la liste d'autorisation : si un fichier correspond à n'importe quelle condition de la liste de blocage, il est exclu.

  • L'indicateur de session et le paramètre de liste de blocage tblproperties ont une relation « OU ». Si les deux sont configurés, ils prennent tous deux effet : un fichier correspondant à l'une ou l'autre condition de liste de blocage est exclu. La configuration via tblProperties est recommandée.

    Méthode de configuration	Type de chemin	Paramètre
    indicateur de session	Chemin absolu	odps.sql.unstructured.file.pattern.black.list
    tblproperties	Chemin relatif	odps.external.data.file.blacklist.regex

• Remarques sur les expressions régulières

  • Les ancres de début de ligne ^ et de fin de ligne $ sont facultatives. Par exemple, pour faire correspondre les fichiers .json, .*\.json suffit.

  • Un seul motif regex est pris en charge. Pour exclure plusieurs types de fichiers, utilisez | :

    -- Exclude csv, txt, and parquet files
    "odps.external.data.file.blacklist.regex": ".*\\.(txt|csv|parquet)$" 

• Mettre à jour les paramètres de liste d'autorisation et de liste de blocage

  ALTER TABLE {table_name} 
  SET tblproperties('odps.external.data.file.whitelist.regex'='new_regex')
  
  ALTER TABLE {table_name} 
  SET tblproperties('odps.external.data.file.blacklist.regex'='new_regex')

• Exemples

  • Données d'exemple

    -- Assume the OSS directory contains the following files:
    
    oss://xxx/bucket/level1/data1.txt
    oss://xxx/bucket/level1/data2.json
    oss://xxx/bucket/level1/data3.csv
    oss://xxx/bucket/level1/level2/data4.txt
    oss://xxx/bucket/level1/level2/data5.json
    oss://xxx/bucket/level1/level2/data6.parquet

  • Liste d'autorisation : lire uniquement les fichiers JSON

    CREATE EXTERNAL TABLE test_whitelist_table
    (
        id INT,
        name STRING 
    )
    row format serde 'org.apache.hive.hcatalog.data.JsonSerDe'
    STORED AS textfile
    LOCATION 'oss://xxx/bucket/level1'
    TBLPROPERTIES (
      'odps.external.data.enable.extension'='true', -- Enable file extension support
      'odps.external.data.file.whitelist.regex'='.*\\.json'); -- Whitelist: JSON files only
    
    -- By running SELECT * FROM test_whitelist_table, all JSON files are selected.
    -- Query returns data from data2.json and level2/data5.json

  • Liste de blocage : exclure les fichiers txt, csv et parquet

    CREATE EXTERNAL TABLE test_blacklist_table
    (
        id INT,
        name STRING 
    )
    row format serde 'org.apache.hive.hcatalog.data.JsonSerDe'
    STORED as textfile
    LOCATION 'oss://xxx/bucket/level1'
    TBLPROPERTIES (
      'odps.external.data.enable.extension'='true', -- Enable file extension support
      'odps.external.data.file.blacklist.regex'='.*\\.(txt|csv|parquet)$'); -- Blacklist: exclude txt, csv, parquet
    
    -- By running SELECT * FROM test_blacklist_table, all TXT, CSV, and Parquet files are filtered out.
    -- Query returns data from data2.json and level2/data5.json

  • Combinaison liste d'autorisation et liste de blocage : lire les fichiers txt, exclure le répertoire level2

    CREATE EXTERNAL TABLE test_whitelist_blacklist_table
    (
        id INT,
        name STRING 
    )
    row format serde 'org.apache.hive.hcatalog.data.JsonSerDe'
    STORED as textfile
    LOCATION 'oss://xxx/bucket/level1'
    TBLPROPERTIES (
      'odps.external.data.enable.extension'='true', -- Enable file extension support
      'odps.external.data.file.whitelist.regex'='.*\\.txt', -- Whitelist: txt files only
      'odps.external.data.file.blacklist.regex'='.*level2/.*'); -- Blacklist: exclude level2 directory
    
    -- By running select * from test_whitelist_blacklist_table，
    -- Whitelist filters txt files, then blacklist excludes level2 directory
    -- Query returns data from data1.txt only

  • Listage récursif : contrôler la lecture des fichiers dans les sous-répertoires

    CREATE EXTERNAL TABLE test_recursive_enabled
    (
        id INT,
        name STRING 
    )
    row format serde 'org.apache.hive.hcatalog.data.JsonSerDe'
    STORED as textfile
    LOCATION 'oss://xxx/bucket/level1'
    TBLPROPERTIES (
      'odps.external.data.enable.extension'='true', -- Enable file extension support
      'odps.external.data.file.whitelist.regex'='.*\\.json' -- Whitelist: json files only
      'odps.external.data.file.recursive.listing.enabled'='true'); -- Recursive enabled
    
    -- By running SELECT * FROM test_recursive_enabled, all JSON files are selected.
    -- Query returns data from data2.json and level2/data5.json
    
    CREATE EXTERNAL TABLE test_recursive_disabled
    (
        id INT,
        name STRING 
    )
    row format serde 'org.apache.hive.hcatalog.data.JsonSerDe'
    STORED as textfile
    LOCATION 'oss://xxx/bucket/level1'
    TBLPROPERTIES (
      'odps.external.data.enable.extension'='true', -- Enable file extension support
      'odps.external.data.file.whitelist.regex'='.*\\.json' -- Whitelist: json files only
      'odps.external.data.file.recursive.listing.enabled'='false'  -- Recursive disabled
    );
    
    -- By running SELECT * FROM test_recursive_disabled, all JSON files are selected, but recursive reading is disabled.
    -- Query returns data from data2.json only (level2 directory excluded)

  • Mettre à jour la liste d'autorisation et la liste de blocage via ALTER TABLE

    CREATE EXTERNAL TABLE test_alter_table_properties
    (
      id INT,
      name STRING 
    )
    row format serde 'org.apache.hive.hcatalog.data.JsonSerDe'
    STORED as textfile
    LOCATION 'oss://xxx/bucket/level1'
    TBLPROPERTIES (
      'odps.external.data.enable.extension'='true', -- Enable file extension support
      'odps.external.data.file.whitelist.regex'='.*\\.json'); -- Whitelist: json files only
    
    -- By running SELECT * FROM test_alter_table_properties, all JSON files are selected
    -- Query returns data from data2.json and level2/data5.json
    
    ALTER TABLE test_alter_table_properties 
    SET tblproperties(
      'odps.external.data.file.whitelist.regex'='.*level2/.*\\.json'
    )
    -- By running select * from test_alter_table_properties
    -- Query now returns data from level2/data5.json only

Notes

• Une fois la table externe OSS créée, vous pouvez lire les données stockées dans OSS via cette table. Pour connaître les types de fichiers pris en charge et la syntaxe de création, consultez la section Syntaxe.

• Si une instruction SQL fait appel à des types de données complexes, ajoutez le préfixe set odps.sql.type.system.odps2=true; et soumettez l'ensemble simultanément. Consultez la rubrique Versions des types de données.

• Pour les tables externes OSS qui mappent des données open source, définissez set odps.sql.hive.compatible=true; au niveau de la session avant de lire les données depuis OSS. À défaut, une erreur se produira.

• OSS impose des limites de bande passante. Si le trafic de lecture/écriture dépasse la limite de bande passante de l'instance sur une courte période, les performances de la table externe se dégradent. Consultez la documentation relative aux Limites et métriques de performance.

Syntaxe

<select_statement> FROM <from_statement>;

• select_statement : clause SELECT permettant d'interroger les données à insérer dans la table cible depuis la table source.

• from_statement : clause FROM spécifiant la source de données, telle que le nom de la table externe.

Optimisation des requêtes

SET odps.meta.exttable.stats.onlinecollect=true;
SELECT * FROM <tablename>;

-- You can use either of the following parameters.

-- Unit: MiB. Default value: 256 MiB. Applies to internal or external tables.
SET odps.stage.mapper.split.size=<value>;
SELECT * FROM <tablename>;

-- Unit: MiB. Default value: 256 MiB. Applies only to external tables.
SET odps.sql.unstructured.data.split.size=<value>;
SELECT * FROM <tablename>;

-- Syntax for the two-tier model: set odps.sql.split.dop={"project.table": xxx};
-- Syntax for the three-tier model: set odps.sql.split.dop={"project.schema.table": xxx};

SET odps.sql.split.dop={
  "project.schema.table1": xxx, 
  "project.schema.table2": yyy
};

SET odps.sql.common.table.planner.ext.hive.bridge=FALSE;

SELECT * FROM <your_table>;

SET odps.sql.split.dop = {"lakehouse47_3.tpch_1t_parquet_snappy.lineitem": 2};
SET odps.input.file.num.limit = 5000;

Syntaxe

INSERT {INTO|OVERWRITE} TABLE <table_name> PARTITION (<ptcol_name>[, <ptcol_name> ...]) 
<select_statement> FROM <from_statement>;

Pour insérer des données dans des partitions dynamiques, consultez la rubrique Insertion ou écrasement de données dans des partitions dynamiques .

Écriture de données dans OSS à l'aide de la fonctionnalité de téléchargement multipartie d'OSS

Pour écrire des données dans OSS au format open source, créez une table externe avec un analyseur de données open source et activez la fonctionnalité de téléchargement multipartie d'OSS.

Pour activer la fonctionnalité de téléchargement multipartie d'OSS, configurez les éléments suivants :

setproject odps.sql.unstructured.oss.commit.mode =true;

set odps.sql.unstructured.oss.commit.mode =true;

La valeur par défaut de odps.sql.unstructured.oss.commit.mode est false. Les deux modes fonctionnent comme suit :

Gérer les fichiers exportés

Écrire de gros fichiers à l'aide de partitions dynamiques

-- The service.mode must be turned off.
SET odps.service.mode=off;

-- The dynamic partition capability must be enabled.
SET odps.sql.reshuffle.dynamicpt=true; 	

-- Set the desired data consumption for each reducer. Assume you want each file to be 4 GB.
SET odps.adaptive.shuffle.desired.partition.size=4096;	

• Comment résoudre l'erreur « Inline data exceeds the maximum allowed size » lors du traitement des données OSS à l'aide d'une table externe ?

• Comment résoudre une erreur de dépassement de mémoire qui se produit après le téléchargement d'une UDF pour accéder à une table externe OSS sur MaxCompute, bien que la UDF ait réussi les tests locaux ?

• Comment fusionner plusieurs petits fichiers en un seul fichier à l'aide d'une table externe OSS ?

• Comment résoudre l'erreur « Couldn't connect to server » lors de la lecture d'une table externe OSS ?

• Comment résoudre l'erreur « Network is unreachable (connect failed) » lors de la création d'une table externe OSS ?

• Comment résoudre la lenteur d'exécution des tâches SQL sur une table externe OSS ?

• Comment résoudre le problème où les anciennes données sont supprimées mais les nouvelles données ne sont pas écrites lors de l'utilisation de la fonctionnalité de téléchargement multipartie OSS ?

• Solution pour l'erreur « table not found » lors de l'accès à une table externe OSS depuis Spark

Comment résoudre l'erreur « Inline data exceeds the maximum allowed size » lors du traitement des données OSS à l'aide d'une table externe ?

• Problème

  Lors du traitement des données OSS, l'erreur Inline data exceeds the maximum allowed size est signalée.

• Cause

  OSS Store impose une limite de taille pour chaque petit fichier. Une erreur est signalée si un fichier dépasse 3 Go.

• Solution

  Ajustez les deux propriétés suivantes pour contrôler la taille des données que chaque réducteur écrit dans la table externe, en maintenant les fichiers dans la limite de 3 Go.

  set odps.sql.mapper.split.size=256; # Adjusts the size of data read by each mapper, in MB.
  set odps.stage.reducer.num=100; # Adjusts the number of workers in the reduce stage.

Comment résoudre une erreur de dépassement de mémoire survenant après le chargement d'une UDF pour accéder à une table externe OSS sur MaxCompute, alors que la UDF a réussi les tests locaux ?

• Problème

  Lors de l'accès à une table externe OSS sur MaxCompute, une UDF ayant passé avec succès les tests locaux renvoie l'erreur suivante après son chargement.

  FAILED: ODPS-0123131:User defined function exception - Traceback:
  java.lang.OutOfMemoryError: Java heap space        

  Après avoir défini les paramètres suivants, le temps d'exécution augmente, mais l'erreur persiste.

  set odps.stage.mapper.mem = 2048; 
  set odps.stage.mapper.jvm.mem = 4096;       

• Cause

  La table externe contient un nombre excessif de fichiers objets, ce qui entraîne une consommation mémoire trop importante. De plus, aucune partition n'est configurée.

• Solution

  • Utilisez un volume de données réduit pour la requête.

  • Partitionnez les fichiers objets afin de diminuer l'utilisation de la mémoire.

Comment fusionner plusieurs petits fichiers en un seul fichier à l'aide d'une table externe OSS ?

Consultez le journal Logview pour vérifier si la dernière étape du plan d'exécution SQL est un reducer ou un joiner.

• S'il s'agit d'un reducer, exécutez l'instruction set odps.stage.reducer.num=1;

• S'il s'agit d'un joiner, exécutez l'instruction set odps.stage.joiner.num=1;

Comment résoudre l'erreur « Couldn't connect to server » lors de la lecture d'une table externe OSS ?

• Problème

  Lors de la lecture des données depuis une table externe OSS, l'erreur ODPS-0123131:User defined function exception - common/io/oss/oss_client.cpp(95): OSSRequestException: req_id: , http status code: -998, error code: HttpIoError, message: Couldn't connect to server est signalée.

• Cause

  • Cause 1 : Lors de la création de la table externe OSS, un endpoint public a été utilisé pour le paramètre oss_endpoint dans l'adresse oss_location, au lieu d'un endpoint interne.

  • Cause 2 : Lors de la création de la table externe OSS, l'endpoint d'une autre région a été utilisé pour le paramètre oss_endpoint dans l'adresse oss_location.

• Solution

  • Pour la cause 1

    Vérifiez que le paramètre oss_endpoint dans oss_location correspond à un endpoint interne. S'il s'agit d'un endpoint public, remplacez-le par un endpoint interne. Consultez la section Paramètres.

    Par exemple, si un utilisateur de la région Indonésie (Jakarta) a utilisé l'adresse oss://oss-ap-southeast-5.aliyuncs.com/<bucket>/.... pour créer une table externe, il doit la remplacer par l'adresse interne correspondante oss://oss-ap-southeast-5-internal.aliyuncs.com/<bucket>/.....

  • Pour la cause 2

    Vérifiez que le paramètre oss_endpoint dans oss_location correspond à la région que vous souhaitez atteindre. Les noms de domaine du réseau classique OSS sont répertoriés dans la section Régions et endpoints.

Comment résoudre l'erreur « Network is unreachable (connect failed) » lors de la création d'une table externe OSS ?

• Problème

  Lors de la création d'une table externe OSS, l'erreur ODPS-0130071:[1,1] Semantic analysis exception - external table checking failure, error message: Cannot connect to the endpoint 'oss-cn-beijing.aliyuncs.com': Connect to bucket.oss-cn-beijing.aliyuncs.com:80 [bucket.oss-cn-beijing.aliyuncs.com] failed: Network is unreachable (connect failed) est signalée.

• Cause

  Lors de la création de la table externe OSS, un endpoint public a été utilisé pour le paramètre oss_endpoint dans l'adresse oss_location, au lieu d'un endpoint interne.

• Solution

  Vérifiez que le paramètre oss_endpoint dans oss_location correspond à un endpoint interne. S'il s'agit d'un endpoint public, remplacez-le par un endpoint interne. Consultez la section Paramètres.

  Par exemple, si un utilisateur de la région Chine (Pékin) a utilisé l'adresse oss://oss-cn-beijing.aliyuncs.com/<bucket>/.... pour créer une table externe, il doit la remplacer par l'adresse interne correspondante oss://oss-cn-beijing-internal.aliyuncs.com/<bucket>/.....

Comment résoudre la lenteur d'exécution des jobs SQL sur une table externe OSS ?

• Lecture lente des fichiers compressés GZ dans une table externe OSS

  • Symptômes

    Un utilisateur a créé une table externe OSS dont la source de données est un fichier compressé GZ de 200 Go stocké dans OSS. Le processus de lecture des données est lent.

  • Cause

    La vitesse de traitement SQL est faible car un nombre insuffisant de mappers exécutent les calculs lors de l'étape map.

  • Solution

    • Pour les données structurées, vous pouvez définir le paramètre suivant afin d'ajuster le volume de données lu par un seul mapper et ainsi accélérer l'exécution SQL.

      set odps.sql.mapper.split.size=256; # Adjusts the size of table data read by each mapper, in MB.       

    • Pour les données non structurées, vérifiez s'il n'y a qu'un seul fichier OSS dans le chemin de la table externe OSS. Si c'est le cas, un seul mapper peut être généré, car les données non structurées au format compressé ne peuvent pas être fractionnées. Cela entraîne une lenteur du traitement. Nous vous recommandons de diviser le fichier OSS volumineux en fichiers plus petits dans le chemin correspondant de la table externe sur OSS. Cette opération augmente le nombre de mappers générés lors de la lecture de la table externe et améliore la vitesse de lecture.

• Recherche lente des données de table externe MaxCompute à l'aide d'un SDK

  • Symptômes

    La recherche des données de table externe MaxCompute à l'aide d'un SDK est lente.

  • Solution

    Les tables externes ne prennent en charge que les analyses complètes de table, ce qui est lent. Utilisez plutôt une table interne MaxCompute.

Comment résoudre le problème de suppression des anciennes données sans écriture des nouvelles données lors de l'utilisation de la fonctionnalité de chargement multipartie OSS ?

• Problème

  Dans un scénario insert overwrite , si le job échoue dans des cas extrêmes, le résultat peut ne pas correspondre aux attentes. Les anciennes données sont supprimées, mais les nouvelles données ne sont pas écrites.

• Cause

  L'écriture des nouvelles données dans la table cible échoue en raison d'une défaillance matérielle ou d'un échec de mise à jour des métadonnées, événements très rares. L'opération de suppression dans OSS ne prend pas en charge la restauration, de sorte que les anciennes données supprimées ne peuvent pas être récupérées.

• Solution

  • Si vous écrasez une table externe OSS en vous basant sur ses anciennes données, par exemple avec la commande insert overwrite table T select * from table T;, sauvegardez préalablement les données OSS. En cas d'échec du job, vous pourrez alors écraser la table externe OSS à partir des anciennes données sauvegardées.

  • Si le job insert overwrite peut être resoumis, contentez-vous de le resoumettre en cas d'échec.

Solution à l'erreur « table not found » lors de l'accès à une table externe OSS depuis Spark

• Problème

  Lors de l'utilisation de Spark pour accéder à une table externe OSS, la tâche échoue avec une erreur « table not found ».

• Solution

  • Ajoutez les paramètres suivants :

    • Activez la configuration des tables externes : spark.sql.catalog.odps.enableExternalTable=true ;

    • Configurez la région où se trouve OSS : spark.hadoop.odps.oss.region.default=cn-<region>

  • Si l'erreur persiste après l'ajout des paramètres ci-dessus :

    at java.lang.Thread.run(Thread.java:745)
    Caused by: java.lang.Exception: com.aliyun.odps.cupid.CupidException: connectionId and rolearn are mutually exclusive
        at com.aliyun.odps.cupid.table.v1.commontable.impl.reader.CupidCommonTableReadSession.splitTable

    Recréez la table externe OSS, puis accédez-y à nouveau.