MaxCompute:Parquet external tables

Périmètre

• Les tables externes OSS ne prennent pas en charge la propriété cluster.

• La taille d'un fichier unique ne peut pas dépasser 2 Go. Vous devez fractionner les fichiers dont la taille est supérieure à 2 Go.

• MaxCompute et OSS doivent se trouver dans la même région.

• Types de données pris en charge.

• Formats de compression pris en charge.

• Prise en charge de l'évolution du schéma.

Description des autorisations

• Lorsque vous accédez aux tables externes OSS, les données sont consultées via le rôle spécifié dans le paramètre odps.properties.rolearn, que vous utilisiez un compte Alibaba Cloud, un utilisateur RAM ou un rôle RAM. Par conséquent, vous devez créer un rôle RAM, lui accorder les autorisations nécessaires pour accéder au bucket OSS cible, puis configurer l'ARN de ce rôle dans le paramètre odps.properties.rolearn. Pour plus d'informations, consultez la section Paramètres.

• Vous pouvez autoriser l'accès au sein d'un même compte ou entre différents comptes selon vos besoins métier. Nous vous recommandons d'utiliser une politique d'autorisation personnalisée pour un contrôle d'accès plus granulaire. Pour plus d'informations, consultez la section Autorisation pour les sources de données externes.

Créer une table externe

CREATE EXTERNAL TABLE [IF NOT EXISTS] <mc_oss_extable_name>
(
  <col_name> <data_type>,
  ...
)
[COMMENT <table_comment>]
[PARTITIONED BY (<col_name> <data_type>, ...)]
STORED AS parquet 
LOCATION '<oss_location>' 
[tblproperties ('<tbproperty_name>'='<tbproperty_value>',...)];

CREATE EXTERNAL TABLE [IF NOT EXISTS] <mc_oss_extable_name>
(
  <col_name> <data_type>,
  ...
)
[COMMENT <table_comment>]
[PARTITIONED BY (<col_name> <data_type>, ...)]
ROW FORMAT SERDE 'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe'
WITH serdeproperties(
    'odps.properties.rolearn'='acs:ram::<uid>:role/<role_name>',
    'mcfed.parquet.compression'='ZSTD/SNAPPY/GZIP'
)
STORED AS parquet 
LOCATION '<oss_location>' 
;

Écrire des données

Pour plus de détails sur la syntaxe d'écriture dans MaxCompute, consultez la section Syntaxe d'écriture.

Requête et analyse

• Consultez la section Syntaxe des requêtes pour plus de détails sur la syntaxe SELECT.

• Reportez-vous à la section Optimisation des requêtes pour obtenir des informations sur l'optimisation des plans de requête.

• Pour en savoir plus sur la lecture directe des fichiers LOCATION, consultez la rubrique Requête sans schéma.

• Optimisation des requêtes : les tables externes Parquet prennent en charge l'optimisation des requêtes via l'activation du Predicate Push Down (PPD). Pour connaître les résultats en termes de performances, reportez-vous à la section Prise en charge du Predicate Push Down (Parquet PPD).

  Ajoutez les paramètres suivants avant votre instruction SQL pour activer le PPD :

  -- PPD parameters must be used in Native mode, which means the Native switch must be set to true.
  -- Enable the Parquet native reader.
  SET odps.ext.parquet.native = true; 
  -- Enable Parquet PPD.
  SET odps.sql.parquet.use.predicate.pushdown = true; 

Prise en charge du Predicate Push Down (Parquet PPD)

Par défaut, les tables externes Parquet ne prennent pas en charge le Predicate Push Down (PPD). Lorsque vous exécutez une requête avec une condition de filtre WHERE, MaxCompute analyse l'intégralité des données. Cela entraîne des opérations d'E/S inutiles, une consommation de ressources accrue et une latence de requête plus élevée. Pour résoudre ce problème, vous pouvez activer le PPD à l'aide d'un paramètre. Cette fonctionnalité utilise les métadonnées des fichiers Parquet pour filtrer les données au niveau du groupe de lignes lors de la phase d'analyse, ce qui améliore les performances des requêtes et réduit la consommation de ressources ainsi que les coûts.

Comparaison des performances Parquet et ZSTD

La section suivante compare les performances de différents formats de compression pour les tables externes Parquet.

Remarque : les résultats des tests sont fournis à titre indicatif uniquement. Les performances peuvent varier en fonction du scénario métier. Nous vous recommandons d'effectuer des tests et une évaluation supplémentaires pour votre cas d'utilisation spécifique.

Exemple de scénario

Cet exemple illustre la création d'une table externe Parquet partitionnée avec compression ZSTD, ainsi que les opérations de lecture et d'écriture sur cette table.

1. Prérequis

   1. Vous avez créé un projet MaxCompute.

   2. Vous avez préparé un bucket et un répertoire OSS. Pour plus d'informations, consultez les rubriques Créer un bucket et Gérer les répertoires.

      Assurez-vous que votre bucket se trouve dans la même région que votre projet MaxCompute.

   3. Accordez les autorisations nécessaires.

      1. Vous disposez des autorisations d'accès à OSS. Vous pouvez accéder à une table externe OSS via un compte Alibaba Cloud, un utilisateur RAM ou un rôle RAM. Pour savoir comment accorder ces autorisations, consultez la rubrique Autorisation STS pour OSS.

      2. Vous possédez l'autorisation CreateTable dans le projet MaxCompute. Pour en savoir plus sur les autorisations liées aux tables, consultez la rubrique Autorisations MaxCompute.

2. Préparez un fichier de données au format ZSTD.

   Dans le bucket oss-mc-test contenant les données d'exemple, créez le dossier parquet_zstd_jni/dt=20230418 et stockez le fichier de données dans le dossier de partition dt=20230418.

3. Créez une table externe Parquet utilisant le format de compression ZSTD.

   CREATE EXTERNAL TABLE IF NOT EXISTS mc_oss_parquet_data_type_zstd (
       vehicleId INT,
       recordId INT,
       patientId INT,
       calls INT,
       locationLatitute DOUBLE,
       locationLongtitue DOUBLE,
       recordTime STRING,
       direction STRING
   )
   PARTITIONED BY (dt STRING )
   ROW FORMAT SERDE 'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe'
   WITH serdeproperties(
     'odps.properties.rolearn'='acs:ram::<uid>:role/<role_name>',
     'mcfed.parquet.compression'='zstd'
   )
   STORED AS parquet
   LOCATION 'oss://oss-cn-hangzhou-internal.aliyuncs.com/oss-mc-test/parquet_zstd_jni/';

4. Importez les données de partition. Si la table externe OSS est partitionnée, vous devez également importer les données de partition. Pour plus de détails, consultez la rubrique Tables externes OSS.

   -- Import partition data.
   MSCK REPAIR TABLE mc_oss_parquet_data_type_zstd ADD PARTITIONS;

5. Lisez les données depuis la table externe Parquet.

   SELECT * FROM mc_oss_parquet_data_type_zstd WHERE dt='20230418' LIMIT 10;

   Le résultat suivant s'affiche :

   +------------+------------+------------+------------+------------------+-------------------+----------------+------------+------------+
   | vehicleid  | recordid   | patientid  | calls      | locationlatitute | locationlongtitue | recordtime     | direction  | dt         |
   +------------+------------+------------+------------+------------------+-------------------+----------------+------------+------------+
   | 1          | 12         | 76         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:10 | SW         | 20230418   |
   | 1          | 1          | 51         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:00 | S          | 20230418   |
   | 1          | 2          | 13         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:01 | NE         | 20230418   |
   | 1          | 3          | 48         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:02 | NE         | 20230418   |
   | 1          | 4          | 30         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:03 | W          | 20230418   |
   | 1          | 5          | 47         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:04 | S          | 20230418   |
   | 1          | 6          | 9          | 1          | 46.81006         | -92.08174         | 9/14/2014 0:05 | S          | 20230418   |
   | 1          | 7          | 53         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:06 | N          | 20230418   |
   | 1          | 8          | 63         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:07 | SW         | 20230418   |
   | 1          | 9          | 4          | 1          | 46.81006         | -92.08174         | 9/14/2014 0:08 | NE         | 20230418   |
   | 1          | 10         | 31         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:09 | N          | 20230418   |
   +------------+------------+------------+------------+------------------+-------------------+----------------+------------+------------+

6. Écrivez des données dans la table externe Parquet.

   INSERT INTO mc_oss_parquet_data_type_zstd PARTITION ( dt = '20230418') 
     VALUES  (1,16,76,1,46.81006,-92.08174,'9/14/2014 0:10','SW');
   -- Query the newly written data
   SELECT * FROM mc_oss_parquet_data_type_zstd WHERE dt = '20230418' AND recordid=16;

   Le résultat est le suivant :

   +------------+------------+------------+------------+------------------+-------------------+----------------+------------+------------+
   | vehicleid  | recordid   | patientid  | calls      | locationlatitute | locationlongtitue | recordtime     | direction  | dt         |
   +------------+------------+------------+------------+------------------+-------------------+----------------+------------+------------+
   | 1          | 16         | 76         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:10 | SW         | 20230418   |
   +------------+------------+------------+------------+------------------+-------------------+----------------+------------+------------+

Types de données pris en charge

Pour plus d'informations sur les types de données MaxCompute, consultez les rubriques Types de données (version 1.0) et Types de données (version 2.0).

• Mode Java Native Interface (JNI) : set odps.ext.parquet.native=false. Ce mode utilise l'implémentation Java open source d'origine pour analyser les fichiers de données Parquet lors de la lecture depuis une table externe. Il prend en charge les opérations de lecture et d'écriture.

• Mode natif : set odps.ext.parquet.native=true. Ce mode s'appuie sur une nouvelle implémentation native en C++ pour analyser les fichiers de données Parquet lors de la lecture depuis une table externe. Il ne prend en charge que les opérations de lecture.

  Mode	Mode Java (lecture/écriture)	Mode natif (lecture seule)
  TINYINT	Pris en charge	Pris en charge
  SMALLINT	Pris en charge	Pris en charge
  INT	Pris en charge	Pris en charge
  BIGINT	Pris en charge	Pris en charge
  BINARY	Pris en charge	Pris en charge
  FLOAT	Pris en charge	Pris en charge
  DOUBLE	Pris en charge	Pris en charge
  DECIMAL(precision,scale)	Non pris en charge	Pris en charge
  VARCHAR(n)	Pris en charge	Pris en charge
  CHAR(n)	Pris en charge	Pris en charge
  STRING	Pris en charge	Pris en charge
  DATE	Pris en charge	Pris en charge
  DATETIME	Pris en charge	Pris en charge
  TIMESTAMP	Pris en charge	Pris en charge
  TIMESTAMP_NTZ	Non pris en charge	Non pris en charge
  BOOLEAN	Pris en charge	Pris en charge
  ARRAY	Pris en charge	Pris en charge
  MAP	Pris en charge	Pris en charge
  STRUCT	Pris en charge	Pris en charge
  JSON	Non pris en charge	Non pris en charge

Formats de compression pris en charge

Pour lire ou écrire des fichiers OSS compressés, ajoutez la configuration de propriété with serdeproperties à l'instruction de création de table. Pour plus d'informations, consultez la section Paramètres de propriété with serdeproperties.

Prise en charge de l'évolution du schéma

Les tables externes Parquet mappent les valeurs de colonne entre le schéma et les colonnes du fichier par nom.

La colonne Problèmes de compatibilité des données du tableau ci-dessous indique si les données peuvent être lues correctement après une opération d'évolution du schéma. Cela s'applique aussi bien aux nouvelles données conformes au schéma modifié qu'aux données historiques utilisant l'ancien schéma.

FAQ