MaxCompute:Tables externes Tablestore

Contexte

Tablestore est un service de stockage de données NoSQL basé sur le système distribué Apsara d'Alibaba Cloud. Ce service permet le stockage et l'accès en temps réel à de grands volumes de données structurées. Pour plus d'informations, consultez Documentation Tablestore.

L'utilisation conjointe de DataWorks et de MaxCompute permet de créer, rechercher, interroger, configurer, traiter et analyser visuellement des tables externes. Pour plus d'informations, consultez Tables externes.

Remarques d'utilisation

• La connectivité réseau entre MaxCompute et Tablestore doit être garantie. Lors de l'accès aux données Tablestore depuis MaxCompute sur le cloud public, il est recommandé d'utiliser l'endpoint privé de Tablestore. Cet endpoint privé se termine par ots-internal.aliyuncs.com, par exemple tablestore://odps-ots-dev.cn-shanghai.ots-internal.aliyuncs.com.

• Les systèmes de types de données diffèrent entre Tablestore et MaxCompute. Le tableau suivant présente les correspondances entre les types pris en charge par ces deux services.

  Type MaxCompute	Type Tablestore
  STRING	STRING
  BIGINT	INTEGER
  DOUBLE	DOUBLE
  BOOLEAN	BOOLEAN
  BINARY	BINARY

• L'attribut de clustering n'est pas pris en charge pour les tables externes Tablestore.

Prérequis

• Vous disposez des permissions nécessaires pour accéder à Tablestore. Pour plus de détails sur l'autorisation, consultez Autorisation STS pour Tablestore.

• Une instance, une table et des données Tablestore ont été créées. Pour plus d'informations, consultez Démarrage rapide pour le modèle de table large.

Création d'une table externe

MaxCompute offre la fonctionnalité de tables externes. Elles permettent d'importer des données depuis Tablestore vers le système de métadonnées de MaxCompute pour traitement. La section suivante détaille la procédure de création d'une table externe Tablestore.

DROP TABLE IF EXISTS ots_table_external;
CREATE EXTERNAL TABLE IF NOT EXISTS ots_table_external
(
  odps_orderkey bigint,
  odps_orderdate string,
  odps_custkey bigint,
  odps_orderstatus string,
  odps_totalprice double,
  odps_createdate timestamp
)
STORED BY 'com.aliyun.odps.TableStoreStorageHandler'
WITH SERDEPROPERTIES (
  'tablestore.columns.mapping'=':o_orderkey,:o_orderdate,o_custkey,o_orderstatus,o_totalprice',
  'tablestore.table.name'='ots_tpch_orders',
  'odps.properties.rolearn'='acs:ram::xxxxx:role/aliyunodpsdefaultrole',
  'tablestore.read.mode'='permissive',
  'tablestore.corrupt.column'='ColumnName',
  'tablestore.timestamp.ticks.unit'='seconds',
  'tablestore.column.odps_createdate.timestamp.ticks.unit'='millis',
  'tablestore.table.put.row'='true'
)
LOCATION 'tablestore://odps-ots-dev.cn-shanghai.ots-internal.aliyuncs.com';

SET odps.sql.unstructured.tablestore.put.row=true;

DESC extended <table_name>;

Interrogation des données de la table externe

SELECT odps_orderkey, odps_orderdate, SUM(odps_totalprice) AS sum_total
FROM ots_table_external
WHERE odps_orderkey > 5000 AND odps_orderkey < 7000 AND odps_orderdate >= '1996-05-03' AND odps_orderdate < '1997-05-01'
GROUP BY odps_orderkey, odps_orderdate
HAVING sum_total> 400000.0;

L'accès aux données Tablestore via des instructions SQL MaxCompute implique que toutes les opérations, y compris la sélection des noms de colonnes, s'exécutent dans MaxCompute. Dans l'exemple précédent, les colonnes utilisées sont odps_orderkey et odps_totalprice plutôt que la colonne de clé primaire o_orderkey et la colonne d'attribut o_totalprice de la table Tablestore. Cela s'explique par les mappages définis dans l'instruction DDL de création de la table externe. Vous pouvez également conserver les noms originaux des colonnes de clé primaire et d'attributs de la table Tablestore selon vos besoins.

CREATE TABLE internal_orders AS
SELECT odps_orderkey, odps_orderdate, odps_custkey, odps_totalprice
FROM ots_table_external
WHERE odps_orderkey > 5000 ;

La table internal_orders est une table MaxCompute qui bénéficie de toutes les fonctionnalités d'une table interne. Elle utilise un stockage en colonnes compressé efficacement et contient des macro-données internes complètes ainsi que des informations statistiques. Étant stockée directement dans MaxCompute, l'accès à la table internal_orders est plus rapide qu'à une table Tablestore. Cette approche convient particulièrement aux données nécessitant des calculs répétés.

Exportation de données de MaxCompute vers Tablestore

INSERT OVERWRITE TABLE ots_table_external
SELECT odps_orderkey, odps_orderdate, odps_custkey, CONCAT(odps_custkey, 'SHIPPED'), CEIL(odps_totalprice)
FROM internal_orders;

INSERT OVERWRITE TABLE ots_table_external
SELECT odps_orderkey, odps_orderdate, odps_custkey, CONCAT(odps_custkey, 'SHIPPED'), CEIL(odps_totalprice)
FROM (SELECT * FROM internal_orders DISTRIBUTE BY rand()) t;

Tablestore étant un service de stockage NoSQL organisé en paires clé-valeur, les sorties de données depuis MaxCompute n'affectent que les lignes correspondant aux clés primaires de la table Tablestore. Dans cet exemple, seules les lignes contenant odps_orderkey et odps_orderdate sont impactées. Seules les colonnes d'attributs spécifiées lors de la création de la table ots_table_external sont mises à jour ; les colonnes absentes de la table externe restent inchangées.

Exemples de traitement des données corrompues

1. Créez une table Tablestore nommée mf_ots_test et préparez les données. Pour plus d'informations, consultez Démarrage rapide pour le modèle de table large.

   Le code suivant illustre les données par défaut de la table Tablestore.

   +----+-----------+---------------------------+
   | id | name      | desc                      |
   +----+-----------+---------------------------+
   | 1  | Zhang San | Zhang San's description   |
   +----+-----------+---------------------------+

2. Créez une table externe MaxCompute.

   CREATE EXTERNAL TABLE IF NOT EXISTS mf_ots_external_permi
   (
    id string,
   	name bigint,
   	desc string,
   	corrupt_col string
   )
   STORED BY 'com.aliyun.odps.TableStoreStorageHandler'
   WITH SERDEPROPERTIES (
     'tablestore.columns.mapping'=':id,name,desc',
     'tablestore.table.name'='mf_ots_test',
     'tablestore.read.mode'='permissive',
     'tablestore.corrupt.column'='corrupt_col',
     'odps.properties.rolearn'='acs:ram::139699392458****:role/aliyunodpsdefaultrole'
   )
   LOCATION 'tablestore://santie-doc.cn-shanghai.ots-internal.aliyuncs.com';

3. Exécutez le code suivant pour interroger les données de la table externe MaxCompute :

   -- Query data
   SELECT * FROM mf_ots_external_permi;

   Le résultat suivant est retourné. Le champ d'erreur est inscrit dans la colonne corrupt_col au format JSON.

   +------------+------------+--------------------------+------------------------+
   | id         | name       | desc                     | corrupt_col            |
   +------------+------------+--------------------------+------------------------+
   | 1          | NULL       | Description of Zhang San | {"name": "\"Zhang San\""} |
   +------------+------------+--------------------------+------------------------+

   Remarque

   Si tablestore.read.mode n'est pas configuré ou est défini sur permissive sans que tablestore.corrupt.column ne précise la colonne de destination des données corrompues, l'interrogation de la table externe renvoie le message d'erreur "Columns not match with columns mapping and corrupt column".

FAQ