MaxCompute:Custom storage handler

SET odps.sql.unstructured.data.single.file.split.enabled=true;

Syntaxe

CREATE EXTERNAL TABLE [IF NOT EXISTS] <table_name>
(
  col_name data_type,
  ...
)
[COMMENT table_comment]
[PARTITIONED BY (col_name data_type, ...)]
STORED BY '<storage_handler_class>'
WITH SERDEPROPERTIES (
  ['property_name'='property_value', ...]
)
LOCATION 'oss://<endpoint>/<bucket>/<path>/'
USING '<jar_name>';

Pour les paramètres courants tels que les définitions de colonnes et la syntaxe de partitionnement, consultez les Paramètres de syntaxe de base.

Paramètres

Prérequis

Avant de commencer, assurez-vous que vous disposez des éléments suivants :

• Un projet MaxCompute

• Un bucket OSS et un dossier dans la même région que votre projet MaxCompute. Consultez Créer un bucket et Gérer les dossiers. MaxCompute peut créer automatiquement des dossiers OSS lors de l'exécution d'une instruction SQL ; la création manuelle est facultative.

• Des autorisations d'accès à OSS accordées via un compte Alibaba Cloud, un utilisateur Resource Access Management (RAM) ou un rôle RAM. Consultez Autoriser l'accès en mode STS pour OSS

• L'autorisation CreateTable dans le projet MaxCompute. Consultez Autorisations MaxCompute

Procédure

1. Utilisez MaxCompute Studio pour créer les quatre classes Java suivantes. Les liens pointent vers des implémentations de référence dans le SDK Java d'Alibaba Cloud :

   • TextExtractor.java

   • TextOutputer.java

   • SplitReader.java

   • TextStorageHandler.java

   Pour obtenir des conseils sur le développement d'UDF Java, consultez Développer une UDF.

2. Utilisez la fonctionnalité d'emballage en un clic de MaxCompute Studio pour empaqueter TextStorageHandler.java et le télécharger en tant que ressource MaxCompute. Cet exemple suppose que la ressource est nommée javatest-1.0-SNAPSHOT.jar. Pour les étapes d'emballage et de téléchargement, consultez Empaqueter, télécharger et enregistrer.

   Si votre gestionnaire de stockage possède plusieurs dépendances, emballez chacune d'elles séparément et téléchargez-les en tant que ressources MaxCompute individuelles.

3. Créez la table externe :

   CREATE EXTERNAL TABLE ambulance_data_txt_external
   (
     vehicleId INT,
     recordId INT,
     patientId INT,
     calls INT,
     locationLatitute DOUBLE,
     locationLongtitue DOUBLE,
     recordTime STRING,
     direction STRING
   )
   STORED BY 'com.aliyun.odps.udf.example.text.TextStorageHandler'
   WITH SERDEPROPERTIES (
     'delimiter'='|',
     'odps.properties.rolearn'='acs:ram::<uid>:role/aliyunodpsdefaultrole'
   )
   LOCATION 'oss://oss-cn-hangzhou-internal.aliyuncs.com/oss-mc-test/SampleData/'
   USING 'javatest-1.0-SNAPSHOT.jar';

   La propriété delimiter définit le séparateur de colonnes utilisé dans chaque ligne des objets OSS. Toute chaîne valide est acceptée.

   Pour vérifier la structure de la table après sa création, exécutez :

   DESC EXTENDED ambulance_data_txt_external;

4. Lisez les données de la table :

   SELECT recordId, patientId, direction FROM ambulance_data_txt_external WHERE patientId > 25;

   Résultat attendu :

   +----------+-----------+-----------+
   | recordid | patientid | direction |
   +----------+-----------+-----------+
   | 1        | 51        | S         |
   | 3        | 48        | NE        |
   | 4        | 30        | W         |
   | 5        | 47        | S         |
   | 7        | 53        | N         |
   | 8        | 63        | SW        |
   | 10       | 31        | N         |
   +----------+-----------+-----------+

5. Écrivez des données dans la table :

   INSERT INTO ambulance_data_txt_external VALUES (1,16,76,1,'46.81006','-92.08174','9/14/2014 0:10','SW');

   Pour vérifier l'écriture, interrogez la ligne que vous avez insérée ou vérifiez la présence d'un nouveau fichier dans le répertoire OSS :

   SELECT * FROM ambulance_data_txt_external WHERE recordId='16';