MaxCompute:Custom storage handler

SET odps.sql.unstructured.data.single.file.split.enabled=true;

Sintaxe

CREATE EXTERNAL TABLE [IF NOT EXISTS] <table_name>
(
  col_name data_type,
  ...
)
[COMMENT table_comment]
[PARTITIONED BY (col_name data_type, ...)]
STORED BY '<storage_handler_class>'
WITH SERDEPROPERTIES (
  ['property_name'='property_value', ...]
)
LOCATION 'oss://<endpoint>/<bucket>/<path>/'
USING '<jar_name>';

Para parâmetros comuns, como definições de colunas e sintaxe de partição, consulte Parâmetros básicos de sintaxe.

Parâmetros

Pré-requisitos

Antes de começar, certifique-se de ter:

• Um projeto do MaxCompute

• Um bucket e uma pasta do OSS na mesma região do seu projeto do MaxCompute. Consulte Crie um bucket e Gerencie pastas. O MaxCompute cria pastas do OSS automaticamente durante a execução de instruções SQL; portanto, a criação manual é opcional.

• Permissão de acesso ao OSS concedida via conta Alibaba Cloud, usuário do Resource Access Management (RAM) ou função do RAM. Consulte Autorizar acesso no modo STS para o OSS

• A permissão CreateTable no projeto do MaxCompute. Consulte Permissões do MaxCompute

Procedimento

1. Use o MaxCompute Studio para criar as quatro classes Java a seguir. Os links apontam para implementações de referência no SDK Java do Alibaba Cloud:

   • TextExtractor.java

   • TextOutputer.java

   • SplitReader.java

   • TextStorageHandler.java

   Para orientações sobre desenvolvimento de UDFs em Java, consulte Desenvolver uma UDF.

2. Use o recurso de empacotamento com um clique do MaxCompute Studio para empacotar TextStorageHandler.java e carregue-o como um recurso do MaxCompute. Este exemplo considera que o recurso se chama javatest-1.0-SNAPSHOT.jar. Para etapas de empacotamento e upload, consulte Empacotar, fazer upload e registrar.

   Se o seu storage handler possuir múltiplas dependências, empacote cada uma separadamente e carregue-as como recursos individuais do MaxCompute.

3. Crie a tabela externa:

   CREATE EXTERNAL TABLE ambulance_data_txt_external
   (
     vehicleId INT,
     recordId INT,
     patientId INT,
     calls INT,
     locationLatitute DOUBLE,
     locationLongtitue DOUBLE,
     recordTime STRING,
     direction STRING
   )
   STORED BY 'com.aliyun.odps.udf.example.text.TextStorageHandler'
   WITH SERDEPROPERTIES (
     'delimiter'='|',
     'odps.properties.rolearn'='acs:ram::<uid>:role/aliyunodpsdefaultrole'
   )
   LOCATION 'oss://oss-cn-hangzhou-internal.aliyuncs.com/oss-mc-test/SampleData/'
   USING 'javatest-1.0-SNAPSHOT.jar';

   A propriedade delimiter define o separador de colunas usado em cada linha dos objetos do OSS. Qualquer string válida é aceita.

   Para verifique a estrutura da tabela após a criação, execute:

   DESC EXTENDED ambulance_data_txt_external;

4. Leia dados da tabela:

   SELECT recordId, patientId, direction FROM ambulance_data_txt_external WHERE patientId > 25;

   Saída esperada:

   +----------+-----------+-----------+
   | recordid | patientid | direction |
   +----------+-----------+-----------+
   | 1        | 51        | S         |
   | 3        | 48        | NE        |
   | 4        | 30        | W         |
   | 5        | 47        | S         |
   | 7        | 53        | N         |
   | 8        | 63        | SW        |
   | 10       | 31        | N         |
   +----------+-----------+-----------+

5. Escreva dados na tabela:

   INSERT INTO ambulance_data_txt_external VALUES (1,16,76,1,'46.81006','-92.08174','9/14/2014 0:10','SW');

   Para confirme a escrita, consulte a linha inserida ou verifique se há um novo arquivo no diretório do OSS:

   SELECT * FROM ambulance_data_txt_external WHERE recordId='16';