MaxCompute:Storage handler personalizado

Observações de uso

• Tabelas externas do OSS não suportam a propriedade de cluster.

• O tamanho máximo de um único arquivo é 2 GB. Divida arquivos maiores que 2 GB.

Crie uma tabela externa

CREATE EXTERNAL TABLE [IF NOT EXISTS] mc_oss_extable_name
(
  col_name data_type,
  ...
)
[comment table_comment]
[partitioned BY (col_name data_type, ...)] 
stored BY '<YOUR_DEFINED_STORAGEHANDLER>' 
WITH serdeproperties (
  ['property_name'='property_value',...]
) 
location 'oss_location' 
USING 'jar_name';

SET odps.sql.unstructured.data.single.file.split.enabled=true;

Gravar dados

Para obter detalhes sobre a sintaxe de gravação do MaxCompute, consulte Write data to OSS.

Consultar e analisar dados

• Para obter informações sobre a sintaxe SELECT, consulte Read data from OSS.

• Para obter orientações sobre otimização de planos de consulta, consulte Query optimization.

Exemplo: Crie uma tabela externa do OSS

Este exemplo demonstra como mapear uma tabela externa para o diretório SampleData/ descrito em Appendix: Prepare sample data. O diretório está preparado para uso com um storage handler personalizado. Siga o procedimento abaixo:

1. Pré-requisitos

   • Um MaxCompute project is created.

   • Disponibilidade de um bucket e uma pasta no OSS. Para obter mais informações, consulte Create a bucket e Manage folders.

     O MaxCompute permite a criação automática de pastas no OSS. Quando instruções SQL envolvem tabelas externas e funções definidas pelo usuário (UDFs), use um único comando para ler, gravar e executar as UDFs. Também é possível criar as pastas manualmente.

     O MaxCompute está disponível apenas em regiões específicas. Para evitar problemas de conexão entre regiões, mantenha o bucket do OSS na mesma região do projeto MaxCompute.

   • Autorização

     • Você deve ter permissões de acesso ao OSS. Acesse tabelas externas do OSS com uma conta Alibaba Cloud, um usuário do Resource Access Management (RAM) ou uma função RAM. Para obter detalhes sobre autorização, consulte Authorize access in STS mode for OSS.

     • A permissão CreateTable no projeto MaxCompute é obrigatória. Para saber mais sobre permissões de tabela, consulte MaxCompute permissions.

2. Use o MaxCompute Studio para criar as classes Java TextExtractor.java, TextOutputer.java, SplitReader.java e TextStorageHandler.java. Para obter orientações sobre desenvolvimento Java, consulte Develop UDFs.

3. Use o recurso de empacotamento com um clique do MaxCompute Studio para empacotar TextStorageHandler.java e carregá-lo como recurso do MaxCompute.

   Suponha que o recurso receba o nome javatest-1.0-SNAPSHOT.jar. Para obter instruções completas sobre empacotamento, upload e registro de recursos, consulte Package, upload, and register.

   Nota

   Se houver múltiplas dependências, empacote cada uma individualmente e faça o upload como recursos separados no MaxCompute.

4. Execute o comando a seguir para criar a tabela externa do OSS:

   CREATE EXTERNAL TABLE ambulance_data_txt_external
   (
     vehicleId INT,
     recordId INT,
     patientId INT,
     calls INT,
     locationLatitute DOUBLE,
     locationLongtitue DOUBLE,
     recordTime STRING,
     direction STRING
   )
   stored BY 'com.aliyun.odps.udf.example.text.TextStorageHandler' 
     WITH serdeproperties (
       'delimiter'='|',  
       'odps.properties.rolearn'='acs:ram::<uid>:role/aliyunodpsdefaultrole'
     )
   location 'oss://oss-cn-hangzhou-internal.aliyuncs.com/oss-mc-test/SampleData/'
   USING 'javatest-1.0-SNAPSHOT.jar'; 
   
   -- You can run the 'desc extended ambulance_data_txt_external;' command to view the schema of the created external table.

   Nota

   O parâmetro delimiter é uma propriedade personalizada que define o separador de colunas no arquivo do OSS. Especifique qualquer string válida como delimitador.

5. Leia dados do OSS. Exemplo de comando:

   SELECT recordId, patientId, direction FROM ambulance_data_txt_external WHERE patientId > 25;

   Resultado retornado:

   +----------+-----------+-----------+
   | recordid | patientid | direction |
   +----------+-----------+-----------+
   | 1        | 51        | S         |
   | 3        | 48        | NE        |
   | 4        | 30        | W         |
   | 5        | 47        | S         |
   | 7        | 53        | N         |
   | 8        | 63        | SW        |
   | 10       | 31        | N         |
   +----------+-----------+-----------+

6. Grave dados na tabela externa do OSS.

   INSERT INTO ambulance_data_txt_external VALUES (1,16,76,1,'46.81006','-92.08174','9/14/2014 0:10','SW');
   
   -- Query the table again to check whether the data is written. You can also check whether a new file is generated in the OSS directory.
   SELECT * FROM ambulance_data_txt_external WHERE recordId='16';

Perguntas frequentes