Visão geral - MaxCompute: Central de Documentação do Alibaba Cloud

Procedimento

Crie um módulo Java do MaxCompute.
Desenvolva o programa Java seguindo um dos caminhos abaixo:
Empacote o programa Java, faça upload do pacote JAR e registre uma função.

Diretório do módulo

O MaxCompute Studio cria automaticamente um diretório de módulo ao criar um módulo Java do MaxCompute. Esse diretório contém três subdiretórios:

examples: códigos de exemplo para testes unitários. Use este código como referência ao escrever scripts de teste.
src/main/java: source para desenvolvimento do programa Java.
warehouse: schemas e dados das tabelas e recursos do projeto MaxCompute.


MyfirstProject C:\Users\Administrator\IdeaProjects\M
  .idea
  MyFristModule
    examples
    src
      main
        java
        resources
      test
    target
    MyFristModule.iml
    pom.xml
  scripts
  target
  warehouse
    example_project
      __resources__
      __tables__
        ads_log
        kmeans_in
        kmeans_out
        pagerank_in
        pagerank_out
        rs_out
        sssp_in
        sssp_out
        wc_in1
        wc_in2
        wc_out
  MyfirstProject.iml
  External Libraries
  Scratches and Consoles

Diretório warehouse

O diretório warehouse armazena schemas e dados de tabelas e recursos dos projetos MaxCompute. O sistema usa essas tabelas e recursos durante a execução de funções definidas pelo usuário (UDFs) ou tarefas MapReduce.

Estrutura de diretórios

O diretório warehouse possui três níveis:

Nível 1: nomeado conforme o nome do projeto.
Nível 2: contém dois subdiretórios — _resources_ e _tables_.
Nível 3 (em _tables_): identificado pelo nome da tabela. Cada diretório de tabela contém um arquivo _schema_ e um ou mais arquivos de dados.

Arquivo de schema

No arquivo de schema, configure o nome do projeto, o nome da tabela, o nome e o tipo de dados de cada coluna. Separe o nome e o tipo de dados de cada coluna com dois pontos (:).

Em tabelas particionadas, especifique as colunas de chave de partição. No exemplo, wc_in1 é uma tabela não particionada e wc_in2 é uma tabela particionada.

Arquivo de dados

Os arquivos de dados usam formato CSV com codificação UTF-8. O delimitador de colunas é a vírgula (,) e o delimitador de linhas é \n ou \r\n.

Há suporte apenas para três caracteres especiais: vírgulas (,), aspas duplas (") e quebras de linha (\n ou \r\n). Aplique as seguintes regras de escape:

Valor contém	Escrever como	Exemplo
Vírgula (`,`)	Coloque o valor entre aspas duplas	`3,No` → `"3,No"`
Aspa dupla (`"`)	Faça o escape de cada `"` com um par de aspas duplas	`a"b"c` → `"a""b""c"`
Valor NULL	`\N`	—
Valor NULL em uma coluna STRING	`"""\N"""`	—