MaxCompute:Início rápido

Pré-requisitos

Antes de começar, certifique-se de atender aos seguintes requisitos:

• O cliente do MaxCompute está instalado e configurado. Para mais informações, consulte instale e configure o cliente do MaxCompute.

• O MaxCompute Studio está instalado e conectado a um projeto do MaxCompute. Para mais informações, consulte instale o MaxCompute Studio e gerencie as conexões do projeto.

• Você tem um arquivo source de dados salvo em sua máquina local.

  Este tópico usa um arquivo de exemplo chamado data.txt que contém hello,odps. O arquivo está salvo no diretório bin do cliente do MaxCompute.

Notas de uso

<dependency>
    <groupId>com.aliyun.odps</groupId>
    <artifactId>odps-sdk-mapred</artifactId>
    <version>0.36.4-public</version>
</dependency>
<dependency>
    <groupId>com.aliyun.odps</groupId>
    <artifactId>odps-sdk-commons</artifactId>
    <version>0.36.4-public</version>
</dependency>
<dependency>
    <groupId>com.aliyun.odps</groupId>
    <artifactId>odps-sdk-core</artifactId>
    <version>0.36.4-public</version>
</dependency>

Procedimento

1. Step 1: Develop a MapReduce program

   Escreva, execute e depure um programa MapReduce no MaxCompute Studio.

2. Step 2: Generate and upload a MapReduce JAR file

   Empacote o script WordCount.java compilado em um arquivo JAR e faça o upload para o projeto do MaxCompute.

3. Etapa 3: execute o job do MapReduce

   Execute o job MapReduce usando o comando jar com o arquivo JAR enviado para o projeto do MaxCompute.

Etapa 1: Desenvolver um programa MapReduce

1. Primeiro, crie um módulo Java do MaxCompute.

   1. Inicie o IntelliJ IDEA. Na barra de menus, selecione File > New > Module....

   2. No painel de navegação à esquerda da caixa de diálogo New Module, selecione MaxCompute Java.

   3. Configure o Module SDK e clique em Next.

   4. Agora, insira um Module name, como mapreduce, e clique em Finish.

2. Escreva, execute e depure o programa MapReduce WordCount.

   1. No painel Project, clique com o botão direito no diretório de código source do módulo src > main > java e selecione New > MaxCompute Java.

   2. Na caixa de diálogo crie nova classe Java do MaxCompute, clique em Driver, insira um Name como WordCount e pressione Enter.

   3. No arquivo WordCount.java recém-criado, escreva o programa MapReduce WordCount.

      Para ver o código de exemplo completo do WordCount, consulte Code example.

   4. No painel de navegação à esquerda, clique com o botão direito no script WordCount.java e selecione execute.

   5. Na caixa de diálogo Run/Debug Configurations, configure o MaxCompute project.

      Para a configuração do MaxCompute project, selecione um Endpoint como http://service.cn-hangzhou.maxcompute.aliyun.com/api e, em seguida, escolha seu projeto de destino, como doc_test_dev.

   6. Clique em OK. Em seguida, execute e depure o script WordCount.java e verifique se ele compila com sucesso.

Etapa 2: Gerar e enviar um arquivo JAR do MapReduce

1. No painel de navegação à esquerda do IntelliJ IDEA, clique com o botão direito no script WordCount.java e selecione Deploy to server....

2. Na caixa de diálogo Empacote um jar e envie o recurso, configure os parâmetros e clique em OK.

   Selecione o MaxCompute project de destino. O campo Resource file exibe o caminho do arquivo JAR empacotado. Insira um Resource name, como mapreduce-1.0-SNAPSHOT.jar. Opcionalmente, adicione um comentário no campo Resource comment. Selecione atualize se já existir para sobrescrever qualquer recurso existente com o mesmo nome.

   Para mais informações sobre os parâmetros, consulte Procedure.

   Nota

   Se você usar o Maven para desenvolver o programa MapReduce, após empacotá-lo em um arquivo JAR, será necessário enviá-lo manualmente para o projeto do MaxCompute usando o cliente do MaxCompute. Para mais informações, consulte Add a resource. Exemplo:

   add jar mapreduce-1.0-SNAPSHOT.jar;

Etapa 3: Executar o job do MapReduce

1. Log on to the MaxCompute client ou abra o cliente do MaxCompute no MaxCompute Studio.

   O cliente do MaxCompute está integrado ao MaxCompute Studio, permitindo que você o execute diretamente da IDE. Para mais informações, consulte Integrate the MaxCompute client.

2. Crie uma tabela de entrada e uma tabela de saída.

   O job do MapReduce lê dados da tabela de entrada e grava os resultados na tabela de saída. Exemplo:

   -- Create the input table wc_in.
   create table wc_in (key STRING, value STRING);
   -- Create the output table wc_out.
   create table wc_out (key STRING, cnt BIGINT);

   Para mais informações sobre a sintaxe de criação de tabelas, consulte crie uma tabela.

3. Use o comando Tunnel Upload para inserir dados na tabela wc_in.

   Exemplo:

   tunnel upload data.txt wc_in;

   Para mais informações sobre o Tunnel, consulte Tunnel.

4. Use o comando jar para executar o job do MapReduce com o arquivo JAR gerado.

   Exemplo:

   jar -resources mapreduce-1.0-SNAPSHOT.jar -classpath mapreduce-1.0-SNAPSHOT.jar com.aliyun.odps.mapred.open.example.WordCount wc_in wc_out;

   • -resources mapreduce-1.0-SNAPSHOT.jar: Especifica o recurso usado pelo job do MapReduce. Neste exemplo, o recurso é o arquivo mapreduce-1.0-SNAPSHOT.jar enviado em Step 2.

   • -classpath mapreduce-1.0-SNAPSHOT.jar : Especifica o caminho local para o arquivo JAR que contém a MainClass.

   • com.aliyun.odps.mapred.open.example.WordCount: A MainClass do programa MapReduce.

   • wc_in wc_out: A tabela de entrada e a tabela de saída.

   Para mais informações sobre o comando jar, consulte Syntax.

5. Execute o seguinte comando e visualize os dados na tabela wc_out.

   select * from wc_out;

   Saída esperada:

   +------------+------------+
   | key        | cnt        |
   +------------+------------+
   | hello      | 1          |
   | odps       | 1          |
   +------------+------------+