Este tópico descreve como utilizar o MaxCompute Studio para desenvolver um programa MapReduce. O processo de desenvolvimento inclui escrever, depurar, empacotar, carregar e executar um programa MapReduce.
Pré-requisitos
Certifique-se de que os seguintes pré-requisitos foram atendidos:
-
Um projeto do MaxCompute está conectado.
Para obter mais informações sobre como se conectar a um projeto do MaxCompute, consulte Gerenciar conexões de projeto.
-
Um módulo Java foi criado.
Para obter mais informações sobre como criar um módulo Java, consulte Criar um módulo Java do MaxCompute.
Escrever um programa MapReduce
No painel Project, clique com o botão direito no diretório de source code do módulo (ou seja, ) e selecione .
-
Configure o campo Name, selecione a classe Driver e pressione Enter.
Name: nome da classe Java do MaxCompute. Caso ainda não tenha criado um pacote, especifique este parâmetro no formato packagename.classname. O sistema gera automaticamente um pacote.
-
Selecione a classe Driver, Mapper ou Reducer.
NotaEscolha a classe Driver, Mapper ou Reducer conforme as necessidades do seu negócio.
Driver: classe de driver em um job MapReduce. Utilizada para construir e executar o job MapReduce. Nela, é possível definir as classes Mapper e Reducer a serem executadas, além de diversas configurações de tarefa. A classe Driver funciona como ponto de entrada dos jobs MapReduce.
Mapper: primeira etapa do processamento de dados no MapReduce. Nesta fase, cada registro de dado é processado e gera o par chave-valor correspondente.
Reducer: processa a saída intermediária gerada pela classe Mapper, produz o resultado final e o salva em uma tabela do MaxCompute.
-
Após criar a classe Java do MaxCompute, desenvolva o programa Java no editor.
O modelo Java já vem preenchido automaticamente com o código do framework. Basta configurar a tabela de entrada, a tabela de saída e as classes Mapper e Reducer.
Executar o programa MapReduce localmente para depuração
Execute o programa MapReduce desenvolvido na sua máquina local para depurá-lo e verificar se os resultados correspondem ao esperado.
Clique com o botão direito no script Java criado e selecione Run.
-
Na caixa de diálogo Run/Debug Configurations, selecione o nome do projeto MaxCompute onde o programa MapReduce será executado.
-
Clique em OK para iniciar a execução.
NotaDurante a execução local, o sistema lê os dados da tabela especificada em warehouse como entrada. Acompanhe a saída de log no console.
Realizar testes de unidade para depurar um programa MapReduce
Crie casos de teste tomando como base o exemplo de teste de unidade do WordCount, disponível na pasta examples.
Empacotar e carregar um programa MapReduce
Após depurar o programa MapReduce desenvolvido, empacote-o em um arquivo JAR e faça o upload para o seu projeto MaxCompute como um resource. Para mais informações, consulte Empacotar, carregar e registrar um programa Java.
Executar um programa MapReduce
Execute o programa MapReduce desenvolvido por meio do cliente do MaxCompute.
No painel de navegação à esquerda, clique em Project Explorer.
Clique com o botão direito no nome do seu projeto MaxCompute e selecione Open in Console.
-
Na janela de ferramentas Console, execute o comando abaixo para iniciar o programa MapReduce.
Para mais informações sobre o comando, consulte Enviar um job MapReduce.
jar -resources wordcount.jar -classpath D:\odps\clt\wordcount.jar com.aliyun.odps.examples.mr.WordCount wc_in wc_out;