MaxCompute:Visão geral do MapReduce

Cenários

O MapReduce é compatível com os seguintes cenários:

• Pesquisa: rastreamento web, índices invertidos e PageRank.

• Análise de logs de acesso à web:

  • Análise e mineração do comportamento do usuário, como navegação e compras, para oferecer recomendações personalizadas.

  • Análise dos padrões de acesso dos usuários.

• Análise estatística de textos:

  • Contagem de palavras e análise de frequência do termo e frequência inversa do documento (TF-IDF) em livros populares.

  • Análise estatística e de citações de artigos acadêmicos e documentos de patentes.

  • Análise de dados da Wikipédia.

• Mineração de grandes volumes de dados, como dados não estruturados, espaço-temporais e de imagens.

• Aprendizado de máquina: aprendizado supervisionado, não supervisionado e algoritmos de classificação, como árvores de decisão e máquinas de vetores de suporte (SVMs).

• Processamento de linguagem natural (PLN):

  • Treinamento e previsão baseados em big data.

  • Construção de matrizes de coocorrência de palavras, mineração de conjuntos de itens frequentes e detecção de documentos duplicados com base em um corpus.

• Recomendação de anúncios: previsão de taxas de cliques (CTRs) e taxas de conversão (CVRs).

Descrição do processo do MapReduce

Um programa MapReduce processa dados em dois estágios principais: o estágio de map, seguido pelo estágio de reduce. É possível definir a lógica de processamento para essas etapas, desde que respeitem as convenções do framework MapReduce. O fluxo completo de processamento de dados do MapReduce ocorre da seguinte forma:

1. Dados de entrada: antes da operação de map, os dados são particionados em blocos de tamanhos iguais. Cada bloco serve como entrada para um worker de map, o que permite a execução simultânea de vários workers.

2. Estágio de map: cada worker de map lê e processa o bloco de dados atribuído a ele e, em seguida, associa uma chave a cada registro de saída. Essa chave define qual worker de reduce receberá o registro.

   Nota

   Os registros de dados com a mesma chave são enviados ao mesmo worker de reduce. Um único worker de reduce pode receber registros com chaves diferentes.

3. Fase de Shuffle: antes da fase de Reduce, o framework MapReduce classifica os dados por Key, agrupando aqueles que compartilham a mesma Key. Para usar o Combiner, especifique uma Combine Operation (Combiner), e o framework o acionará para agregar os dados com a mesma Key. A lógica do Combiner pode ser personalizada. No MaxCompute, diferentemente do protocolo clássico do MapReduce, os parâmetros de entrada e saída do Combiner devem ser idênticos aos da fase de Reduce. Esta etapa do processo também é conhecida como Shuffle.

4. Estágio de reduce: os registros com a mesma chave são encaminhados ao mesmo worker de reduce, que pode receber dados de múltiplos workers de map. Cada worker de reduce executa a operação de reduce nesses registros, convertendo-os em um único valor.

5. Dados de saída: os resultados finais são gerados.

A seção a seguir utiliza o exemplo WordCount para explicar os conceitos de cada estágio no MaxCompute MapReduce.

Procedure

1. Dados de entrada: o arquivo de texto é particionado, e os dados de cada partição servem como entrada para um worker de map.

2. Estágio de map: o worker de map processa a entrada. Para cada dígito recebido, ele define a contagem como 1 e gera um par <Word, Count>. A palavra atua como chave para os dados de saída.

3. Shuffle > Combine and sort: no estágio inicial do shuffle, a saída de cada worker de map é primeiro ordenada pela chave (a palavra). Após a ordenação, a operação de combiner é executada. As contagens da mesma chave (palavra) são agregadas para formar um novo par <Word, Count>. Esse processo é chamado de combine and sort.

4. Shuffle > Assign to reducers: no estágio tardio do shuffle, os dados são enviados aos reducers. Ao receber os dados, o worker de reduce os ordena novamente pela chave.

5. Estágio de reduce: cada worker de reduce processa os dados com a mesma lógica do combiner, agregando as contagens da mesma chave (palavra) para obter o resultado final.

6. Dados de saída.

Limites

• Para consultar os limites do MapReduce, veja Limits summary.

• Para verificar os limites da execução local do MapReduce, consulte Differences between running locally and in a distributed environment.

Contexto do modelo MR2

O modelo tradicional do MapReduce exige que os dados resultantes de cada rodada de operações sejam armazenados em um sistema de arquivos distribuído, como o Hadoop Distributed File System (HDFS) ou uma tabela do MaxCompute. Um fluxo de trabalho do MapReduce geralmente engloba múltiplas tarefas. Após a conclusão de cada uma, os dados intermediários precisam ser gravados em disco. Contudo, uma tarefa de map subsequente pode precisar ler esses dados apenas uma vez antes da próxima fase de shuffle, o que gera operações de E/S de disco redundantes.

As lógicas de computação e agendamento do MaxCompute aceitam modelos de programação mais complexos. Para resolver esse problema, o MaxCompute permite executar uma operação de reduce diretamente após outra, sem a necessidade de uma operação de map intermediária. Assim, o MaxCompute disponibiliza um modelo estendido de MapReduce que aceita o encadeamento de múltiplas operações de reduce após uma operação de map, no formato Map > Reduce > Reduce.

Comparação com o Chain Mapper e ChainReducer do Hadoop

O Chain Mapper e o ChainReducer do Hadoop também aceitam operações serializadas de map ou reduce semelhantes. No entanto, diferem fundamentalmente do modelo estendido de MapReduce (MR2) do MaxCompute.

O Chain Mapper e o ChainReducer baseiam-se no modelo tradicional do MapReduce e permitem apenas a adição de uma ou mais operações de map após a operação original de map ou reduce, sem a possibilidade de incluir uma operação de reduce. A vantagem dessa abordagem é a reutilização da lógica de negócios do mapper existente para dividir uma operação de map ou reduce em vários estágios de mapper. Entretanto, isso não altera de forma estrutural os modelos subjacentes de agendamento e E/S.