MaxCompute:FAQ about MaxCompute MapReduce

Posso usar views como fontes de entrada?

Não. Jobs MapReduce aceitam apenas tabelas como fontes de entrada, não views.

Em qual modo os resultados são gravados em uma tabela ou partição?

Os resultados são gravados no modo de sobrescrita.

Posso executar um job MapReduce chamando arquivos shell?

Não. As restrições do sandbox Java impedem que jobs MapReduce chamem arquivos shell. Para obter detalhes sobre as restrições do sandbox, consulte Sandbox Java.

O método setup() do reducer pode ler tabelas de entrada?

Não, mas ele pode ler tabelas em cache. O método setup() de um reducer não acessa tabelas de entrada diretamente.

Um mapper aceita múltiplas partições como entrada?

Sim. Um mapper pode receber dados de várias partições da mesma tabela. Cada partição é tratada como uma tabela separada.

Um mapper pode ler campos de partição dos registros de dados?

Não. Os campos de partição não estão incluídos nos registros de dados. Use context.getInputTableInfo().getPartitionSpec() em vez disso:

PartitionSpec ps = context.getInputTableInfo().getPartitionSpec();
String area = ps.get("area");

Qual é a relação entre rótulos e partições?

Os rótulos identificam as partições nas quais os dados de saída são gravados.

O MaxCompute MapReduce suporta jobs map-only?

Sim. Defina o número de reducers como 0:

job.setNumReduceTasks(0);

Um mapper pode ler registros pelo nome da coluna?

Sim. É possível acessar registros por índice (record.get(i)) ou pelo nome da coluna (record.get("size")).

Quais são as diferenças entre write(Record key, Record value) e write(Record record)?

write(Record key, Record value) gera resultados intermediários que um mapper transmite a um reducer pela rede. Como nenhum schema de tabela de saída está disponível nessa etapa, declare os tipos de dados dos campos explicitamente:

job.setMapOutputKeySchema(SchemaUtils.fromString("id:string"));
job.setMapOutputValueSchema(SchemaUtils.fromString("size:bigint"));

Já write(Record record) grava os resultados finais diretamente em uma tabela de saída. O schema da tabela está disponível, portanto os tipos de dados são inferidos automaticamente — nenhuma declaração explícita é necessária.

Por que preciso de -libjars e -classpath ao enviar um job MapReduce?

Dois executores estão envolvidos: um executor local (seu cliente MaxCompute) e um executor remoto (o cluster MaxCompute).

• -classpath especifica o JAR para o executor local — por exemplo, -classpath lib/mapreduce-examples.jar.

• -libjars especifica o JAR para o executor remoto — por exemplo, -libjars mapreduce-examples.jar.

Ambos são necessários porque o cliente realiza operações locais (como configuração do job), enquanto o cluster executa a computação efetiva.

Posso usar o código-fonte do Hadoop MapReduce diretamente no MaxCompute?

Não. Embora o estilo geral de programação seja semelhante, a API do MaxCompute MapReduce difere da API do Hadoop MapReduce. Para executar código do Hadoop MapReduce no MaxCompute, reescreva-o utilizando o SDK do MaxCompute MapReduce.

Como ordenar dados com o MaxCompute MapReduce?

Especifique as colunas de ordenação e a ordem na configuração do seu job:

// Sort by i1 (ascending) and i2 (descending)
job.setOutputKeySortColumns(new String[] { "i1", "i2" });
job.setOutputKeySortOrder(new SortOrder[] { SortOrder.ASC, SortOrder.DESC });

setOutputKeySortOrder aceita um array de valores SortOrder. Os valores válidos são ASC (ascendente) e DESC (descendente), um para cada coluna de ordenação.

O que são backups para jobs MapReduce?

O MaxCompute monitora o progresso do job. Quando um job precisa processar um grande volume de dados, o MaxCompute inicia automaticamente um job de backup que processa os mesmos dados em paralelo. O resultado do job que terminar primeiro é utilizado, e o outro é descartado. Se o volume de dados for extremamente grande, tanto o job original quanto o de backup podem exceder o limite de tempo — nesse caso, os backups não melhoram o desempenho.

Como passar múltiplos recursos ao enviar um job MapReduce?

Separe os nomes dos recursos com vírgulas:

jar -resource resource1,resource2,resource3

Como verificar se uma tabela está vazia no método main?

Odps odps = SessionState.get().getOdps();
Table table = odps.tables().get("tableName");
RecordReader recordReader = table.read(1);
if (recordReader.read() == null) {
    // Table is empty
}

Como gerar logs para um job MapReduce?

Use System.out.println no seu código — a saída vai para stdout no Logview. Se você utilizar um framework de log padrão, os logs vão para stderr no Logview.

Se um job falhar, o cliente MaxCompute também exibe os detalhes do erro diretamente, portanto os logs geralmente não são necessários para o diagnóstico de erros.

Uma tabela de resultados acumula dados duplicados entre dois jobs MapReduce?

Sim. Se dois jobs MapReduce distintos gravarem na mesma tabela de resultados, a tabela conterá registros duplicados — um de cada job. Consultas nessa tabela retornarão ambas as cópias.

Preciso configurar nós para processamento distribuído no MaxCompute?

Não. O MaxCompute gerencia a alocação de shards automaticamente. Diferentemente do Hadoop MapReduce, não há configuração de nós — o runtime do MaxCompute determina quais shards cada job utiliza com base em seu algoritmo interno.

Após adicionar um combiner, os reducers não recebem entrada. Por quê?

Esse problema ocorre porque cada registro gerado por um reducer não pode ser mapeado para os pares chave-valor gerados por um mapper. Verifique se o schema de saída do combiner corresponde ao schema de saída do mapper.

Por que não consigo especificar o schema da tabela de saída ao executar um job map-only?

O schema é fixado no momento da criação da tabela — definido na instrução CREATE TABLE. Quando um job map-only grava na tabela de saída, ele usa esse schema existente diretamente. Não há mecanismo para especificar ou substituir o schema durante a execução do job.

Como executar um job MapReduce usando o servidor local do MaxCompute?

Use o comando jar no cliente MaxCompute. Para a sintaxe do comando, consulte Enviar um job MapReduce.

Para executar um job programaticamente no servidor, configure JobConf da seguinte forma:

// Configure the MaxCompute connection
Account account = new AliyunAccount(accessid, accesskey);
Odps odps = new Odps(account);
odps.setEndpoint(endpoint);
odps.setDefaultProject(project);

// Initialize the session
SessionState ss = SessionState.get();
ss.setOdps(odps);
ss.setLocalRun(false);  // Set to true for local debugging

// Configure the job
Job job = new Job();
job.setResources("mr.jar");  // Equivalent to jar -resources mr.jar
job.setMapperClass(XXXMapper.class);
job.setReducerClass(XXXReducer.class);

Antes de executar o job:

1. Adicione os JARs de dependência da pasta lib do seu cliente MaxCompute ao seu classpath. Importe todos os JARs da versão mais recente do cliente.

2. Empacote seu programa MapReduce e faça o upload como um recurso. Para instruções de upload, consulte Operações de recursos.

Erros de memória e OOM

FAILED: ODPS-0123131:User defined function exception - Traceback:
     java.nio.BufferOverflowException
     at java.nio.DirectByteBuffer.put(Unknown Source)
     at com.aliyun.odps.udf.impl.batch.TextBinary.put(TextBinary.java:35)

odps.stage.mapper.jvm.mem=2048

Erros de recursos e carregamento de classes

jar -resources resource1,resource2 ...

Caused by: com.aliyun.odps.OdpsException: java.io.FileNotFoundException:
  temp/mr_XXXXXX/resource/meta.user.group.config (Too many open files)

ODPS-0730001: Exceed maximum read times per resource

Erros de permissões e sandbox

FAILED: ODPS-0123131:User defined function exception - Traceback:
java.lang.ExceptionInInitializerError
  ...
Caused by: java.security.AccessControlException: access denied
  ("java.lang.RuntimePermission" "getProtectionDomain")

Exception in thread "main" java.io.IOException:
  com.aliyun.odps.OdpsException: ODPS-0420095: Access Denied -
  The task is not in release range: LOT

Erros de entrada, saída e timeout

Exception in thread "main" com.aliyun.odps.OdpsException:
  Table not found: project_name.table_name.

ODPS-0740001: Too many local-run maps: 101, must be <= 100
  (specified by local-run parameter 'odps.mapred.local.map.max.tasks')