Quick start: Create and use a Data Lake cluster - E-MapReduce: Central de Documentação do Alibaba Cloud

Visão geral

Este início rápido mostra como:

Criar rapidamente um cluster de Data Lake.
Envie e execute um job do WordCount usando um cliente de cluster.
Compreender os principais recursos do Alibaba Cloud EMR e o uso básico do ecossistema Hadoop.

Pré-requisitos

Você deve ter criado uma conta Alibaba Cloud e concluído a verificação de nome real.
Conceda as funções padrão do EMR e do ECS à conta de serviço do E-MapReduce. Para mais informações, consulte Role authorization.

Precauções

Você é responsável por gerencie e configure o ambiente de execução do seu código.

Procedimento

Etapa 1: Crie um cluster

Acesse a página Create Cluster.
1. Faça login no console EMR on ECS.
2. Na barra de navegação superior, selecione uma região e um grupo de recursos de acordo com os requisitos de negócio.
  - Region: especifica a região na qual o cluster será criado. Não é possível alterar a região após a criação do cluster.
  - Resource group: exibe todos os recursos da sua conta por padrão.
3. No canto superior esquerdo, clique em CREATE_CLUSTER.

Na página Create Cluster, configure os parâmetros do cluster.

Seção	Parâmetro	Exemplo	Descrição
Software Configuration	Region	China (Hangzhou)	A localização física das instâncias ECS para os nós do cluster. Importante Não é possível alterar a região após a criação do cluster. Selecione a região com cuidado.
	Business Scenario	Data Lake	Selecione um cenário para permitir que o EMR configure automaticamente componentes, serviços e recursos padrão. Isso simplifica a configuração do cluster e fornece um ambiente adaptado ao caso de uso especificado.
	Product Version	EMR-5.18.1	Selecione a versão mais recente do EMR.
	High Service Availability	Disabled	Este recurso fica desativado por padrão. Se você ative o High Service Availability, o EMR distribui os nós mestres em diferentes hardwares subjacentes para reduzir o risco de falhas.
	Optional Services	HADOOP-COMMON, OSS-HDFS, YARN, Hive, Spark3, Tez, Knox e OpenLDAP.	Selecione os serviços de acordo com os requisitos de negócio. Por padrão, o EMR inicia os processos de serviço para os serviços selecionados. Nota Para acessar as interfaces web dos serviços a partir do console, você também deve selecione os serviços Knox e OpenLDAP.
	Collect Service Operational Logs	Enabled	Defina se a coleta de logs será ativada para todos os serviços. Por padrão, esta opção fica ativada para coletar os logs operacionais de serviço do seu cluster. Os logs são usados apenas para diagnósticos do cluster. Depois de criar um cluster, você pode modifique o parâmetro Collection Status of Service Operational Logs na aba Basic Information. Importante Se você desativar esta opção, a verificação de integridade do cluster EMR e o suporte técnico relacionado a serviços serão limitados. Para mais informações sobre como desativar a coleta de logs e os impactos dessa ação, consulte How do I stop collecting service logs?
	Metadata	Built-in MySQL	Armazena metadados no banco de dados MySQL integrado. Importante O banco de dados MySQL integrado permite configurar rapidamente um ambiente de teste, mas não é recomendado para ambientes de produção. Para ambientes de produção, use uma instância auto-gerenciada do ApsaraDB RDS ou o Data Lake Formation (DLF) para o gerenciamento unificado de metadados, de acordo com os requisitos de negócio.
	Root Storage Directory of Cluster	oss://.cn-hangzhou.oss-dls.aliyuncs.com	O diretório raiz de armazenamento dos dados do cluster. Este parâmetro é necessário apenas se você selecione o serviço OSS-HDFS. Nota Antes de usar o serviço OSS-HDFS, certifique-se de que ele esteja disponível na região na qual você deseja criar um cluster. Se o serviço OSS-HDFS não estiver disponível na região, altere a região ou use o HDFS em vez do OSS-HDFS. Para mais informações sobre as regiões nas quais o OSS-HDFS está disponível, consulte Enable OSS-HDFS and grant access permissions. Você pode selecione o serviço OSS-HDFS ao criar um cluster DataLake no novo cenário de data lake, um cluster Dataflow, um cluster DataServing ou um cluster personalizado do EMR V5.12.1, EMR V3.46.1 ou uma versão secundária posterior ao EMR V5.12.1 ou EMR V3.46.1.
Hardware Configuration	Billing Method	Pay-as-you-go	Para testes, use o método de faturamento Pay-as-you-go. Após concluir os testes com sucesso, libere o cluster de teste e crie um novo cluster que use o método de faturamento Subscription para produção.
	Zone	Zone I	Não é possível alterar a zona após a criação do cluster. Selecione a zona com cuidado.
	VPC	vpc_Hangzhou/vpc-bp1f4epmkvncimpgs****	Selecione uma VPC na região atual. Se nenhuma VPC estiver disponível, clique em Create VPC para criar uma. Depois de criar a VPC, clique em Refresh para selecione-a.
	vSwitch	vsw_i/vsw-bp1e2f5fhaplp0g6p****	Selecione um vSwitch na zona especificada da VPC selecionada. Se nenhum vSwitch estiver disponível na zona, crie um.
	Default Security Group	sg_seurity/sg-bp1ddw7sm2risw****	Importante O EMR não oferece suporte a grupos de segurança corporativos criados no console do ECS. Selecione um grupo de segurança existente ou crie um novo.
	Node Group	Ative a opção Assign Public Network IP para o grupo de nós mestres. Mantenha os valores padrão para os outros parâmetros.	Configure os grupos de nós mestres, core e task de acordo com os requisitos de negócio. Para mais informações, consulte Configure hardware and a network.
Basic Configuration	Cluster Name	Emr-Data Lake	O nome do cluster. Deve ter de 1 a 64 caracteres e pode conter letras, dígitos, hifens (-), sublinhados (_) e caracteres chineses.
	Identity Credentials	Password	Permite fazer login remoto no nó mestre do cluster. Nota Se quiser usar autenticação sem senha, selecione Key Pair. Para mais informações, consulte Manage SSH key pairs.
	Password e Confirm Password	Uma senha personalizada.	Anote a senha. Você precisará dela para fazer login no cluster.

Clique em Confirm.

Na página EMR on ECS, o cluster estará pronto quando o Status mudar para Running. Para mais informações sobre os parâmetros do cluster, consulte Create a cluster.

Etapa 2: Prepare os dados

Depois de criar o cluster, execute um teste de análise de dados usando o programa de exemplo WordCount pré-instalado. Você também pode fazer o upload e execute seus próprios aplicativos de big data. Este tópico usa o programa WordCount para demonstrar o processo, desde a preparação dos dados até o envio do job.

Conecte-se ao cluster via SSH. Para mais informações, consulte Log on to a cluster.
Prepare o arquivo de dados.

Crie um arquivo de texto chamado wordcount.txt como dados de entrada para o job do WordCount. O arquivo deve conter o seguinte conteúdo:
```
hello world
hello wordcount
```
Faça o upload do arquivo de dados.

Nota
Faça o upload do arquivo de dados para o serviço HDFS, OSS ou OSS-HDFS do cluster de acordo com os requisitos de negócio. Este tópico usa o serviço OSS-HDFS como exemplo. Para fazer o upload de um arquivo para o OSS, consulte Simple upload.
1. Execute o seguinte comando para criar um diretório chamado input:
```
hadoop fs -mkdir oss://<yourBucketname>.cn-hangzhou.oss-dls.aliyuncs.com/input/
```
2. Execute o seguinte comando para fazer o upload do arquivo wordcount.txt do diretório local atual para o diretório input no OSS-HDFS:
```
hadoop fs -put wordcount.txt oss://<yourBucketname>.cn-hangzhou.oss-dls.aliyuncs.com/input/
```

Etapa 3: Envie um job

Use o programa WordCount para analisar dados de texto e contar a frequência de palavras.

Execute o seguinte comando e envie o job do WordCount:

hadoop jar /opt/apps/HDFS/hadoop-3.2.1-1.2.16-alinux3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar wordcount -D mapreduce.job.reduces=1 "oss://<yourBucketname>.cn-hangzhou.oss-dls.aliyuncs.com/input/wordcount.txt" "oss://<yourBucketname>.cn-hangzhou.oss-dls.aliyuncs.com/output/"

A tabela a seguir descreve os parâmetros no comando.

Parâmetro	Descrição
`/opt/apps/.../hadoop-mapreduce-examples-3.2.1.jar`	O pacote de programas de exemplo que vem com o Hadoop. Este pacote inclui vários programas de exemplo clássicos do MapReduce. Neste exemplo, `hadoop-mapreduce-examples-3.2.1.jar` é o nome do arquivo JAR no seu cluster, e 3.2.1 é o número da versão. O número da versão geralmente é 3.2.1 para clusters da série EMR 5.x e 2.8.5 para clusters da série EMR 3.x.
`-D mapreduce.job.reduces`	Defina o número de reducers para o job do MapReduce. Por padrão, o Hadoop determina automaticamente o número de reducers com base no tamanho dos dados de entrada. Se não especifique o número de reducers, vários arquivos de saída, como `part-r-00000` e `part-r-00001`, poderão ser gerados. Ao defina este parâmetro como 1, você garante que apenas um arquivo de saída chamado `part-r-00000` seja gerado.
`oss://<yourBucketname>.cn-hangzhou.oss-dls.aliyuncs.com/input/wordcount.txt`	O caminho de entrada para o job do WordCount. Este é o caminho para o arquivo de dados no OSS. Substitua `<yourBucketname>` pelo nome do seu bucket do OSS e `cn-hangzhou` pelo ID da região.
`oss://<yourBucketname>.cn-hangzhou.oss-dls.aliyuncs.com/output/`	O caminho de saída onde o job do WordCount armazena seus resultados.

Etapa 4: Visualize os resultados

Saída do job

Use um comando shell do Hadoop para visualize a saída do job.

Conecte-se ao cluster via SSH. Para mais informações, consulte Log on to a cluster.

Execute o seguinte comando para visualize a saída do job:

hadoop fs -cat oss://<yourBucketname>.cn-hangzhou.oss-dls.aliyuncs.com/output/part-r-00000

A seguinte saída é retornada:

hello	2
wordcount	1
world	1

Histórico do job

O YARN é o framework de gerenciamento de recursos do Hadoop para agendar e gerencie tarefas do cluster. Use a interface do YARN para visualize o status e o histórico dos jobs e revisar seus detalhes de execução.

Abra a porta 8443. Para mais informações, consulte Manage security groups.
Adicione um usuário. Para mais informações, consulte OpenLDAP user management.

Ao acessar a página da interface do YARN, use o nome de usuário e a senha de uma conta Knox.
Na página EMR on ECS, encontre seu cluster e clique em Services na coluna Actions.
Clique em Access Links and Ports.
Na linha YARN UI, clique em link na coluna Public URL.

Autentique-se com suas credenciais de usuário para acessar a página da interface do YARN.
Na página All Applications, clique em ID de um job para visualize seus detalhes.

A parte superior desta página exibe Cluster Metrics (como Apps Submitted, Apps Running e Memory Used) e Cluster Nodes Metrics. A parte inferior da página lista os aplicativos com colunas como ID, Name, Application Type, State e FinalStatus.

(Opcional) Etapa 5: Libere o cluster

Se não precisar mais do cluster, libere-o para evitar cobranças adicionais. Depois de confirmar a liberação, o sistema executa as seguintes operações:

Encerra forçadamente todos os jobs no cluster.
Encerra e libera todas as instâncias ECS.

O tempo necessário para liberar um cluster depende do tamanho dele. Clusters menores são liberados mais rapidamente. O processo de liberação geralmente é concluído em alguns segundos e não excede 5 minutos.

Importante

Você pode liberar clusters com pagamento conforme o uso a qualquer momento. Clusters com assinatura só podem ser liberados após o vencimento das respectivas assinaturas.
Antes de liberar um cluster, certifique-se de que ele esteja no estado Initializing, Running ou Idle.

Na página EMR on ECS, encontre o cluster a ser liberado e escolha > Release na coluna Actions.

Como alternativa, clique em nome do cluster. Na aba Basic Information, escolha All operations > Release no canto superior direito.
Na caixa de diálogo exibida, clique em OK.

Documentação relacionada

Paths of commonly used files: Encontre os caminhos de instalação de arquivos comumente usados.
API overview: Use operações de API para gerenciar clusters e serviços.

FAQ

Para problemas comuns com o Alibaba Cloud EMR, consulte FAQ.