Início rápido: Conectar um cluster EMR ao OSS-HDFS - Object Storage Service: Central de Documentação do Alibaba Cloud

O OSS-HDFS está integrado a versões específicas dos clusters do Alibaba Cloud E-MapReduce (EMR). Este tópico descreve como conectar clusters EMR ao OSS-HDFS e executar operações comuns.

Nota

Se você utiliza um cluster Hadoop autogerenciado, conecte-o ao OSS-HDFS seguindo o mesmo procedimento usado para clusters não EMR. Para mais informações, consulte Início rápido: Conectar um cluster não EMR ao serviço OSS-HDFS.

Pré-requisitos

Ative o OSS-HDFS em um bucket e conceda permissões de acesso ao serviço a uma função do RAM. Para mais detalhes, consulte Ativar o OSS-HDFS e conceder permissões de acesso.
Por padrão, uma conta Alibaba Cloud tem as permissões necessárias para conectar clusters EMR ao OSS-HDFS e executar operações comuns relacionadas ao serviço. Caso prefira utilizar um usuário do RAM, crie-o e atribua as permissões adequadas. Para mais informações, consulte Conceder permissões a um usuário do RAM para conectar clusters EMR ao OSS-HDFS.

Procedimento

Faça login no console do E-MapReduce. No painel de navegação à esquerda, clique em EMR on ECS e crie um cluster EMR.

Ao criar o cluster EMR, certifique-se de que a Product Version seja EMR-3.46.2 ou posterior, ou EMR-5.12.2 ou posterior, e que o Root Storage Directory of Cluster esteja definido como um bucket com OSS-HDFS ativado. Mantenha os valores padrão para os demais parâmetros. Para mais detalhes, consulte Criar um cluster.
Acesse o cluster EMR.
1. Clique em o cluster EMR criado.
2. Clique em a aba Nodes e, em seguida, clique em o ícone à esquerda do grupo de nós.
3. Clique em o ID da ECS. Na página da instância ECS, clique em Connect ao lado do ID da instância e selecione o método padrão (Workbench) para fazer login na instância.
  
  Para obter mais informações sobre como acessar um cluster no Windows ou Linux usando um par de chaves SSH ou senha SSH, consulte Conectar-se a um cluster.
Execute comandos do HDFS Shell para realizar operações comuns relacionadas ao OSS-HDFS.
- Upload de arquivos locais
  
  Execute o comando a seguir para enviar um arquivo local chamado examplefile.txt, localizado no diretório raiz local, para um bucket denominado examplebucket:
```
hdfs dfs -put examplefile.txt oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/
```
- Baixe objetos
  
  Execute o comando a seguir para baixar um objeto chamado exampleobject.txt de um bucket chamado examplebucket para o diretório /tmp em seu computador:
```
hdfs dfs -get oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/exampleobject.txt  /tmp/
```
Para mais informações, consulte Usar comandos do Hadoop Shell para acessar o OSS-HDFS.