Criar e usar recursos do EMR - DataWorks: Central de Documentação do Alibaba Cloud

O DataWorks permite criar visualmente recursos JAR do E-MapReduce (EMR) e FILE do EMR. Faça upload de funções personalizadas ou de códigos de exemplo de MapReduce (MR) open-source como recursos e referencie-os em tarefas de desenvolvimento de dados executadas em nós de computação do EMR.

Pré-requisitos

Os pré-requisitos variam conforme o tipo de mecanismo. Conclua as preparações necessárias tanto no EMR quanto no DataWorks.

DataLake: Para mais informações, consulte Configure a DataLake cluster e Configure o DataWorks.
Hadoop: Preparations for Hadoop cluster development.

Criar um recurso do EMR

Faça login no console do DataWorks. Na região de destino, clique em Data Development and O&M > Data Development no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Data Development.
Passe o ponteiro sobre o ícone e clique em Create Resource > EMR > EMR JAR ou Create Resource > EMR > EMR File.

Como alternativa, localize o workflow, clique com o botão direito nele e escolha Create Resource > EMR > EMR JAR ou Create Resource > EMR > EMR File.

Na caixa de diálogo Create Resource, configure os parâmetros.

Parâmetro	Descrição
Engine Type	O tipo de mecanismo é EMR por padrão e não pode ser alterado.
Engine Instance	Selecione uma instância de mecanismo na lista suspensa. Nota Esta lista exibe os mecanismos EMR vinculados ao workspace no Data Development.
Resource Type	Somente os tipos EMR JAR e EMR FILE são compatíveis.
Path	Caminho do workflow onde o recurso ficará localizado.
Storage path	Selecione um caminho de armazenamento para o recurso. Os tipos de armazenamento compatíveis são OSS e HDFS. Se selecionar OSS, conceda autorização primeiro e depois selecione um diretório. Nota Use uma conta Alibaba Cloud para conceder permissões. Se selecionar HDFS, insira manualmente o caminho de armazenamento. Nota Os pacotes JAR de tarefas podem ser armazenados apenas nos seguintes locais: Nó mestre do cluster EMR. Object Storage Service (OSS). Recomendamos armazenar pacotes JAR no OSS. Para mais informações, consulte Operations in the OSS console.
File Source	Origem do arquivo de destino. As origens compatíveis são Local e OSS. Se escolher Local, clique em Click Upload no campo Upload File para fazer upload de um arquivo local. Se escolher OSS, selecione um arquivo OSS na lista suspensa Select file ou clique em Create in OSS para criar um novo arquivo.
Name	Nome do recurso EMR. Ao fazer upload de um recurso JAR, inclua a extensão .jar.

Na caixa de diálogo Create Resource, clique em Create.
Clique nos ícones e na barra de ferramentas para salvar e enviar o recurso.

Nota
Ao enviar o recurso, selecione um grupo de recursos de agendamento. Se utilizar um grupo de recursos serverless, o DataWorks envia uma tarefa ao mecanismo para criar o recurso e gera logs de execução. Caso ocorra algum problema durante o envio, verifique os logs para solucionar o erro. Se nenhum grupo de recursos serverless estiver disponível, adquira e configure um. Para mais informações, consulte Use serverless resource groups.

Usar um recurso para registrar uma função

O DataWorks oferece uma forma visual de registrar uma função utilizando um recurso. Após fazer upload do recurso, registre a função na interface. No Data Development, abra o formulário Register Function e configure os parâmetros. Por exemplo, defina Function Type como Other Function, selecione uma EMR Engine Instance de destino, como xc_emr2, configure EMR Engine Type para Hive e EMR Database para default. Em seguida, insira um Function Name, como xc_ip2region, e o class name completo da UDF, como org.alidata.emr.udf.Ip2Region. No campo Resource, associe a função ao arquivo JAR carregado na árvore de recursos à esquerda, por exemplo, xc_ip2region-emr.jar.

Usar um recurso em um nó

Após criar um recurso JAR do EMR, utilize-o diretamente em um nó. Selecione o nó de recurso na pasta Resources, clique com o botão direito no nó e escolha Insert Resource Path. Também é possível clicar com o botão direito no arquivo de recurso na árvore de recursos à esquerda e selecionar Insert Resource Path.

Nota

Ao inserir o caminho do recurso, uma linha de código no formato @resource_reference{"resourcename"} é adicionada automaticamente ao nó para referenciar o recurso.

Para etapas detalhadas, consulte Create an EMR MR node.

Gerencie versões de recursos

Uma nova versão é gerada sempre que você envia um recurso. Para visualize e baixe o recurso, clique com o botão direito em seu nó e selecione View Versions. No diretório de recursos à esquerda, clique com o botão direito no arquivo de recurso desejado, como xc_ip2region.jar, e escolha View Historical Versions. A caixa de diálogo Version Information exibe o File ID, Version Number, Submitter, Submission Time, Change Type e status de cada versão. Clique em Download Code em uma versão específica para obter seu código histórico ou selecione várias versões e clique em Compare para visualizar as diferenças entre elas.