Criar e usar recursos do EMR - DataWorks: Central de Documentação do Alibaba Cloud

O DataWorks permite criar visualmente recursos JAR do E-MapReduce (EMR) e FILE do EMR. Você pode enviar funções personalizadas ou códigos de exemplo de MapReduce (MR) open-source como recursos e referenciá-los em tarefas de desenvolvimento de dados executadas em nós de computação do EMR. Este tópico descreve como criar, enviar e submeter um recurso.

Pré-requisitos

Os pré-requisitos variam conforme o tipo de mecanismo. Conclua as preparações obrigatórias tanto no EMR quanto no DataWorks.

DataLake: Para mais informações, consulte Configurar um cluster DataLake e Configure o DataWorks.
Hadoop: Preparações para desenvolvimento em cluster Hadoop.

Criar um recurso do EMR

Faça logon no console do DataWorks. Na região de destino, clique em Data Development and O&M > Data Development no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Data Development.
Passe o ponteiro sobre o ícone e clique em Create Resource > EMR > EMR JAR ou Create Resource > EMR > EMR File.

Alternativamente, localize o workflow, clique com o botão direito nele e escolha Create Resource > EMR > EMR JAR ou Create Resource > EMR > EMR File.

Na caixa de diálogo Create Resource, configure os parâmetros.

Parâmetro	Descrição
Engine Type	O tipo de mecanismo é EMR por padrão e não pode ser alterado.
Engine Instance	Selecione a instância do mecanismo na lista suspensa. Nota Esta lista exibe os mecanismos EMR vinculados ao workspace no Data Development.
Resource Type	Somente os tipos de recurso EMR JAR e EMR FILE são suportados.
Path	Caminho do workflow onde o recurso ficará localizado.
Storage path	Selecione um caminho de armazenamento para o recurso. Os tipos de armazenamento suportados incluem OSS e HDFS. Ao selecionar OSS, conceda autorização primeiro e depois selecione um diretório. Nota Use uma conta Alibaba Cloud para conceder as permissões. Caso escolha HDFS, insira manualmente o caminho de armazenamento. Nota Os pacotes JAR de tarefas podem ser armazenados apenas nos seguintes locais: Nó mestre do cluster EMR. Object Storage Service (OSS). Recomendamos armazenar pacotes JAR no OSS. Para mais informações sobre como armazenar pacotes JAR no OSS, consulte Operações no console do OSS.
File Source	Origem do arquivo de destino. As origens suportadas incluem Local e OSS. Se optar por Local, clique em Click Upload no campo Upload File para enviar um arquivo local. Ao escolher OSS, selecione um arquivo OSS na lista suspensa Select file ou clique em Create in OSS para criar um arquivo OSS.
Name	Nome do novo recurso EMR. Ao enviar um recurso JAR, inclua a extensão .jar.

Na caixa de diálogo Create Resource, clique em Create.
Clique nos ícones e na barra de ferramentas para salve e envie o recurso.

Nota
Ao envie o recurso, selecione um grupo de recursos de agendamento. Se utilizar um grupo de recursos serverless, o DataWorks envia uma tarefa ao mecanismo para criar o recurso e gera os logs de execução. Caso ocorra algum problema durante a submissão, use os logs para solução de problemas. Se não houver um grupo de recursos serverless disponível, adquira e configure um. Para mais informações, consulte Usar grupos de recursos serverless.

Usar um recurso para registrar uma função

O DataWorks oferece uma forma visual de registrar uma função utilizando um recurso. Após enviar o recurso necessário, utilize-o para registrar uma função na interface. No Data Development, abra o formulário Register Function e configure os parâmetros. Por exemplo, defina Function Type como Other Function, selecione uma EMR Engine Instance de destino, como xc_emr2, configure EMR Engine Type para Hive e defina EMR Database como default. Em seguida, insira um Function Name, como xc_ip2region, e o class name completo da UDF, como org.alidata.emr.udf.Ip2Region. Por fim, em Resource List, associe a função ao arquivo JAR enviado a partir da árvore de recursos à esquerda, como xc_ip2region-emr.jar.

Usar um recurso em um nó

Após criar um recurso JAR do EMR, para usá-lo diretamente em um nó, selecione o nó de recurso na pasta Resources, clique com o botão direito no nó e escolha Insert Resource Path. Também é possível clicar com o botão direito no arquivo de recurso na árvore de recursos à esquerda e escolher Insert Resource Path.

Nota

Depois de insira o caminho do recurso, uma linha de código no formato @resource_reference{"resourcename"} é adicionada automaticamente ao nó, referenciando o recurso.

Para etapas detalhadas, consulte Criar um nó MR do EMR.

Gerencie versões de recursos

Uma nova versão do recurso é gerada sempre que você submete um recurso. Visualize e baixe o recurso clicando com o botão direito em seu nó e selecionando View Versions. No diretório de recursos à esquerda, clique com o botão direito no arquivo de recurso desejado, como xc_ip2region.jar, e selecione Visualize Historical Versions. A caixa de diálogo Version Information exibe o File ID, Version Number, Submitter, Submission Time, Change Type e Status de cada versão. Clique em Download Code em uma versão específica para obter seu código histórico ou selecione várias versões e clique no botão Compare na parte inferior para comparar as diferenças entre elas.