DataWorks:Recursos e funções do EMR

Descrição dos recursos

O Data Studio oferece suporte aos tipos de recursos listados na tabela a seguir para gerenciamento de recursos e funções. Armazene esses recursos no OSS ou no HDFS e use-os no Data Studio ou para criar funções personalizadas.

Limitações

Os recursos carregados devem atender aos seguintes limites:

• Nota

  As informações da fonte de dados podem diferir entre os ambientes de desenvolvimento e produção. Antes de consultar tabelas, recursos ou executar operações relacionadas em um ambiente, confirme as informações da fonte de dados correspondente.

Criar um recurso

Os recursos do EMR aceitam tanto upload local quanto via OSS. É possível referenciar um recurso criado diretamente no desenvolvimento de dados ou usá-lo para criar uma função.

1. Após criar um recurso, carregue um arquivo do OSS ou do computador local como source do arquivo. Veja abaixo os principais parâmetros para o upload de um recurso:

   Item de configuração	Descrição
   Origem do arquivo	Origem do arquivo de destino. As opções são Local e OSS.
   Conteúdo do arquivo	Se selecionar Local, em Upload File, clique em Click Upload para carregar um arquivo local. Caso selecione OSS, escolha um arquivo do OSS na lista suspensa Select File.
   Caminho de armazenamento	Selecione o caminho de armazenamento para o recurso. Há dois tipos de armazenamento compatíveis: OSS e HDFS: Ao optar pelo OSS, conceda acesso primeiro e depois selecione o diretório. Nota A conta Alibaba Cloud (conta raiz) deve realizar a autorização aqui. Para HDFS, insira o caminho de armazenamento manualmente. Por exemplo: /user/admin/[specific_path]. Nota Atualmente, o pacote JAR da tarefa aceita apenas os dois locais de armazenamento a seguir: O pacote JAR está armazenado na máquina mestre do cluster EMR. O pacote JAR está armazenado no Object Storage Service (Object Storage Service, OSS). Recomendamos o uso do OSS. Para mais informações, consulte Usar o OSS para armazenar pacotes JAR.
   Fonte de dados	Selecione a fonte de dados à qual o recurso do EMR carregado pertence.
   Grupo de recursos	Selecione um grupo de recursos serverless com conectividade de rede à fonte de dados do EMR.

2. Na barra de ferramentas superior, clique em Save e Publish para salvar e publicar o recurso. Somente recursos implantados podem ser usados no Data Studio.

   Nota

   Ao enviar um recurso usando um grupo de recursos serverless, a plataforma DataWorks despacha a tarefa de criação do recurso para execução no mecanismo e imprime o log de execução. Se ocorrer um erro durante o envio, use os logs para solucionar o problema. Caso não haja nenhum grupo de recursos serverless disponível, crie um grupo de recursos serverless.

Usar um recurso

Depois de criar um recurso, clique em Resource Management no painel de navegação à esquerda. Localize o recurso ou função desejado, clique com o botão direito e selecione Insert Resource Path. Quando o recurso for referenciado com sucesso, o código no formato ##@resource_reference{"resource_name"} será exibido.

Além de usar o recurso diretamente, você também pode criar uma função a partir dele e depois usá-la em um nó de desenvolvimento.

Descrição das funções

No gerenciamento de recursos e funções do Data Studio, é possível registrar um recurso como uma função do EMR. No Data Studio ou em consultas SQL, use funções integradas do Hive e funções personalizadas criadas por você.

Criar uma função

1. Clique em Confirm para criar um recurso de função e configure as informações da função com base no seu tipo.

   Antes de configurar uma função do EMR, verifique se o cluster EMR foi registrado como recurso de computação no DataWorks e se você já carregou o recurso do EMR criado. As principais configurações de uma função do EMR estão descritas abaixo.

   Parâmetro	Descrição
   Function type	Selecione o tipo de função: MATH (funções matemáticas), AGGREGATE (funções agregadas), STRING (funções de string), DATE (funções de data), ANALYTIC (funções de janela) ou OTHER (outras funções).
   Data Sources	Escolha a fonte de dados onde a função do EMR será registrada.
   EMR database	Banco de dados do EMR no qual a função será registrada.
   Resource Group	Selecione um grupo de recursos serverless com conectividade de rede à fonte de dados do EMR.
   Class Name	Nome da classe da UDF, no formato resource_name.class_name. Deve corresponder exatamente à classe real no pacote JAR. Quando o tipo de recurso é JAR, o formato de Class Name é Java_package_name.actual_class_name. Obtenha essa informação no IntelliJ IDEA usando Copy Reference. Por exemplo, se com.aliyun.emr.examples.udf for o nome do pacote Java e UDAFExample for o nome da classe real, defina o parâmetro Class Name como com.aliyun.emr.examples.udf.UDAFExample.
   Resource List	Selecione na lista suspensa um recurso adicionado ao workspace atual. Este parâmetro é obrigatório.

2. Na barra de ferramentas superior, clique em Save e Publish para salvar e publicar a função. Apenas funções implantadas podem ser usadas no Data Studio.

Usar uma função

Depois de criar e implantar uma função, referencie-a diretamente no Data Studio ou em consultas SQL.

• Ao editar um nó de desenvolvimento de dados, clique em Resource Management no painel de navegação à esquerda. Encontre a função desejada, clique com o botão direito nela e selecione Insert Function.

  O nome da função, como example_function(), é inserido automaticamente no editor.

• Durante a edição de uma consulta SQL, use a função criada diretamente na instrução SQL.

SELECT example_function(column_name) FROM table;