DataWorks:Recursos e funções do EMR

Descrição dos recursos

O Data Studio oferece suporte aos tipos de recursos listados na tabela a seguir para gerenciamento de recursos e funções. Armazene esses recursos no OSS ou no HDFS e use-os no Data Studio ou para criar funções personalizadas.

Limitações

Os recursos enviados devem obedecer aos seguintes limites:

• Nota

  As informações da fonte de dados podem diferir entre os ambientes de desenvolvimento e produção. Antes de consultar tabelas, recursos ou executar operações relacionadas em um ambiente, confirme as informações da fonte de dados correspondente.

Criar um recurso

Os recursos do EMR aceitam upload local e via OSS. Você pode referenciar um recurso criado diretamente no desenvolvimento de dados ou usá-lo para criar uma função.

1. Após criar um recurso, envie um arquivo do OSS ou do computador local como origem do arquivo. A tabela abaixo apresenta os principais parâmetros para o upload de um recurso:

   Item de configuração	Descrição
   Origem do arquivo	Define a origem do arquivo de destino. As opções são Local e OSS.
   Conteúdo do arquivo	Se selecionar Local, em Upload File, clique em Click Upload para enviar um arquivo local. Se selecionar OSS, escolha um arquivo do OSS na lista suspensa Select File.
   Caminho de armazenamento	Selecione o caminho de armazenamento do recurso. Há dois tipos de armazenamento compatíveis: OSS e HDFS: Se optar pelo OSS, conceda acesso primeiro e depois selecione o diretório. Nota A conta Alibaba Cloud (conta raiz) deve realizar a autorização. Para HDFS, insira o caminho de armazenamento manualmente. Exemplo: /user/admin/[specific_path]. Nota Atualmente, o pacote JAR da tarefa é compatível apenas com os dois locais de armazenamento a seguir: O pacote JAR está armazenado na máquina mestre do cluster EMR. O pacote JAR está armazenado no Object Storage Service (Object Storage Service, OSS). Recomendamos o uso do OSS. Para mais informações, consulte Use OSS to store JAR packages.
   Fonte de dados	Selecione a fonte de dados à qual pertence o recurso do EMR enviado.
   Grupo de recursos	Escolha um grupo de recursos serverless com conectividade de rede à fonte de dados do EMR.

2. Na barra de ferramentas superior, clique em Save e Publish para salvar e publicar o recurso. Somente recursos deployed podem ser usados no Data Studio.

   Nota

   Ao enviar um recurso usando um grupo de recursos serverless, a plataforma DataWorks encaminha a tarefa de criação do recurso para execução no mecanismo e imprime o log de tempo de execução. Se ocorrer um erro durante o envio, use os logs para solucionar o problema. Caso não haja nenhum grupo de recursos serverless disponível, create a serverless resource group.

Usar um recurso

Depois de criar um recurso, clique em Resource Management no painel de navegação à esquerda. Localize o recurso ou função desejado, clique com o botão direito e selecione Insert Resource Path. Após a referência bem-sucedida ao recurso, será exibido um código no formato ##@resource_reference{"resource_name"}.

Além de usar o recurso diretamente, você também pode create a function a partir do recurso e então usá-lo em um nó de desenvolvimento.

Descrição da função

No gerenciamento de recursos e funções do Data Studio, é possível registrar um recurso como uma função do EMR. No Data Studio ou em consultas SQL, use funções integradas do Hive e custom functions that you create.

Criar uma função

1. Clique em Confirm para criar um recurso de função e configure as informações da função de acordo com seu tipo.

   Antes de configurar uma função do EMR, verifique se o cluster EMR foi registrado como recurso de computação no DataWorks e se você já enviou o created EMR resource. As principais configurações de uma função do EMR estão descritas abaixo.

   Parâmetro	Descrição
   Function type	Selecione o tipo de função: MATH (funções matemáticas), AGGREGATE (funções agregadas), STRING (funções de string), DATE (funções de data), ANALYTIC (funções de janela) ou OTHER (outras funções).
   Data Sources	Escolha a fonte de dados onde a função do EMR será registrada.
   EMR database	Banco de dados do EMR no qual a função será registrada.
   Resource Group	Selecione um grupo de recursos serverless com conectividade de rede à fonte de dados do EMR.
   Class Name	Nome da classe da UDF, no formato resource_name.class_name. Deve corresponder exatamente à classe real no pacote JAR. Quando o tipo de recurso for JAR, o formato de Class Name será Java_package_name.actual_class_name. Obtenha-o no IntelliJ IDEA usando Copy Reference. Por exemplo, se com.aliyun.emr.examples.udf for o nome do pacote Java e UDAFExample for o nome da classe real, defina o parâmetro Class Name como com.aliyun.emr.examples.udf.UDAFExample.
   Resource List	Selecione na lista suspensa um recurso já adicionado ao workspace atual. Este parâmetro é obrigatório.

2. Na barra de ferramentas superior, clique em Save e Publish para salvar e publicar a função. Apenas funções deployed podem ser usadas no Data Studio.

Usar uma função

Depois de criar e implantar uma função, referencie-a diretamente no Data Studio ou em consultas SQL.

• Ao editar um nó de desenvolvimento de dados, clique em Resource Management no painel de navegação à esquerda. Encontre o recurso ou função, clique com o botão direito e escolha Insert Function.

  Após referenciar a função, o nome dela será inserido no editor do nó atual, por exemplo, example_function().

• Ao editar uma consulta SQL, use a função diretamente.

SELECT example_function(column_name) FROM table;