DataWorks:Recursos e funções CDH

Recursos

No Data Studio, é possível fazer upload de recursos locais para um cluster CDH por meio do DataWorks. A tabela a seguir lista os tipos de recurso compatíveis.

Limitações

As seguintes limitações se aplicam ao upload de recursos:

• Tamanho do recurso:

• Implantação de recurso: Se você usar um workspace no modo padrão, implante os recursos no ambiente de produção para que entrem em vigor.

  Nota

  As configurações de fonte de dados podem diferir entre os ambientes de desenvolvimento e produção. Antes de consultar tabelas ou usar recursos, verifique a configuração da fonte de dados do ambiente atual.

• Gerenciamento de recursos: O DataWorks permite visualizar e gerenciar apenas os recursos enviados por meio da própria plataforma.

Criar um recurso

Faça upload de recursos CDH da máquina local. Após criar um recurso, referencie-o no desenvolvimento de dados ou registre-o como função personalizada.

1. Na página Resource Management, crie um recurso. Na caixa de diálogo Create Resource and Function, especifique o Type do recurso, o Path de armazenamento e o Name do recurso.

2. Após criar a entrada do recurso, faça upload de um arquivo local. A tabela a seguir descreve os principais parâmetros de upload:

   Parâmetro	Descrição
   Storage Path	Caminho padrão: /user/admin/lib. Nota Se a autenticação Kerberos estiver ativada, conceda permissões de gravação ao usuário atual neste diretório antes de prosseguir.
   Data Sources	Selecione uma fonte de dados CDH existente.
   Resource Group	Selecione um grupo de recursos Serverless capaz de se conectar ao cluster CDH.

3. Na barra de ferramentas superior, clique em Save e depois em Publish para publicar o recurso. Somente recursos publicados podem ser usados no desenvolvimento de dados.

Usar um recurso

Após criar um recurso, referencie-o no desenvolvimento de dados. No painel de navegação à esquerda, clique em Resource Management, localize o recurso ou função desejado, clique com o botão direito nele e selecione Insert Resource Path. Essa ação insere um trecho de código no formato ##@resource_reference{"Resource Name"} no editor.

Também é possível criar uma função a partir de um recurso e usá-la nos nós de desenvolvimento.

Funções

O Data Studio permite registrar recursos como funções CDH. No desenvolvimento de dados ou em consultas SQL, utilize tanto as funções integradas do Hive quanto as funções personalizadas criadas por você.

Criar uma função

1. Na página Resource Management, crie uma função. Na caixa de diálogo Create Resource and Function, especifique o Type da função, o Path de armazenamento e o Name da função.

2. Clique em Confirm para criar a função. Em seguida, configure os detalhes da função conforme seu tipo.

   Antes de configurar uma função CDH, certifique-se de ter registrado o cluster CDH como recurso de computação no DataWorks e feito upload do recurso CDH necessário. A tabela a seguir descreve os principais parâmetros de uma função CDH.

   Parâmetro	Descrição
   Function type	Selecione um tipo de função: MATH (matemática), AGGREGATE (agregação), STRING (manipulação de strings), DATE (data), ANALYTIC (analítica) ou OTHER (outra).
   Data Sources	Selecione uma fonte de dados CDH existente.
   Class Name	Nome da classe da função definida pelo usuário (UDF), no formato ResourceName.ClassName. O nome do recurso pode ser um nome de pacote Java ou um nome de recurso de arquivo. Ao criar uma função personalizada no DataWorks, use recursos CDH do tipo JAR ou File. Se o tipo de recurso for JAR, o formato do Class Name será PackageName.ActualClassName. Obtenha esse valor no IntelliJ IDEA usando o comando Copy Reference. Por exemplo, se o nome do pacote for com.aliyun.cdh.examples.udf e o nome real da classe for UDAFExample, defina o parâmetro Class Name como com.aliyun.cdh.examples.udf.UDAFExample. Nota Não inclua o sufixo .jar no nome do recurso. Publique o recurso antes de usá-lo.
   Resource List	Para funções CDH, somente o modo visual é compatível. Esse modo exige a seleção de um recurso CDH Jar ou CDH File.
   Command Format	Exemplo de uso da UDF.

3. Na barra de ferramentas superior, clique em Save e depois em Publish para publicar a função. Somente funções publicadas podem ser usadas no desenvolvimento de dados.

Usar uma função

Após criar e publicar uma função, referencie-a no desenvolvimento de dados ou em consultas SQL.

• Ao editar um nó de desenvolvimento de dados, clique em Resource Management no painel de navegação à esquerda. Localize o recurso ou função, clique com o botão direito nele e escolha Insert Function.

  Ao referenciar a função, o nome dela é inserido no editor do nó atual, por exemplo: example_function().

• Ao editar uma consulta SQL, use a função diretamente.

SELECT example_function(column_name) FROM table;