DataWorks:Criar uma função do EMR

Pré-requisitos

• Os tipos de mecanismo do EMR incluem DataLake e Hadoop. Conclua as preparações necessárias no EMR e no DataWorks conforme o tipo de mecanismo.

  • DataLake: Para mais informações, consulte DataLake cluster configuration e DataWorks configuration.

  • Hadoop: Preparations for Hadoop cluster development.

• Carregue os recursos antes de registrar uma função. Para mais informações, consulte Create and use EMR resources.

Procedimento

1. Acesse a página DataStudio.

   Faça login no console do DataWorks. Na região de destino, clique em Data Development and O&M > Data Development no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Data Development.

2. Crie um workflow. Para mais informações, consulte Create a scheduled workflow.

3. Escreva o programa em um ambiente Java local, empacote-o em um arquivo JAR e crie e envie um recurso JAR. Para mais informações, consulte Create and use EMR resources.

4. Crie uma função.

   1. Abra o workflow desejado, clique com o botão direito em EMR e selecione Create Function.

   2. Na caixa de diálogo Create Function, insira um Name, selecione uma Engine Instance e um Path.

   3. Clique em Create.

   4. Na caixa de diálogo Register Function, configure os parâmetros a seguir.

      Parâmetro	Descrição
      Function Type	Selecione o tipo da função. As opções incluem Mathematical Operation Functions, Aggregate Functions, String Processing Functions, Date Functions, Window Functions e Other Functions.
      EMR engine instance	Exibe um valor padrão não editável.
      EMR engine type	Exibe um valor padrão não editável.
      EMR database	Selecione um banco de dados na lista suspensa. Para criar um novo banco de dados, clique em Create Database. Na caixa de diálogo Create Database, configure os parâmetros e clique em OK.
      Function Name	Nome da UDF usado nas instruções SQL. Deve ser globalmente único e não pode ser alterado após o registro.
      Owner	O proprietário é exibido por padrão.
      Class Name	Obrigatório. Nome da classe principal que implementa a UDF.
      Resources	Obrigatório. Selecione um recurso no workspace atual. Para criar um recurso, clique em Create Resource. Na caixa de diálogo Create Resource, configure os parâmetros e clique em Determine.
      Description	Breve descrição da UDF.
      Expression Syntax	Exemplo de uso da UDF, como test.
      Parameter Description	Tipos de parâmetros de entrada e retorno compatíveis.
      Return Value	Opcional. Valor de retorno, como 1.
      Example	Opcional. Exemplo de uso.

5. Salve clicando no ícone Salvar na barra de ferramentas.

6. Envie a função.

   1. Clique no ícone Enviar na barra de ferramentas.

      Nota

      Ao enviar a função, selecione um grupo de recursos de agendamento. Recomendamos usar um grupo de recursos serverless. Com esse tipo de grupo, o DataWorks envia a tarefa de registro da função ao mecanismo EMR, que a executa e gera logs de execução para solução de problemas. Se nenhum grupo de recursos serverless estiver disponível, adquira e configure um. Para mais informações, consulte Use serverless resource groups.

   2. Na caixa de diálogo Commit Node, insira uma Change Description.

   3. Clique em OK.