DataWorks:Recursos e funções do Flink

Recursos

No Data Studio, você pode fazer upload de recursos locais para o Flink por meio do DataWorks. Esses recursos podem ser usados para desenvolver jobs do Flink ou para criar custom functions.

Limitações

Os recursos enviados por upload devem obedecer aos seguintes limites:

• Tamanho do recurso:

  • Edição online: o tamanho máximo é de 10 MB para recursos Python e 500 KB para recursos File.

  • Upload de arquivo local: o tamanho máximo do recurso é de 500 MB.

  • Upload de arquivo do OSS: o tamanho máximo do recurso é de 500 MB.

• Implantação de recursos: se você usar um workspace in standard mode, deverá implantar os recursos no ambiente de produção para que entrem em vigor.

  Nota

  As informações da source de dados podem diferir entre os ambientes de desenvolvimento e produção. Antes de consultar tabelas ou recursos, confirme as informações da source de dados do ambiente atual.

• Gerenciamento de recursos: o DataWorks permite que você visualize e gerencie apenas os recursos enviados por upload através do DataWorks.

Crie um recurso

Faça upload de recursos do Flink a partir de um arquivo local. Um recurso criado pode ser referenciado diretamente no desenvolvimento de dados ou registrado como uma função. Os recursos do Flink incluem os seguintes tipos:

• Flink Jar: um pacote JAR Java compilado com a extensão .jar, usado para execute programas Java ou criar funções personalizadas.

• Flink File: faz upload de arquivos de qualquer tipo para o Flink. Estes podem servir como arquivos de dependência adicionais para nós Flink JAR e Flink Python, como Python Libraries e Python Archives.

• Flink Python: faz upload de arquivos Python com a extensão .py para o Flink, para desenvolvimento em nós Flink Python. Para fazer upload de um arquivo .zip, use o tipo de recurso Flink File. O arquivo enviado também pode servir como ponto de entrada principal para um job Python.

1. Na página Resource Management, crie um recurso. Na caixa de diálogo Crie Resource and Function, especifique o Type do recurso, o Path de armazenamento e o Name do recurso.

2. Após criar o recurso, faça upload de um arquivo local para ele como a source do arquivo.

3. Na barra de ferramentas superior, clique em Save e em Publish para o recurso, pois apenas recursos deployed podem ser usados no desenvolvimento de dados.

Usar um recurso

Após criar um recurso, abra um nó de desenvolvimento de dados para edição. Clique em Resource Management no painel de navegação à esquerda, encontre o recurso ou a função de destino, clique com o botão direito e selecione Insert Resource Path. Após o recurso ser referenciado, o código no formato --@resource_reference{"Resource Name"} será exibido.

Por exemplo, um nó Flink SQL Streaming exibe o formato --@resource_reference{"example.jar"}. O formato de exibição pode variar de acordo com o tipo de nó. Consulte a interface real para mais detalhes.

Você também pode register a resource as a function e usá-lo em nós de desenvolvimento de dados.

Funções

No Resource Management do Data Studio, você pode registrar recursos como funções. Para o desenvolvimento de dados, você pode usar built-in Flink functions e Flink custom functions.

Crie uma função

1. Na página Resource Management, crie uma função. Na caixa de diálogo Crie Resource and Function, especifique o Type da função, o Path de armazenamento e o Name da função.

2. Clique em Confirm para criar um recurso de função e, em seguida, configure as informações da função com base no tipo de função.

   Antes de configure uma função Flink, certifique-se de ter criado o cluster Flink como um recurso de computação no DataWorks e de ter feito upload do Flink resource necessário. A tabela a seguir descreve os parâmetros de uma função Flink.

   Parâmetro	Descrição
   Function type	Selecione um tipo de função: MATH (funções matemáticas), AGGREGATE (funções de agregação), STRING (funções de processamento de strings), DATE (funções de data), ANALYTIC (funções de janela) ou OTHER (outras funções).
   Flink cluster	Selecione um cluster Flink registrado na lista suspensa.
   Resource List	Apenas recursos Flink Jar podem ser selecionados na lista suspensa da interface visual.
   Command Format	Um exemplo de como usar a UDF.

3. Na barra de ferramentas superior, clique em Save e em Publish para a função, pois apenas funções deployed podem ser usadas no desenvolvimento de dados.

Usar uma função

Após a criação e implantação de uma função, abra um nó de desenvolvimento de dados para edição. Clique em Resource Management no painel de navegação à esquerda, encontre o recurso ou a função de destino, clique com o botão direito e selecione Insert Function. O nome da função personalizada é inserido automaticamente na página de edição do nó atual, por exemplo: example_function().