DataWorks:Recursos e funções do Flink

Recursos

Na página Resource Management do Data Studio, faça upload de recursos locais para o Flink por meio do DataWorks. Em seguida, use esses recursos para desenvolver jobs do Flink no DataWorks ou criar funções personalizadas.

Limitações

Os recursos enviados devem obedecer aos seguintes limites:

• Tamanho do recurso:

  • Edição online: tamanho máximo de 10 MB para recursos Python e 500 KB para recursos File.

  • Upload de arquivo local: tamanho máximo de 500 MB por recurso.

  • Upload de arquivo do OSS: tamanho máximo de 500 MB por recurso.

• Publicação de recurso: Ao usar um workspace em modo padrão, publique o recurso no ambiente de produção antes de usá-lo.

  Nota

  As informações da source de dados podem diferir entre os ambientes de desenvolvimento e produção. Antes de consultar tabelas ou recursos, confirme as informações da source de dados do ambiente atual.

• Gerenciamento de recursos: No DataWorks, visualize e gerencie apenas os recursos enviados pela interface do usuário do DataWorks.

Criar um recurso

Faça upload de recursos do Flink a partir de um arquivo local. Referencie diretamente um recurso criado para desenvolvimento de dados ou registre-o como função. Os recursos do Flink incluem os seguintes tipos:

• Flink Jar: pacote JAR Java compilado com extensão .jar, usado para executar programas Java ou criar funções personalizadas.

• Flink File: destinado ao upload de arquivos de qualquer tipo para o Flink. Podem ser usados como arquivos de dependência adicionais para nós Flink JAR e Flink Python, como Python Libraries e Python Archives.

• Flink Python: usado para enviar arquivos Python com extensão .py ao Flink para desenvolvimento em nós Flink Python. Para enviar um arquivo .zip, use o tipo de recurso Flink File. O arquivo enviado também pode servir como ponto de entrada principal para um job Python.

1. Na página Resource Management, crie um recurso para abrir a caixa de diálogo Create Resource and Function. Configure o Type do recurso, o Path de armazenamento e o Name do recurso.

2. Após criar o recurso, faça upload de um arquivo local como origem do arquivo.

3. Na barra de ferramentas superior, clique em Save e Publish no recurso. Apenas recursos implantados podem ser usados no desenvolvimento de dados.

Usar um recurso

Depois de criar um recurso, ao editar um nó de desenvolvimento de dados, clique em Resource Management na barra de navegação à esquerda. Localize o recurso ou função desejado, clique com o botão direito e selecione Insert Resource Path. Após referenciar o recurso com sucesso, o código no formato --@resource_reference{"Resource Name"} será exibido.

Por exemplo, um nó Flink SQL Streaming exibe o formato --@resource_reference{"example.jar"}. O formato de exibição pode variar conforme o tipo de nó. Consulte a interface para obter detalhes.

Além de usar recursos diretamente, você também pode registrar um recurso como função e depois usá-lo em nós de desenvolvimento de dados.

Funções

No Resource Management do Data Studio, registre recursos como funções. Para o desenvolvimento de dados, use funções integradas fornecidas pelo Flink e funções personalizadas do Flink.

Criar uma função

1. Na página Resource Management, crie uma função para abrir a caixa de diálogo Create Resource and Function. Configure o Type da função, o Path de armazenamento e o Name da função.

2. Clique em Confirm para criar um recurso de função e configure as informações da função com base no tipo.

   Antes de configurar uma função do Flink, certifique-se de ter criado o cluster do Flink como recurso de computação no DataWorks e de ter feito upload do recurso do Flink necessário. A tabela a seguir descreve os parâmetros de uma função do Flink.

   Parâmetro	Descrição
   Function type	Selecione um tipo de função: MATH (funções matemáticas), AGGREGATE (funções de agregação), STRING (funções de processamento de strings), DATE (funções de data), ANALYTIC (funções de janela) ou OTHER (outras funções).
   Flink cluster	Selecione um cluster do Flink registrado na lista suspensa.
   Resource List	Ao configurar uma função do Flink, selecione apenas um recurso Flink Jar na lista suspensa da interface visual.
   Command Format	Exemplo de uso desta UDF.

3. Na barra de ferramentas superior, clique em Save e Publish na função. Apenas funções implantadas podem ser usadas no desenvolvimento de dados.

Usar uma função

Após criar e implantar uma função, ao editar um nó de desenvolvimento de dados, clique em Resource Management na barra de navegação à esquerda. Localize o recurso ou função desejado, clique com o botão direito e selecione Insert Function. O nome da função personalizada é gerado automaticamente na página de edição do nó atual, por exemplo: example_function().