DataWorks:Recursos e funções do MaxCompute

Visão geral de recursos

Os recursos constituem a base para implementar UDF ou MapReduce no MaxCompute. No Data Studio, você pode fazer upload de recursos do computador local ou do OSS pela interface gráfica. Esses recursos podem ser lidos e utilizados durante a execução de funções definidas pelo usuário (UDFs) e jobs MapReduce. A tabela a seguir descreve os tipos de recursos do MaxCompute compatíveis.

Limites

As seguintes restrições se aplicam ao fazer upload de recursos:

• Tamanho do recurso:

  • Edição online: O tamanho máximo é de 10 MB para recursos Python e 500 KB para recursos do tipo File.

  • Upload de arquivo local: O tamanho máximo do recurso é de 500 MB.

  • Upload de arquivo do OSS: O tamanho máximo do recurso é de 500 MB.

• Implantação de recursos: Se você utilizar um workspace no modo padrão, implante os recursos no ambiente de produção para que entrem em vigor.

  Nota

  As informações da fonte de dados podem diferir entre os ambientes de desenvolvimento e produção. Antes de consultar tabelas ou recursos em um ambiente, verifique as informações da fonte de dados correspondente.

• Gerenciamento de recursos: O DataWorks permite visualizar e gerenciar apenas os recursos enviados por meio de sua própria plataforma.

Criar um recurso

Você pode fazer upload de recursos do MaxCompute a partir do computador local ou do OSS. Após criar um recurso, referencie-o diretamente no Data Studio ou registre-o como uma função.

1. Na página Resource Management, crie um recurso. Na caixa de diálogo Create Resource and Function, especifique o Type do recurso, o Path de armazenamento e o Name do recurso.

2. Faça upload de um arquivo do OSS ou do computador local como source. A tabela a seguir descreve os principais parâmetros para upload de recursos.

   Parâmetro	Descrição
   File source	A origem do arquivo. Os valores válidos são Local e OSS.
   File content	Se selecionar Local, na seção Document Content, clique em Click Upload para enviar um arquivo local. Caso selecione OSS, escolha o arquivo do OSS na lista suspensa Document Content.
   Data source	Selecione a fonte de dados à qual pertence o recurso do MaxCompute enviado.

3. Na barra de ferramentas superior, clique em Save e depois em Publish para o recurso. Somente recursos implantados podem ser usados no Data Studio.

Usar um recurso

Após criar um recurso, abra um nó de desenvolvimento de dados para edição e clique em Resource Management no painel de navegação à esquerda. Localize o recurso ou função, clique com o botão direito sobre ele e escolha Insert Resource Path. Depois que o recurso for referenciado, aparecerá um código no seguinte formato: ##@resource_reference{"resource_name"}.

Além de usar um recurso diretamente, você pode registrá-lo como uma função e então utilizá-la em um nó de desenvolvimento de dados.

Gerenciar recursos

O DataWorks permite visualizar e gerenciar apenas os recursos enviados por meio de sua interface gráfica. Na página Resource Management, clique em um recurso para executar as operações de gerenciamento relevantes.

• Visualizar versões históricas: Examine e compare versões implantadas de recursos para identificar alterações entre elas.

  Nota

  Selecione pelo menos duas versões para comparação.

• Excluir um recurso: A exclusão remove o recurso apenas do projeto no ambiente de desenvolvimento. Para removê-lo do ambiente de produção, implante a operação de exclusão. O recurso só será retirado do ambiente de produção após o sucesso da implantação. Para mais informações, consulte Implantar um nó.

• Visualizar outros recursos.

  Um projeto do MaxCompute também pode conter recursos enviados por métodos externos ao DataWorks. Visualize esses recursos das seguintes formas:

  • Use o Data Catalog Management para visualizar todos os recursos de um projeto do MaxCompute.

    Após adicionar um projeto do MaxCompute ao Data Catalog, abra o catálogo correspondente e visualize todos os recursos do projeto no diretório de recursos.

  • Use um nó MaxCompute SQL para visualizar outros recursos em um projeto do MaxCompute.

    • Liste todos os recursos no projeto atual. Ao criar um script MaxCompute SQL no Data Studio e executar este comando, o recurso de computação do MaxCompute associado ao ambiente de desenvolvimento será acessado por padrão.

      list resources;

    • Liste todos os recursos em um projeto específico.

      use maxcompute_project_name;
      list resources;

    Para mais informações sobre comandos de recursos, consulte Gerenciar recursos.

Visão geral de funções

No Resource Management do Data Studio, você pode registrar recursos como funções para uso em nós de desenvolvimento de dados ou consultas SQL. Siga o procedimento em Criar uma função para registrar recursos enviados e implantados como funções. Também é possível criar funções incorporadas usando JAVA, PYTHON2 ou PYTHON3, ou diretamente usar funções integradas do MaxCompute.

Criar uma função

1. Na página Resource Management, crie uma função. Na caixa de diálogo Create Resource and Function, especifique o Type da função, o Path de armazenamento e o Name da função.

2. Crie um recurso de função e defina suas configurações.

   Antes de configurar uma função do MaxCompute, certifique-se de ter registrado o projeto do MaxCompute como um recurso de computação no DataWorks e de ter feito upload de um recurso do MaxCompute. A tabela a seguir descreve os principais parâmetros para uma função do MaxCompute.

   Parâmetro	Descrição
   Function type	Selecione o tipo de função. Os valores válidos são MATH (funções matemáticas), AGGREGATE (funções agregadas), STRING (funções de string), DATE (funções de data), ANALYTIC (funções de janela) e OTHER (outras funções).
   Class Name	O nome da classe da UDF, no formato resource_name.class_name. O nome do recurso pode ser um nome de pacote Java ou um nome de recurso Python. O DataWorks oferece suporte a recursos JAR e Python do MaxCompute para criação de UDFs. Configure o nome da classe com base no tipo de recurso: Para um recurso JAR, defina Class Name como java_package_name.class_name. No IntelliJ IDEA, use Copy Reference para obter o valor. Por exemplo, se com.aliyun.odps.examples.udf for o nome do pacote Java e UDAFExample for o nome da classe, defina Class Name como com.aliyun.odps.examples.udf.UDAFExample. Para um recurso Python, defina Class Name como python_resource_name.class_name. Por exemplo, se LcLognormDist_sh for o nome do recurso Python e LcLognormDist_sh for o nome da classe, defina Class Name como LcLognormDist_sh.LcLognormDist_sh. Nota Não inclua a extensão .jar ou .py no nome do recurso. É obrigatório enviar e implantar um recurso antes de usá-lo.
   Type	Selecione Resource function ou Embedded function: Ao escolher Resource function, configure a Resource List. Caso opte por Embedded function, além de selecionar a Resource List, configure a Language (há suporte para JAVA, PYTHON2 e PYTHON3) e o Code.
   Resource List	Selecione os recursos necessários para registrar a função. Modo assistente: Apenas recursos enviados ou adicionados ao DataWorks podem ser selecionados. Modo script: Permite inserir quaisquer recursos presentes na fonte de dados correspondente. Se uma UDF utilizar múltiplos recursos, separe os nomes com vírgulas (,). Nota Não é necessário especificar caminhos de recursos já adicionados anteriormente. No modo script, é possível especificar manualmente recursos cujo upload não é suportado pela interface gráfica do DataWorks, como recursos de tabela, bem como recursos enviados ao MaxCompute por outros meios e não gerenciados via interface gráfica.
   Command Format	Exemplo demonstrando como utilizar a UDF.

3. Na barra de ferramentas superior, clique em Save e depois em Publish para a função. Somente funções implantadas podem ser usadas no Data Studio.

Usar funções

SELECT example_function(column_name) FROM table;