MaxCompute:Desenvolver uma UDF Python

Pré-requisitos

Antes de começar, conclua as seguintes etapas:

• Gerencie conexões de projeto

• Configure um ambiente de desenvolvimento Python

Desenvolver uma UDF Python

1. No painel Project, no diretório MaxCompute Studio, clique com o botão direito em scripts e selecione New > MaxCompute Python.

2. Na caixa de diálogo Crie nova classe MaxCompute python, insira um nome de classe no campo Name, defina Kind como Python UDF e clique em OK.

3. Escreva o código da UDF no editor.

   from odps.udf import annotate
   @annotate("bigint,bigint->bigint")
   class Hello(object):
       def evaluate(self, arg0, arg1):
           if None in (arg0,arg1):
               return None
           return arg0+arg1

Testar a UDF

O MaxCompute Studio oferece suporte a testes locais. Baixe dados de amostra de uma tabela e use-os para executar e depurar a UDF localmente.

1. Clique com o botão direito no script da UDF Python e selecione EXECUTE.

2. Na página Edite configuração, configure os parâmetros necessários e clique em OK.

   • MaxCompute project: projeto MaxCompute onde a UDF é executada. Se você já configurou uma conexão de projeto em Gerencie conexões de projeto, esse campo assume o projeto como padrão. Também é possível adicionar outros projetos conforme solicitado.

   • MaxCompute table: tabela de source para a execução da UDF. Selecione uma tabela na lista suspensa do projeto MaxCompute escolhido.

   • Table columns: colunas utilizadas pela UDF.

   • Baixe limite de registros: número máximo de registros a baixar. Padrão: 100.

   Nota

   • Se os dados já foram baixados, o MaxCompute Studio não os baixa novamente. Para baixar os dados outra vez, execute o comando Tunnel no cliente MaxCompute.

   • Por padrão, o sistema baixa 100 registros. Para testar com mais dados, use o comando Tunnel no cliente MaxCompute ou o recurso de download de tabelas do MaxCompute Studio.

   • Após a conclusão do download, os dados de amostra ficam disponíveis no arquivo data da tabela, no diretório warehouse.

3. A estrutura de execução local recupera dados das colunas especificadas no arquivo data e executa a UDF localmente.

   Nota

   As execuções locais usam o script

   pyou

   do PyODPS. O comando é

   pyou hello.Hello<data

   . Após instalar o PyODPS, verifique se o script existe executando o seguinte comando:

   • No Windows, execute o comando ${python}/../Scripts/pyou.

   • No macOS, execute o comando ${python}/../pyou.

4. O exemplo a seguir mostra o código source de uma UDF Python. Após executar o código, visualize a saída no console.

   from odps.udf import annotate
   @annotate("bigint,bigint->bigint")
   class Plus(object):
       def evaluate(self, arg0, arg1):
           if None in (arg0, arg1):
               return None
           return arg0 + arg1

Publicar uma UDF Python

Depois que a UDF Python passar nos testes, publique-a em um ambiente de produção. Para mais informações, consulte Upload and register a function.