MaxCompute:Desenvolver uma UDF em Python 2

Declaração de codificação

Adicione uma declaração de codificação no início de qualquer arquivo de UDF que contenha caracteres chineses. Sem ela, o MaxCompute retorna um erro durante a execução. Os dois formatos abaixo são equivalentes:

#coding:utf-8

# -*- coding: utf-8 -*-

Importação de módulo

Toda UDF deve importar o módulo de assinatura da função:

from odps.udf import annotate

Para referenciar arquivos ou tabelas no código da UDF, importe também de odps.distcache:

from odps.distcache import get_cache_file   # for file resources
from odps.distcache import get_cache_table  # for table resources

Assinatura da função

O decorador @annotate define os tipos de dados dos parâmetros de entrada e do valor de retorno. O MaxCompute verifica a consistência dos tipos durante a análise semântica e retorna um erro se houver incompatibilidade.

@annotate("bigint,bigint->bigint")

Para ver a sintaxe completa da assinatura, consulte Assinaturas de função e tipos de dados.

Exemplo mínimo

O exemplo a seguir mostra uma UDF completa e funcional que soma dois números inteiros. Ele abrange todos os componentes obrigatórios.

#coding:utf-8
# Import the function signature.
from odps.udf import annotate

# Define input types (BIGINT, BIGINT) and return type (BIGINT).
@annotate("bigint,bigint->bigint")
class MyPlus(object):
    def evaluate(self, arg0, arg1):
        if None in (arg0, arg1):
            return None
        return arg0 + arg1

Operações proibidas

O MaxCompute executa o código de UDFs em Python 2 dentro de uma sandbox. As seguintes operações não são permitidas:

• Leitura ou gravação em arquivos locais

• Início de subprocessos

• Início de threads

• Abertura de conexões de socket

• Chamada de UDFs em Python 2 a partir de sistemas externos

Devido a essas restrições, todo o código enviado deve usar apenas as bibliotecas padrão do Python. Não é possível usar módulos ou módulos de extensão C que executem as operações proibidas listadas acima.

Módulos disponíveis na biblioteca padrão

Todos os módulos escritos puramente em Python da biblioteca padrão (aqueles sem dependência de módulos de extensão C) estão disponíveis.

Os seguintes módulos de extensão C também estão disponíveis:

• array, audioop

• binascii, bisect

• cmath, _codecs_cn, _codecs_hk, _codecs_iso2022, _codecs_jp, _codecs_kr, _codecs_tw, _collections, cStringIO

• datetime

• _functools, future_builtins

• _heapq, _hashlib

• itertools

• _json

• _locale, _lsprof

• math, _md5, _multibytecodec

• operator

• _random

• _sha256, _sha512, _sha, _struct, strop

• time

• unicodedata

• _weakref

• cPickle

Formato da assinatura

@annotate('<arg_type_list>-><return_type>')

arg_type_list especifica os tipos dos parâmetros de entrada, separados por vírgulas. Aceita duas formas especiais:

• * — aceita qualquer número de parâmetros de entrada

• '' (string vazia) — não aceita parâmetros de entrada

return_type especifica o tipo do único valor de retorno.

Tipos de entrada e retorno compatíveis: BIGINT, STRING, DOUBLE, BOOLEAN, DATETIME, DECIMAL, FLOAT, BINARY, DATE, DECIMAL(precision,scale), CHAR, VARCHAR e os tipos complexos ARRAY, MAP, STRUCT (incluindo tipos complexos aninhados).

Exemplos de assinatura

Mapeamento de tipos de dados

Escreva a lógica da UDF em Python usando os tipos do Python 2 correspondentes aos tipos do MaxCompute SQL. Incompatibilidades de tipo causam erros de execução.

Observações adicionais:

• NULL no MaxCompute SQL corresponde a None no Python 2.

• O parâmetro silent foi adicionado a odps.udf.int(value). Se silent estiver definido como True e o valor não puder ser convertido para int, a função retornará None em vez de gerar um erro.

Referenciar um arquivo

get_cache_file(resource_name) retorna um objeto semelhante a um arquivo com o conteúdo do recurso de arquivo especificado.

• resource_name deve ser o nome de um recurso de arquivo existente no seu projeto MaxCompute. Se o nome for inválido ou o arquivo não existir, o sistema retornará um erro.

• Declare o recurso de arquivo ao criar a UDF. Caso contrário, a chamada da UDF retornará um erro.

• Chame close() no objeto retornado após concluir o uso.

from odps.udf import annotate
from odps.distcache import get_cache_file

@annotate('bigint->string')
class DistCacheExample(object):
    def __init__(self):
        cache_file = get_cache_file('test_distcache.txt')
        kv = {}
        for line in cache_file:
            line = line.strip()
            if not line:
                continue
            k, v = line.split()
            kv[int(k)] = v
        cache_file.close()
        self.kv = kv

    def evaluate(self, arg):
        return self.kv.get(arg)

Referenciar uma tabela

get_cache_table(resource_name) retorna um gerador. Cada iteração produz um registro na forma de lista.

• resource_name deve ser o nome de um recurso de tabela existente no seu projeto MaxCompute. Se o nome for inválido ou a tabela não existir, o sistema retornará um erro.

from odps.udf import annotate
from odps.distcache import get_cache_table

@annotate('->string')
class DistCacheTableExample(object):
    def __init__(self):
        self.records = list(get_cache_table('udf_test'))
        self.counter = 0
        self.ln = len(self.records)

    def evaluate(self):
        if self.counter > self.ln - 1:
            return None
        ret = self.records[self.counter]
        self.counter += 1
        return str(ret)