MaxCompute:Python 2 UDTF

Yöntemler

Örnek

Aşağıdaki UDTF virgülle ayrılmış bir dizeyi böler ve her değeri ayrı bir satır olarak yayar.

#coding:utf-8
from odps.udf import annotate
from odps.udf import BaseUDTF

@annotate('string -> string')
class Explode(BaseUDTF):
    def process(self, arg):
        props = arg.split(',')
        for p in props:
            self.forward(p)

İmza biçimi

@annotate('arg_type_list -> type_list')

• arg_type_list: Giriş parametresi türlerinin virgülle ayrılmış listesi. Herhangi bir sayıda bağımsız değişkeni kabul etmek için * kullanın veya bağımsız değişken kabul etmemek için boş bırakın.

• type_list: Dönüş değeri türlerinin virgülle ayrılmış listesi. Bir UDTF birden çok sütun döndürebilir.

Aşağıdaki tabloda geçerli imza örnekleri gösterilmektedir.

Anlamsal ayrıştırma sırasında MaxCompute gerçek bağımsız değişkenlerin veri türlerinin imzayla eşleşip eşleşmediğini denetler. Eşleşmeme durumunda hata döndürülür.

Veri türü eşlemeleri

UDTF kodunu MaxCompute SQL türlerine karşılık gelen Python türlerini kullanarak yazın.

Tür işlemeye ilişkin ek notlar:

• MaxCompute SQL'deki NULL, Python'da None değerine eşlenir.

• odps.udf.int(value, silent=True) ifadesi değer int'e dönüştürülemediğinde hata vermek yerine None döndürür.

# -*- coding: utf-8 -*-
from odps.udf import annotate
from odps.udf import BaseUDTF
from odps.distcache import get_cache_file
from odps.distcache import get_cache_table

@annotate('string -> string, bigint')
class UDTFExample(BaseUDTF):
    def __init__(self):
        import json
        # Load the JSON file resource into a dict
        cache_file = get_cache_file('test_json.txt')
        self.my_dict = json.load(cache_file)
        cache_file.close()
        # Merge records from the table resource
        records = list(get_cache_table('table_resource1'))
        for record in records:
            self.my_dict[record[0]] = [record[1]]

    def process(self, pageid):
        # Emit one row per ad ID associated with the page
        for adid in self.my_dict[pageid]:
            self.forward(pageid, adid)

Kullanılabilir C uzantı modülleri

Korumalı alanda aşağıdaki C uzantı modülleri kullanılabilir:

array, audioop, binascii, bisect, cmath, _codecs_cn, _codecs_hk, _codecs_iso2022, _codecs_jp, _codecs_kr, _codecs_tw, _collections, cStringIO, datetime, _functools, future_builtins, _heapq, _hashlib, itertools, _json, _locale, _lsprof, math, _md5, _multibytecodec, operator, _random, _sha256, _sha512, _sha, _struct, strop, time, unicodedata, _weakref, cPickle

Uzantı modüllerine bağlı olmayan ve tamamen Python'da uygulanmış tüm modüller de kullanılabilir.

Çıkış boyutu sınırı

sys.stdout veya sys.stderr konumuna yazma işlemi 20 KB ile sınırlıdır. Bu sınırın üzerindeki karakterler sessizce atılır.