MaxCompute:Python 2'de UDF Geliştirme

Python 2'de UDF kodu yazmak için MaxCompute Studio kullanabilirsiniz. UDF kodu aşağıdaki öğeleri içerebilir:

• Kodlama bildirimi: İsteğe bağlı.

  Bildirim biçimi #coding:utf-8 veya # -*- coding: utf-8 -*- şeklindedir. Her iki biçim de eşdeğerdir. Python 2 ile yazılan UDF kodunda Çince karakterler bulunursa UDF'yi çalıştırdığınızda hata alırsınız. Bu sorunu çözmek için kodun başına bir kodlama bildirimi eklemeniz gerekir.

• Modül içeri aktarma: Zorunlu.

  UDF kodu, işlev imzasını içeri aktarmak için kullanılan from odps.udf import annotate ifadesini içermelidir. Böylece MaxCompute, kodda tanımlanan işlev imzasını tanımlayabilir. UDF kodunda dosyalara veya tablolara başvurmak istiyorsanız kod from odps.distcache import get_cache_file veya from odps.distcache import get_cache_table ifadelerini içermelidir.

• İşlev imzası: Zorunlu.

  İşlev imzası @annotate(<signature>) biçimindedir. signature parametresi, UDF'nin giriş parametrelerinin ve dönüş değerinin veri türlerini tanımlar. İşlev imzaları hakkında daha fazla bilgi için bkz. İşlev imzaları ve veri türleri.

• Özel Python sınıfı: Zorunlu.

  Özel bir Python sınıfı, UDF kodunun yapı taşıdır. Bu sınıf, iş gereksinimlerinizi karşılamak için kullanılan değişkenleri ve yöntemleri tanımlar. UDF kodunda MaxCompute'a yüklü üçüncü taraf kitaplıklara başvurabilir veya dosya ve tablolara erişebilirsiniz. Daha fazla bilgi için bkz. Üçüncü taraf kitaplıklar veya Kaynaklara başvurma.

• evaluate yöntemi: Zorunlu.

  Evaluate yöntemi özel Python sınıfında yer alır. evaluate yöntemi, UDF'nin giriş parametrelerini ve dönüş değerini tanımlar. Her Python sınıfı yalnızca bir evaluate yöntemi içerebilir.

Örnek kod:

#coding:utf-8
# Import the function signature. 
from odps.udf import annotate
# The function signature. 
@annotate("bigint,bigint->bigint")
# The custom Python class. 
class MyPlus(object):
# The evaluate method. 
   def evaluate(self, arg0, arg1):
       if None in (arg0, arg1):
           return None
       return arg0 + arg1

MaxCompute, Python 2.7 ile Python 2 UDF'leri yazmanıza ve UDF kodunu bir korumalı alan ortamında çalıştırmanıza olanak tanır. Bu ortamda aşağıdaki işlemler yasaktır:

• Yerel dosyalardan veri okuma ve bu dosyalara veri yazma.

• Alt işlem başlatma.

• İş parçacığı başlatma.

• Soket iletişimini etkinleştirme.

• Diğer sistemleri kullanarak Python 2 UDF'lerini çağırma.

Bu sınırlamalar nedeniyle yüklediğiniz kod Python standart kitaplıkları kullanılarak yazılmalıdır. Yukarıdaki işlemler Python standart kitaplıklarındaki modülleri veya C genişletme modüllerini içeriyorsa bu modüller kullanılamaz. Python standart kitaplıklarındaki modüllerle ilgili aşağıdaki noktalara dikkat edin:

• Python standart kitaplıklarına dayalı olarak uygulanan ve genişletme modüllerine bağımlı olmayan tüm modüller kullanılabilir.

• Aşağıdaki C genişletme modülleri kullanılabilir:

  • array ve audioop

  • binascii ve bisect

  • cmath, _codecs_cn, _codecs_hk, _codecs_iso2022, _codecs_jp, _codecs_kr, _codecs_tw, _collections ve cStringIO

  • datetime

  • _functools ve future_builtins

  • _heapq ve _hashlib

  • itertools

  • _json

  • _locale ve _lsprof

  • math, _md5 ve _multibytecodec

  • operator

  • _random

  • _sha256, _sha512, _sha, _struct ve strop

  • time

  • unicodedata

  • _weakref

  • cPickle

• UDF kodunu korumalı alan ortamında çalıştırdığınızda standart çıktıya (sys.stdout) veya standart hata çıktısına (sys.stderr) yazılabilecek maksimum veri boyutu 20 KB'dır. Boyut 20 KB'yi aşarsa ekstra karakterler yoksayılır.

NumPy gibi üçüncü taraf kitaplıklar, standart kitaplıklara ek olarak MaxCompute'ın Python 2 ortamına yüklenmiştir.

İşlev imzalarının biçimi:

@annotate(<signature>)

signature parametresi, giriş parametrelerinin ve dönüş değerinin veri türlerini belirten bir dizedir. Bir UDF'yi çalıştırdığınızda UDF'nin giriş parametrelerinin ve dönüş değerinin veri türleri işlev imzasında belirtilen veri türleriyle tutarlı olmalıdır. Veri türü tutarlılığı anlamsal ayrıştırma sırasında kontrol edilir. Veri türleri tutarlı değilse hata döndürülür. İmza biçimi:

'arg_type_list -> type'

Parametre açıklaması:

• arg_type_list: Giriş parametrelerinin veri türlerini belirtir. Birden çok giriş parametresi kullanılıyorsa veri türleri virgülle (,) ayrılır. Aşağıdaki veri türleri desteklenir: BIGINT, STRING, DOUBLE, BOOLEAN, DATETIME, DECIMAL, FLOAT, BINARY, DATE, DECIMAL(hassasiyet,ölçek), CHAR ve VARCHAR. ARRAY, MAP ve STRUCT gibi karmaşık veri türleri ve iç içe geçmiş karmaşık veri türleri de desteklenir.

  arg_type_list bir yıldız işareti (*) ile temsil edilebilir veya boş bırakılabilir ('').

  • arg_type_list bir yıldız işareti (*) ile temsil edilirse rastgele sayıda giriş parametresine izin verilir.

  • arg_type_list boş bırakılırsa ('') giriş parametresi kullanılmaz.

• type: Dönüş değerinin veri türünü belirtir. Bir UDF için yalnızca bir değer sütunu döndürülür. Aşağıdaki veri türleri desteklenir: BIGINT, STRING, DOUBLE, BOOLEAN, DATETIME, DECIMAL, FLOAT, BINARY, DATE ve DECIMAL(hassasiyet,ölçek). ARRAY, MAP ve STRUCT gibi karmaşık veri türleri ve iç içe geçmiş karmaşık veri türleri de desteklenir.

Aşağıdaki tabloda geçerli işlev imzalarına örnekler verilmiştir.

Python 2 UDF'sini geliştirdikten sonra bu UDF'yi çağırmak için MaxCompute SQL kullanabilirsiniz. Python 2 UDF'sini aşağıdaki yöntemlerden birini kullanarak çağırabilirsiniz:

• MaxCompute projesinde UDF kullanma: Yöntem, yerleşik işlevleri kullanmaya benzer. Kullanıcı tanımlı bir işlevi yerleşik bir işlevi kullandığınız şekilde kullanabilirsiniz.

• Projeler arasında UDF kullanma: Proje B'deki bir UDF'yi Proje A'da kullanın. Aşağıdaki ifade bir örneği gösterir: select B:udf_in_other_project(arg0, arg1) as res from table_t;. Projeler arası paylaşım hakkında daha fazla bilgi için bkz. Paketlere dayalı projeler arası kaynak erişimi.