MaxCompute:UDF geliştirme (Python 3)

UDF kod yapısı

# Import the function signature module.
from odps.udf import annotate
# Define the function signature.
@annotate("bigint,bigint->bigint")
# Define the custom Python class.
class MyPlus(object):
# Implement the evaluate method.
    def evaluate(self, arg0, arg1):
        if None in (arg0, arg1):
            return None
        return arg0 + arg1

Sınırlamalar

• UDF'ler kullanarak İnternet'e erişim

  Varsayılan olarak MaxCompute, UDF'ler kullanarak İnternet'e erişmenize izin vermez. UDF'ler aracılığıyla İnternet'e erişmek istiyorsanız iş gereksinimlerinize göre network connection application form doldurup başvuruyu gönderin. MaxCompute teknik destek ekibi ağ bağlantısını etkinleştirmek için sizinle hızla iletişime geçecektir. Ağ bağlantısı başvuru formunun nasıl doldurulacağı hakkında daha fazla bilgi için bkz. Ağ bağlantısı süreci.

• UDF'ler kullanarak VPC'ye erişim

  Varsayılan olarak MaxCompute, UDF'ler kullanarak VPC'lerdeki kaynaklara erişmenize izin vermez. UDF'lerle bir VPC'deki kaynaklara erişmek için MaxCompute ile VPC arasında bir ağ bağlantısı kurmanız gerekir. İlgili işlemler hakkında daha fazla bilgi için bkz. UDF'den VPC kaynaklarına erişim.

• UDF'ler, UDAF'ler veya UDTF'ler kullanarak tablo verilerini okuma

  UDF'ler, UDAF'ler veya UDTF'ler kullanarak aşağıdaki tablo türlerinden veri okuyamazsınız:

  • Şema evrimi gerçekleştirilen tablo

  • Karmaşık veri türleri içeren tablo

  • JSON veri türleri içeren tablo

  • İşlemsel tablo

Kullanım notları

Python 3, Python 2 ile uyumlu değildir ve ikisi aynı SQL ifadesinde kullanılamaz. Geçiş yapmadan önce uyumluluğu gözden geçirin.

UDF geliştirme: Genel iş akışı

UDF geliştirme; ortamı hazırlama, kod yazma, UDF'yi yükleme ve kaydetme ardından çağırma adımlarını içerir. Aşağıdaki bölümlerde bu iş akışı MaxCompute Studio, DataWorks ve odpscmd kullanılarak adım adım açıklanmaktadır.

NumPy kütüphanesini yükleme

Yerleşik Python 3 çalışma zamanı ortamı NumPy içermez. UDF'niz NumPy gerektiriyorsa WHEEL paketini manuel olarak yükleyin. Paketi PyPI'den veya bir yansıtma sitesinden indirdiğinizde dosya adı numpy-<version>-cp37-cp37m-manylinux1_x86_64.whl formatındadır. Paket yükleme hakkında daha fazla bilgi için bkz. Kaynak işlemleri veya Python UDF'de üçüncü taraf paketi kullanma.

Python 3'ün desteklediği standart kütüphanelerin listesi için bkz. Python 3 standart kütüphanesi.

İşlev imzaları ve veri türleri

@annotate(<signature>)

'arg_type_list -> type'

Aşağıdaki tabloda MaxCompute SQL'de desteklenen veri türleri ile Python 2 veri türleri arasındaki eşlemeler açıklanmaktadır. Veri türlerinin tutarlılığını sağlamak için Python UDF'lerinizi bu eşlemelere göre yazmalısınız.

Kaynaklara başvurma

Python 2 UDF kodunda dosyalara veya tablolara odps.distcache modülünü kullanarak başvurabilirsiniz.

• odps.distcache.get_cache_file(resource_name, mode): Belirtilen dosya kaynağının içeriğini belirtilen mode modunda döndürür.

  • resource_name, MaxCompute projenizdeki mevcut bir tablonun adını belirten bir dizedir. Tablo adı geçersizse veya tablo yoksa bir hata döndürülür.

  • mode parametresi bir STRING'dir. Varsayılan değer 't' değeridir. mode değerini 't' olarak ayarlarsanız dosya metin modunda açılır. mode değerini 'b' olarak ayarlarsanız dosya ikili modda açılır.

  • Dönüş değeri dosya benzeri bir nesnedir. Bu nesne artık kullanılmıyorsa açık dosyayı serbest bırakmak için close yöntemini çağırmanız gerekir.

  Aşağıdaki kod bir dosyaya nasıl başvurulacağını gösterir.

  from odps.udf import annotate
  from odps.distcache import get_cache_file
  @annotate('bigint->string')
  class DistCacheExample(object):
  def __init__(self):
      cache_file = get_cache_file('test_distcache.txt')
      kv = {}
      for line in cache_file:
          line = line.strip()
          if not line:
              continue
          k, v = line.split()
          kv[int(k)] = v
      cache_file.close()
      self.kv = kv
  def evaluate(self, arg):
      return self.kv.get(arg)

• odps.distcache.get_cache_table(resource_name): Belirtilen tablo kaynağının içeriğini döndürür.

  • resource_name parametresi, geçerli MaxCompute projesindeki mevcut bir tablo kaynağını belirtir. Kaynak adı geçersizse veya kaynak yoksa bir özel durum oluşturulur. Desteklenen veri türleri: BIGINT, STRING, DOUBLE, BOOLEAN, DATETIME, FLOAT, CHAR, VARCHAR, BINARY, DATE, DECIMAL, ARRAY, MAP ve STRUCT.

  • Dönüş değeri bir Generator'dur. Her yinelemede bir tablo kaydı dizi olarak elde edilir.

from odps.udf import annotate
from odps.distcache import get_cache_table
@annotate('->string')
class DistCacheTableExample(object):
    def __init__(self):
        self.records = list(get_cache_table('udf_test'))
        self.counter = 0
        self.ln = len(self.records)
    def evaluate(self):
        if self.counter > self.ln - 1:
            return None
        ret = self.records[self.counter]
        self.counter += 1
        return str(ret)

UDF'leri çağırma

set odps.sql.python.version=cp37;

Python 2 UDF'lerini geçirme

UDF örnekleri

• Java'da Hive UDF yazma

• Java UDF'lerinde karmaşık veri türleri kullanma

• Düzenli ifadeler kullanarak dizeleri değiştirme

• Ayırıcı içermeyen dizelerin değerlerini alma

• Ayırıcı içeren dizelerin değerlerini alma

• Dosya kaynağına başvurma

• Tablo kaynağına başvurma

• Python UDF'lerinde üçüncü taraf paketlerine başvurma