MaxCompute:Kod gömülü UDF'ler

Arka plan bilgileri

Açıklama

Kod gömülü UDF'ler, Java veya Python kodunu SQL betiklerine gömmanıza olanak tanır. Bir betiği derlediğinizde Janino-compiler, gömülü kodu belirler ve çıkarır, Java'da derler ve ardından dinamik olarak kaynaklar oluşturarak geçici işlevler tanımlar.

SQL betiklerini ve üçüncü taraf kod satırlarını aynı source dosyasına yerleştirebilirsiniz. Bu durum, UDT veya UDF kullanımını basitleştirir ve günlük geliştirme ile bakımı kolaylaştırır.

Sınırlamalar

UDT'de gömülü koda başvurma

SELECT 
  s, 
  com.mypackage.Foo.extractNumber(s) 
FROM VALUES ('abc123def'),('apple') AS t(s);

#CODE ('lang'='JAVA')
package com.mypackage;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
public class Foo {
  final static Pattern compile = Pattern.compile(".*?([0-9]+).*");
  public static String extractNumber(String input) {
    final Matcher m = compile.matcher(input);
    if (m.find()) {
      return m.group(1);
    }
    return null;
  }
}
#END CODE;

• #CODE gömülü kod bloğunun başlangıcını gösterir. #END CODE gömülü kod bloğunun sonunu gösterir. Bu örnekte, gömülü kod bloğu betiğin sonuna yerleştirilir ve tüm betiğe uygulanır.

• 'lang'='JAVA' gömülü kodun Java olduğunu belirtir. Python'da kod derlerseniz JAVA yerine PYTHON kullanabilirsiniz.

• SQL betiğinde Foo.extractNumber öğesini çağırmak için UDT sözdizimini kullanabilirsiniz.

Java kod gömülü UDF tanımlama ve çağırma

CREATE TEMPORARY FUNCTION foo AS 'com.mypackage.Reverse' USING
#CODE ('lang'='JAVA')
package com.mypackage;
import com.aliyun.odps.udf.UDF;
public class Reverse extends UDF {
  public String evaluate(String input) {
    if (input == null) return null;
    StringBuilder ret = new StringBuilder();
    for (int i = input.toCharArray().length - 1; i >= 0; i--) {
      ret.append(input.toCharArray()[i]);
    }
    return ret.toString();
  }
}
#END CODE;

SELECT foo('abdc');

• Gömülü kod bloğu USING deyiminin hemen sonrasına veya betiğin sonuna yerleştirilebilir. USING deyiminin hemen sonrasına yerleştirilen kod bloğu yalnızca CREATE TEMPORARY FUNCTION deyimi için geçerlidir.

• CREATE TEMPORARY FUNCTION ile oluşturulan işlev geçici bir işlevdir. Bu geçici işlev yalnızca mevcut yürütme işlemi sırasında etkili olur ve MaxCompute meta veri sisteminde depolanmaz. Kalıcı bir işlev oluşturup bunu MaxCompute meta veri sisteminde depolama hakkında daha fazla bilgi için bkz. CREATE SQL FUNCTION.

Java kod gömülü UDTF tanımlama ve çağırma

CREATE TEMPORARY FUNCTION foo AS 'com.mypackage.Reverse' USING 
#CODE ('lang'='JAVA', 'filename'='embedded.jar')
package com.mypackage;

import com.aliyun.odps.udf.UDTF;
import com.aliyun.odps.udf.UDFException;
import com.aliyun.odps.udf.annotation.Resolve;

@Resolve({"string->string,string"})
public class Reverse extends UDTF {
  @Override
  public void process(Object[] objects) throws UDFException {
    String str = (String) objects[0];
    String[] split = str.split(",");
    forward(split[0], split[1]);
  }
}

#END CODE;

SELECT foo('ab,dc') AS (a,b);

@Resolve dönüş değeri string[] türünde olmalıdır. Ancak Janino-compiler, "string->string,string" ifadesini string[] olarak tanımlayamaz. Bu sorunu gidermek için @Resolve ile açıklamalı parametreler {} süslü parantezleri içine alınmalıdır. Ortak bir yöntem kullanarak Java UDTF oluştururken {} süslü parantezleri gerekli değildir.

Python kod gömülü UDF tanımlama ve çağırma

CREATE TEMPORARY FUNCTION foo AS 'embedded.UDFTest' USING
#CODE ('lang'='PYTHON', 'filename'='embedded')
from odps.udf import annotate
@annotate("bigint->bigint")
class UDFTest(object):
  def evaluate(self, a):
    return a * a
#END CODE;

SELECT foo(4);

• Python kodunun girintisi Python dilinin özelliklerine uygun olmalıdır.

• Python UDF oluştururken, AS yan tümcesinden sonra gelen sınıf adı Python source dosyasının dosya adını içermelidir. Sanal bir dosya adı belirtmek için 'filename'='embedded' kullanabilirsiniz.

• Farklı Python sürümlerinin geliştirilmesi ve kullanımı hakkında daha fazla bilgi için aşağıdaki konulara bakın:

  • Python 2: Python 2'de UDF Geliştirme

  • Python 3: Python 3'te UDF Geliştirme