MaxCompute:Java UDTF

UDTF kodlarını IntelliJ IDEA (Maven) veya MaxCompute Studio kullanarak Java ile yazabilirsiniz. Kod aşağıdaki bileşenleri içermelidir:

• Java paketi: İsteğe bağlı.

  Java sınıflarınızı bulmayı ve kullanmayı kolaylaştırmak için bir paket altında düzenleyebilirsiniz.

• UDTF sınıfını genişletme: Zorunlu.

  Gerekli sınıflar şunlardır: com.aliyun.odps.udf.UDTF, com.aliyun.odps.udf.annotation.Resolve (@Resolve ek açıklaması için) ve com.aliyun.odps.udf.UDFException (Java sınıfındaki yöntemler için). Diğer UDTF sınıflarına veya karmaşık veri türlerine ihtiyacınız varsa gerekli sınıfları MaxCompute UDF genel bakış bölümüne göre ekleyin.

• Özel Java sınıfı: Zorunlu.

  Bu, UDTF kodunun organizasyon birimidir. İş mantığınızı uygulayan değişkenleri ve yöntemleri tanımlar.

• @Resolve ek açıklaması: Zorunlu.

  Biçimi @Resolve(<signature>) şeklindedir. signature parametresi, girdi parametrelerinin ve dönüş değerinin veri türlerini tanımlayan bir işlev imzasıdır. Bir UDTF, yansıma yoluyla işlev imzasını alamaz; bunu belirtmek için @Resolve ek açıklamasını kullanmalıdır. Örneğin: @Resolve("smallint->varchar(10)"). @Resolve ek açıklaması hakkında daha fazla bilgi için bkz. @Resolve ek açıklaması.

• Java sınıfında yöntemleri uygulama: Zorunlu.

  Java sınıfı uygulaması aşağıdaki dört yöntemi içerir. Bunları ihtiyaçlarınıza göre seçerek uygulayabilirsiniz.

  API	Açıklama
  public void setup(ExecutionContext ctx) throws UDFException	Başlatma yöntemidir. MaxCompute, UDTF girdi verilerini işlemeye başlamadan önce özel başlatma mantığınızı çağırır. setup yöntemi işçi başına bir kez çağrılır.
  public void process(Object[] args) throws UDFException	process işlevi, bir SQL sorgusundaki her kayıt için bir kez çağrılır. process işlevinin parametreleri, SQL deyimi içinde UDTF için belirtilen girdi parametreleridir. Girdi parametreleri bir Object[] dizisi olarak iletilir ve çıktı, forward işlevi kullanılarak oluşturulur. Çıktıyı belirlemek için process işlevi içinde forward işlevini çağırmanız gerekir. Not process veya close yönteminden forward çağrısı yapılmaması veri kaybına neden olabilir. Örneğin, arka plan iş parçacığı bir forward çağrısı yürütürse veri kaybını önlemek için forward çağrısı tamamlanana kadar process yönteminin bitmemesini sağlamalısınız.
  public void close() throws UDFException	UDTF'nin sonlandırma yöntemidir. Yalnızca bir kez, son kayıt işlendikten sonra çağrılır.
  public void forward(Object …o) throws UDFException	Veri çıkışı yapmak için forward yöntemini çağırın; burada her forward çağrısı bir kayıt çıkarır. Bir SQL sorgusunda UDTF çağırırken as yan tümcesini kullanarak forward çıktısını yeniden adlandırabilirsiniz.

  Java UDTF yazarken Java Type veya Java Writable Type kullanabilirsiniz. MaxCompute tarafından desteklenen veri türleri ile Java veri türleri arasındaki ayrıntılı eşleme için bkz. Veri türleri.

// Organize the defined Java class in the org.alidata.odps.udtf.examples package.
package org.alidata.odps.udtf.examples;
// Extend the UDTF class.
import com.aliyun.odps.udf.UDTF;
import com.aliyun.odps.udf.UDTFCollector;
import com.aliyun.odps.udf.annotation.Resolve;
import com.aliyun.odps.udf.UDFException;
// Custom Java class.
//@Resolve annotation.
@Resolve("string,bigint->string,bigint")
public class MyUDTF extends UDTF {     
     // Implement the methods of the Java class.
     @Override
     public void process(Object[] args) throws UDFException {
         String a = (String) args[0];
         Long b = (Long) args[1];
         for (String t: a.split("\\s+")) {
         forward(t, b);
       }
     }
   }

Java UDTF yazarken aşağıdakilere dikkat edin:

• Farklı UDTF JAR paketlerinde aynı ada sahip ancak farklı uygulama mantığına sahip sınıflar tanımlamaktan kaçının. Örneğin, UDTF1 ve UDTF2'nin sırasıyla udtf1.jar ve udtf2.jar JAR paketi kaynaklarına karşılık geldiğini varsayalım. Her iki JAR paketi de farklı mantığa sahip com.aliyun.UserFunction.class adlı bir sınıf içeriyorsa aynı SQL deyimi içinde UDTF1 ve UDTF2 çağrıldığında MaxCompute sınıflardan birini rastgele yükler. Bu durum beklenmeyen sonuçlara veya derleme hatalarına yol açabilir.

• Girdi parametreleri ve dönüş değerleri ilkel türler yerine String ve Long gibi Java nesne türlerini kullanmalıdır.

• Bunun nedeni SQL NULL değerlerinin Java null olarak iletilmesidir ve ilkel türler bunu temsil edemez.

@Resolve ek açıklamasının biçimi aşağıdaki gibidir.

@Resolve(<signature>)

signature dizesi, UDTF'nin girdi parametrelerinin ve dönüş değerlerinin veri türlerini belirtir. Sorgu ayrıştırma sırasında MaxCompute çağrıları bu imzaya göre doğrular ve tür uyuşmazlığı bulunursa hata bildirir. Biçimi aşağıdaki gibidir.

'arg_type_list -> type_list'

Burada:

• type_list: Dönüş değerlerinin veri türlerini temsil eder. Bir UDTF birden çok sütun döndürebilir. Desteklenen veri türleri BIGINT, STRING, DOUBLE, BOOLEAN, DATETIME, DECIMAL, FLOAT, BINARY, DATE, DECIMAL(precision,scale), karmaşık veri türleri (ARRAY, MAP, STRUCT) ve iç içe geçmiş karmaşık veri türleridir.

• arg_type_list: Girdi parametrelerinin veri türlerini temsil eder. Birden çok girdi parametresi virgülle (,) ayrılarak belirtilebilir. Desteklenen veri türleri BIGINT, STRING, DOUBLE, BOOLEAN, DATETIME, DECIMAL, FLOAT, BINARY, DATE, DECIMAL(precision,scale), CHAR, VARCHAR, karmaşık veri türleri (ARRAY, MAP, STRUCT) ve iç içe geçmiş karmaşık veri türleridir.

  arg_type_list ayrıca yıldız işareti (*) veya boş dize ('') destekler.

  • arg_type_list bir yıldız işareti (*) ise işlevin herhangi bir sayıda girdi parametresini kabul ettiği anlamına gelir.

  • arg_type_list boş bir dize ('') ise işlevin girdi parametresi olmadığı anlamına gelir.

  Resolve ek açıklamasının genişletilmiş sözdizimi hakkında daha fazla bilgi için bkz. UDAF'ler ve UDTF'ler için dinamik parametreler.

geliştirme sürecini izleyerek bir Java UDTF geliştirdikten sonra bunu MaxCompute SQL içinde çağırabilirsiniz.

• MaxCompute projesinde UDF kullanma: Yöntem, yerleşik işlevleri kullanmaya benzer. Kullanıcı tanımlı bir işlevi, yerleşik bir işlevi kullandığınız şekilde kullanabilirsiniz.

• Projeler arasında UDF kullanma: Proje A'da Proje B'nin UDF'sini kullanma. Aşağıdaki deyim bir örneği göstermektedir: select B:udf_in_other_project(arg0, arg1) as res from table_t;. Projeler arası paylaşım hakkında daha fazla bilgi için bkz. Paketlere dayalı projeler arası kaynak erişimi.