MaxCompute:Java UDF'leri Geliştirme

Java UDF'i yazarken aşağıdaki hususlara dikkat edin:

• Farklı UDF JAR dosyalarında aynı ada sahip ancak mantığı farklı sınıfların bulunmasından kaçının. Örneğin, UDF1 ve UDF2 sırasıyla udf1.jar ve udf2.jar dosyalarına karşılık geliyorsa ve her iki JAR dosyası da farklı mantığa sahip com.aliyun.UserFunction.class sınıfını içeriyorsa, aynı SQL deyimi içinde her iki UDF'in çağrılması MaxCompute'un sınıflardan birini rastgele yüklemesine neden olur. Bu durum beklenmeyen sonuçlara veya derleme hatasına yol açabilir.

• Bir Java UDF'inde giriş parametreleri ve dönüş değerleri ilkel türler (int ve long gibi) yerine nesne türleri (String ve Long gibi) kullanmalıdır.

• SQL'deki NULL değerler Java'daki NULL değerlere karşılık gelir. Java ilkel türleri NULL değerleri temsil edemediği için kullanımlarına izin verilmez.

Bir Java UDF'ini UDF Geliştirme İş Akışı bölümünde açıklandığı şekilde geliştirdikten sonra MaxCompute SQL içinde çağırabilirsiniz. Aşağıdaki yöntemler kullanılabilir:

• Bir MaxCompute projesinde UDF kullanma: Yöntem, yerleşik işlevleri kullanmaya benzer. Kullanıcı tanımlı bir işlevi, yerleşik bir işlevi kullandığınız şekilde kullanabilirsiniz.

• Projeler arası UDF kullanma: B Projesindeki bir UDF'i A Projesinde kullanma. Aşağıdaki deyim bir örneği göstermektedir: select B:udf_in_other_project(arg0, arg1) as res from table_t;. Projeler arası paylaşım hakkında daha fazla bilgi için bkz. Paketler Temelinde Projeler Arası Kaynak Erişimi.

• Java'da Hive UDF Yazma

• Java UDF'lerinde Karmaşık Veri Türlerini Kullanma

• Düzenli İfadeler Kullanarak Dizeleri Değiştirme

• Ayırıcı İçermeyen Dizelerin Değerlerini Alma

• Ayırıcı İçeren Dizelerin Değerlerini Alma

• Dosya Kaynağına Referans Verme

• Tablo Kaynağına Referans Verme

• Python UDF'lerinde Üçüncü Taraf Paketlere Referans Verme

Bir Java UDF'i aşağıdaki bileşenlerden oluşur:

• Java paketi: İsteğe bağlı.

  Java sınıflarınızı daha kolay yeniden kullanım ve organizasyon için bir pakette gruplandırabilirsiniz.

• UDF sınıfını genişletme: Zorunlu.

  Gerekli temel sınıf com.aliyun.odps.udf.UDF sınıfıdır. Diğer UDF sınıflarına veya karmaşık veri türlerine ihtiyacınız varsa MaxCompute SDK üzerinden gerekli sınıfları ekleyin. Örneğin, STRUCT veri türü için sınıf com.aliyun.odps.data.Struct şeklindedir.

• @Resolve açıklaması: İsteğe bağlı.

  Biçim @Resolve(<signature>) şeklindedir; burada signature giriş parametrelerinin ve dönüş değerinin veri türlerini tanımlar. Bir UDF'te STRUCT veri türünü kullandığınızda yansıma, alan adlarını ve alan türlerini com.aliyun.odps.data.Struct üzerinden alamaz. Bu durumda bunları almak için @Resolve açıklamasını kullanmanız gerekir. Bir UDF'te STRUCT kullanıyorsanız UDF sınıfına @Resolve açıklamasını ekleyin. Açıklama yalnızca parametreleri veya dönüş değerleri com.aliyun.odps.data.Struct içeren aşırı yüklemeleri etkiler. Örnek: @Resolve("struct<a:string>,string->string"). Ayrıntılı bir örnek için bkz. UDF Örneği: Karmaşık Veri Türleri.

• Özel Java sınıfı: Zorunlu.

  Bu, UDF kodunuzu organize eden ve iş mantığınızı uygulayan değişkenleri ve yöntemleri tanımlayan birimdir.

• evaluate yöntemi: Zorunlu.

  Özel Java sınıfınız statik olmayan genel bir evaluate yöntemi içermelidir. Giriş parametrelerinin ve dönüş değerinin veri türleri UDF'in SQL imzasını tanımlar.

  Birden çok evaluate yöntemi uygulayabilirsiniz. UDF'i çağırdığınızda MaxCompute, bağımsız değişken türlerine göre eşleşen evaluate yöntemini seçer.

  Bir Java UDF'i yazarken Java türlerini veya Java Writable türlerini kullanabilirsiniz. MaxCompute veri türleri ile Java veri türleri arasındaki ayrıntılı eşlemeler için bkz. Ek: Veri Türleri.

• UDF başlatma ve temizleme: İsteğe bağlı. void setup(ExecutionContext ctx) ve void close() kullanarak başlatma ve temizleme işlemlerini uygulayabilirsiniz. void setup(ExecutionContext ctx) yöntemi, evaluate yönteminden önce bir kez çağrılır ve hesaplama için gereken kaynakları veya üye nesnelerini başlatmak amacıyla kullanılabilir. void close() yöntemi, tüm evaluate çağrıları tamamlandıktan sonra bir kez çağrılır ve dosyaları kapatma gibi temizleme görevleri için kullanılır.

Aşağıdaki örneklerde iki tür UDF gösterilmektedir.

• Java türlerini kullanma

  // Organize the Java class in the org.alidata.odps.udf.examples package.
  package org.alidata.odps.udf.examples;  
  // Inherit the UDF class.
  import com.aliyun.odps.udf.UDF;         
  // Define a custom Java class.
  public final class Lower extends UDF { 
  // The evaluate method defines the UDF's logic. It takes a String and returns a String.
      public String evaluate(String s) { 
          if (s == null) { 
          return null; 
      } 
          return s.toLowerCase(); 
    } 
  }

• Java Writable türlerini kullanma

  // Organize the Java class in the com.aliyun.odps.udf.example package.
  package com.aliyun.odps.udf.example;
  // Add the required classes for the Java Writable type.
  import com.aliyun.odps.io.Text;
  // Inherit the UDF class.
  import com.aliyun.odps.udf.UDF;
  // Define a custom Java class.
  public class MyConcat extends UDF {
    private Text ret = new Text();
  // Define the evaluate method. `Text` specifies the data type of the input parameters, and the `return` value is also a Text object.
    public Text evaluate(Text a, Text b) {
        if (a == null || b == null) {
        return null;
      }
        ret.clear();
        ret.append(a.getBytes(), 0, a.getLength());
        ret.append(b.getBytes(), 0, b.getLength());
        return ret;
    }
  }

Veri Türü Eşlemeleri

Bir Java UDF'inde kullanılan veri türlerinin MaxCompute veri türleriyle tutarlı olmasını sağlamak için aşağıdaki eşlemeleri kullanın.

Java byte[] türü desteklenen Java türleri listesinde yer almaz. Bir evaluate yönteminin giriş parametresi veya dönüş değeri için byte[] kullanırsanız ODPS-0130071 hatası bildirilir. Bir UDF'te ikili verileri işlemek için MaxCompute BINARY türüne karşılık gelen Java türlerini kullanın: Standart Java türü için com.aliyun.odps.data.Binary veya Writable türü için com.aliyun.odps.io.BytesWritable. Alternatif olarak ikili verileri Base64 kodlamalı bir dizeye dönüştürüp dönüş değeri için String türünü kullanabilirsiniz.

Hive UDF Uyumluluğu

MaxCompute projeniz 2,0 veri türü sürümünü kullanıyorsa MaxCompute Hive tarzı UDF'leri destekler. Uyumlu bir Hive sürümü için geliştirilen Hive UDF'lerini doğrudan kullanabilirsiniz.

Uyumlu Hive sürümü 2,1,0'dır ve bu sürüm Hadoop 2,7,2'ye karşılık gelir. UDF'iniz farklı bir Hive veya Hadoop sürümüne göre derlendiyse UDF JAR dosyasını Hive 2,1,0 veya Hadoop 2,7,2 ile yeniden derleyin.

MaxCompute'te Hive UDF kullanımıyla ilgili ayrıntılı bir örnek için bkz. UDF Örneği: Hive Uyumluluğu.