E-MapReduce:ユーザー定義関数 (UDF)

1. Maven プロジェクトの作成

IDE で、以下の座標を指定して新しい Maven プロジェクトを作成します。groupId および artifactId は、ご使用の組織およびプロジェクト名に合わせて調整してください。

<groupId>org.example</groupId>
<artifactId>hiveudf</artifactId>
<version>1.0-SNAPSHOT</version>

2. Hive 依存関係の追加

pom.xml に、以下の依存関係を追加します。

<dependency>
    <groupId>org.apache.hive</groupId>
    <artifactId>hive-exec</artifactId>
    <version>2.3.7</version>
    <exclusions>
        <exclusion>
            <groupId>org.pentaho</groupId>
            <artifactId>*</artifactId>
        </exclusion>
    </exclusions>
</dependency>

3. UDF クラスの実装

org.apache.hadoop.hive.ql.exec.UDF を継承するクラスを作成し、evaluate() メソッドを実装します。クラス名は任意ですが、本例では MyUDF を使用しています。

package org.example;

import org.apache.hadoop.hive.ql.exec.UDF;

public class MyUDF extends UDF {
    public String evaluate(final String s) {
        if (s == null) { return null; }
        return s + ":HelloWorld";
    }
}

4. JAR ファイルのビルド

pom.xml を含むディレクトリで、以下のコマンドを実行します。

mvn clean package -DskipTests

出力された JAR ファイル hiveudf-1.0-SNAPSHOT.jar は、target ディレクトリに配置されます。

1. JAR のクラスターへの転送

SSH Secure File Transfer Client を使用して、hiveudf-1.0-SNAPSHOT.jar を EMR クラスターのルートディレクトリにアップロードします。

2. JAR の HDFS へのアップロード

1. SSH モードでクラスターにログインします。

2. Hadoop 分散ファイルシステム (HDFS) に JAR をアップロードします。

   hadoop fs -put hiveudf-1.0-SNAPSHOT.jar /user/hive/warehouse/

3. アップロードが正常に完了したかを確認します。

   hadoop fs -ls /user/hive/warehouse/

   期待される出力：

   Found 1 items
   -rw-r--r--   1 xx xx 2668 2021-06-09 14:13 /user/hive/warehouse/hiveudf-1.0-SNAPSHOT.jar

3. Hive への UDF の登録

Hive CLI を起動します。

hive

UDF を永続関数として登録します。

create function myfunc as "org.example.MyUDF" using jar "hdfs:///user/hive/warehouse/hiveudf-1.0-SNAPSHOT.jar";

このコマンドでは、

登録が成功した場合、次のような出力が表示されます。

Added [/private/var/folders/2s/wzzsgpn13rn8rl_0fc4xxkc00000gp/T/40608d4a-a0e1-4bf5-92e8-b875fa6a1e53_resources/hiveudf-1.0-SNAPSHOT.jar] to class path
Added resources: [hdfs:///user/hive/warehouse/myfunc/hiveudf-1.0-SNAPSHOT.jar]

4. UDF のテスト

UDF を、ビルトイン関数と同様にクエリ内で呼び出します。

select myfunc("abc");

期待される出力：

OK
abc:HelloWorld

関数が正しく登録されているかを確認するには、以下のコマンドを実行します。

SHOW FUNCTIONS LIKE '*myfunc*';