E-MapReduce:Kyuubi Gateway で Kerberos を使用する

制限事項

• EMR on ECS クラスターと Serverless Spark ワークスペースは、同じリージョンに存在する必要があります。

前提条件

• Kerberos 認証が有効な EMR on ECS クラスターが作成されていること。詳細については、「クラスターの作成」をご参照ください。

• Kerberos 認証が有効な Serverless Spark ワークスペースが作成されていること。詳細については、「Kerberos 認証の有効化」をご参照ください。

• Serverless Spark ワークスペースに Kyuubi Gateway が作成されていること。ゲートウェイは実行中である必要はありません。

ネットワーク接続の確立

Kyuubi Gateway で Kerberos を使用するには、PrivateLink を設定して Serverless Spark と Kerberos クラスター間のネットワーク接続を確立する必要があります。この設定はセルフサービスで設定することはできません。設定を完了するには、必要な情報を記載したチケットを起票してください。テクニカルサポートチームが対応します。

keytab ファイルの作成

1. Kerberos クラスターにログインします。

2. 次のコマンドを実行して、Kerberos の kadmin.local ツールを起動します。

   kadmin.local

3. kyuubi/<fqdn>@<REALM> 形式でプリンシパルを作成します。 fqdn 部分には、エンドポイントドメイン名 ep-xxxxxxxxxxx.epsrv-xxxxxxxxxxx.cn-hangzhou.privatelink.aliyuncs.com を使用することをお勧めします。 カスタムドメイン名を解決するように CNAME レコードを設定している場合は、test.kyuubi-kerberos.abc などのカスタムドメイン名を使用します。

   addprinc -randkey kyuubi/ep-xxxxxxxxxxx.epsrv-xxxxxxxxxxx.cn-hangzhou.privatelink.aliyuncs.com@EMR.C-DFD4*****C204.COM

4. keytab ファイルをエクスポートし、kadmin.local ツールを終了します。

   xst -kt /root/kyuubi.keytab kyuubi/ep-xxxxxxxxxxx.epsrv-xxxxxxxxxxx.cn-hangzhou.privatelink.aliyuncs.com@EMR.C-DFD4*****C204.COM
   quit

5. 生成された keytab ファイルを Object Storage Service (OSS) バケットにアップロードします。

   hadoop fs -put /root/kyuubi.keytab oss://<YOUR_BUCKET>.<region>.oss-dls.aliyuncs.com/

Kyuubi Gateway の設定

Kyuubi Gateway で Kerberos を使用するには、次の [Kyuubi Configuration] を追加します。

kyuubi.authentication              KERBEROS
kyuubi.kinit.principal             kyuubi/ep-xxxxxxxxxxx.epsrv-xxxxxxxxxxx.cn-hangzhou.privatelink.aliyuncs.com@EMR.C-DFD4*****C204.COM
kyuubi.kinit.keytab                /opt/kyuubi/work-dir/kyuubi.keytab
kyuubi.files                       oss://bucket/path/to/kyuubi.keytab

Kerberos が有効な Hive Metastore (HMS) に接続する必要がある場合は、次の [Spark Configuration] を追加します。

spark.hadoop.hive.metastore.uris                    thrift://master-1-1.c-1d36*****e840c.cn-hangzhou.emr.aliyuncs.com:9083
spark.hadoop.hive.imetastoreclient.factory.class    org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClientFactory
spark.hive.metastore.kerberos.principal             hive/_HOST@EMR.C-DFD4*****C204.COM
spark.hive.metastore.sasl.enabled                   true
spark.emr.serverless.network.service.name           <network_name>

設定を保存し、Kyuubi Gateway を起動します。

ジョブの投入

show databases コマンドを実行して、Kerberos クラスターが Kyuubi ゲートウェイに接続し、Spark ジョブを開始できることを確認します。

1. 必要な権限を持つ Kerberos ユーザーを準備し、その keytab ファイルをエクスポートします。

   1. Kerberos クラスターにログインします。

   2. 次のコマンドを実行して、keytab ファイルをエクスポートします。

      kadmin.local
      addprinc -randkey hadoop
      xst -kt /root/hadoop.keytab hadoop
      quit

2. keytab ファイルを使用して Kerberos で認証します。

   kinit -kt hadoop.keytab hadoop

3. 次のコマンドを実行して Kyuubi Gateway に接続し、Spark ジョブを開始します。

   /opt/apps/KYUUBI/kyuubi-1.9.2-1.0.0/bin/kyuubi-beeline -u 'jdbc:hive2://ep-xxxxxxxxxxx.epsrv-xxxxxxxxxxx.cn-hangzhou.privatelink.aliyuncs.com:10009/;principal=kyuubi/_HOST@EMR.C-DFD4*****C204.COM'

4. 接続後、show databases を実行します。

Spark ジョブが Kerberos 対応の Hive Metastore (HMS) または Hadoop 分散ファイルシステム (HDFS) サービスに接続する必要がある場合、HMS または HDFS クラスターの core-site.xml 設定ファイルを変更する必要があります。kyuubi ユーザーがサービスにアクセスする際に他のユーザーを偽装できるように、このファイルに次のプロパティを追加します。そうしないと、接続が失敗する可能性があります。

hadoop.proxyuser.kyuubi.hosts = *
hadoop.proxyuser.kyuubi.groups = *

新しいバージョンの EMR DataLake クラスターには、デフォルトでこれらのプロパティが含まれています。これらのプロパティを追加した後、HDFS または HMS サービスを再起動する必要があります。