E-MapReduce:Kyuubi Gateway で Kerberos を使用する

制限事項

• クラスターと Serverless Spark ワークスペースは同じリージョンにある必要があります。

• Kerberos が有効になっているワークスペースでは、Kyuubi Gateway は 1 つしか作成できません。

前提条件

• Kerberos 認証が有効になっている EMR on ECS クラスターを作成済みであること。詳細については、「クラスターの作成」をご参照ください。

• Kerberos 認証が有効になっている Serverless Spark ワークスペースを作成済みであること。詳細については、「Kerberos 認証を有効にする」をご参照ください。

ネットワーク接続の確立

Kyuubi Gateway で Kerberos を使用するには、PrivateLink を構成して、Serverless Spark と Kerberos クラスター間のネットワーク接続を確立する必要があります。

keytab の作成

1. Kerberos クラスターにログインします。

2. 次のコマンドを実行して、Kerberos admin.local ツールにアクセスします。

   kadmin.local

3. フォーマット kyuubi/<fqdn>@<REALM> でプリンシパルを作成します。fqdn の部分には、エンドポイントのドメイン名 ep-xxxxxxxxxxx.epsrv-xxxxxxxxxxx.cn-hangzhou.privatelink.aliyuncs.com を使用します。CNAME レコードでカスタムドメイン名を設定した場合は、代わりに test.kyuubi-kerberos.abc などのカスタムドメイン名を使用します。

   addprinc -randkey kyuubi/ep-xxxxxxxxxxx.epsrv-xxxxxxxxxxx.cn-hangzhou.privatelink.aliyuncs.com@EMR.C-DFD4*****C204.COM

4. keytab ファイルをエクスポートし、Kerberos admin.local ツールを終了します。

   xst -kt /root/kyuubi.keytab kyuubi/ep-xxxxxxxxxxx.epsrv-xxxxxxxxxxx.cn-hangzhou.privatelink.aliyuncs.com@EMR.C-DFD4*****C204.COM
   quit

5. 生成された keytab ファイルを OSS バケットにアップロードします。

   hadoop fs -put /root/kyuubi.keytab oss://<YOUR_BUCKET>.<region>.oss-dls.aliyuncs.com/

Kyuubi Gateway の構成

Kyuubi Gateway で Kerberos を使用するには、次の [Kyuubi 構成] を設定します。

kyuubi.authentication              KERBEROS
kyuubi.kinit.principal             kyuubi/ep-xxxxxxxxxxx.epsrv-xxxxxxxxxxx.cn-hangzhou.privatelink.aliyuncs.com@EMR.C-DFD43******7C204.COM
kyuubi.kinit.keytab                /opt/kyuubi/work-dir/kyuubi.keytab
kyuubi.files                       oss://bucket/path/to/kyuubi.keytab

Kerberos が有効な Hive Metastore (HMS) に接続するには、次の [Spark 構成] が必要です。

spark.hadoop.hive.metastore.uris                    thrift://master-1-1.c-1d36*****e840c.cn-hangzhou.emr.aliyuncs.com:9083
spark.hadoop.hive.imetastoreclient.factory.class    org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClientFactory
spark.hive.metastore.kerberos.principal             hive/_HOST@EMR.C-DFD4*****C204.COM
spark.hive.metastore.sasl.enabled                   true
spark.emr.serverless.network.service.name           <network_name>

構成を保存し、Kyuubi Gateway を起動します。

ジョブの送信

show databases ジョブを使用して、Kerberos クラスターが Kyuubi Gateway に接続し、Spark ジョブを正常に開始できることを確認できます。

1. 必要な権限を持つ Kerberos ユーザーを準備し、その keytab ファイルをエクスポートします。

   1. Kerberos クラスターにログインします。

   2. 次のコマンドを実行して keytab ファイルをエクスポートします。

      kadmin.local
      addprinc -randkey hadoop
      xst -kt /root/hadoop.keytab hadoop
      quit

2. Kerberos 認証に keytab ファイルを使用します。

   kinit -kt hadoop.keytab hadoop

3. 次のコマンドを実行して Kyuubi Gateway に接続し、Spark ジョブを開始します。

   /opt/apps/KYUUBI/kyuubi-1.9.2-1.0.0/bin/kyuubi-beeline -u 'jdbc:hive2://ep-xxxxxxxxxxx.epsrv-xxxxxxxxxxx.cn-hangzhou.privatelink.aliyuncs.com:10009/;principal=kyuubi/_HOST@EMR.C-DFD43*****7C204.COM'

4. 接続後、show databases を実行します。

Spark ジョブが Kerberos 認証が有効になっている HMS または Hadoop 分散ファイルシステム (HDFS) サービスに接続する必要がある場合は、クラスター上の HADOOP-COMMON または HDFS コンポーネントの core-site.xml ファイルを変更する必要があります。ファイルに次の 2 つの構成を追加します。これにより、kyuubi ユーザーは HDFS または HMS サービスにアクセスする際に他のユーザーを偽装できます。これらの構成を追加しないと、接続が失敗する可能性があります。

hadoop.proxyuser.kyuubi.hosts = *
hadoop.proxyuser.kyuubi.groups = *

新しいバージョンの EMR DataLake クラスターには、これらのパラメーターがデフォルトで含まれています。パラメーターを追加した後、HDFS または HMS サービスを再起動する必要があります。