E-MapReduce:Kyuubi Gateway での Kerberos 認証の使用

仕組み

Kerberos はチケットベースの認証モデルを使用します。クライアントが Kyuubi Gateway に接続する前に、キー配布センター (KDC) と認証情報を交換してチケットを取得します。以下の手順は、認証フローを説明したものです。

1. Kerberos クライアントは、プリンシパルとシークレット (パスワードまたは keytab ファイル) を KDC に送信します。

2. KDC はチケット認可チケット (TGT) を返します。

3. クライアントは TGT をチケットキャッシュに保存します。

4. JDBC クライアント (kyuubi-beeline) はキャッシュから TGT を読み取ります。

5. JDBC クライアントは TGT と Kyuubi サーバープリンシパルを KDC に送信します。

6. KDC は client-to-server チケットを返します。

7. JDBC クライアントは、認証のために client-to-server チケットを Kyuubi Gateway に提示します。

このフローを理解することで、各設定ステップが必要な理由がわかります。keytab によって Kyuubi Gateway は KDC に対して自身を認証でき、kinit ステップでクライアント用の TGT を取得し、JDBC URL の principal パラメーターによって、クライアントはどのサーバーに対してチケットをリクエストするかを知ることができます。

制限事項

• E-MapReduce (EMR) クラスターと Serverless Spark ワークスペースは、同じリージョンにある必要があります。

• Kerberos が有効になっているワークスペースでは、Kyuubi Gateway は 1 つしか作成できません。

前提条件

開始する前に、以下が準備できていることを確認してください。

• Kerberos 認証が有効になっている EMR on ECS クラスター。詳細については、「クラスターの作成」をご参照ください。

• Kerberos 認証が有効になっている Serverless Spark ワークスペース。詳細については、「Kerberos 認証の有効化」をご参照ください。

ネットワーク接続の作成

Kyuubi Gateway は Serverless Spark 内で実行されます。Kerberos クラスターに到達するには、PrivateLink を設定して、2 つの環境間にプライベートネットワーク接続を確立します。

keytab の作成

Kerberos クラスターで次の手順を実行します。

1. Kerberos クラスターにログインします。

2. Kerberos 管理ツールを開きます。

   kadmin.local

3. フォーマット kyuubi/<fqdn>@<REALM> でプリンシパルを作成します。<fqdn> には、エンドポイントドメイン名を使用します。CNAME を設定した場合は、代わりにカスタムドメイン名を使用します。

   addprinc -randkey kyuubi/ep-xxxxxxxxxxx.epsrv-xxxxxxxxxxx.cn-hangzhou.privatelink.aliyuncs.com@EMR.C-DFD4*****C204.COM

4. keytab ファイルをエクスポートして終了します。

   xst -kt /root/kyuubi.keytab kyuubi/ep-xxxxxxxxxxx.epsrv-xxxxxxxxxxx.cn-hangzhou.privatelink.aliyuncs.com@EMR.C-DFD4*****C204.COM
   quit

5. keytab を Object Storage Service (OSS) バケットにアップロードします。

   hadoop fs -put /root/kyuubi.keytab oss://<YOUR_BUCKET>.<region>.oss-dls.aliyuncs.com/

Kyuubi Gateway の設定

次の [Kyuubi 構成] パラメーターをゲートウェイに追加してください。

kyuubi.authentication              KERBEROS
kyuubi.kinit.principal             kyuubi/ep-xxxxxxxxxxx.epsrv-xxxxxxxxxxx.cn-hangzhou.privatelink.aliyuncs.com@EMR.C-DFD43******7C204.COM
kyuubi.kinit.keytab                /opt/kyuubi/work-dir/kyuubi.keytab
kyuubi.files                       oss://bucket/path/to/kyuubi.keytab

Spark ジョブが Kerberos 対応の Hive Metastore (HMS) にアクセスする場合、以下の Spark 構成 パラメーターを追加します。

spark.hadoop.hive.metastore.uris                    thrift://master-1-1.c-1d36*****e840c.cn-hangzhou.emr.aliyuncs.com:9083
spark.hadoop.hive.imetastoreclient.factory.class    org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClientFactory
spark.hive.metastore.kerberos.principal             hive/_HOST@EMR.C-DFD4*****C204.COM
spark.hive.metastore.sasl.enabled                   true
spark.emr.serverless.network.service.name           <network_name>

HMS アドレスのフォーマットルール：

• 高可用性 (HA) クラスター：複数の Thrift アドレスをカンマで区切って指定します。ホスト名を使用してください。HA モードでは IP アドレスはサポートされていません。

• 単一の HMS アドレス：IP アドレスを使用できますが、spark.hive.metastore.kerberos.principal は hive/<hostname-of-HMS>@<REALM> のフォーマットである必要があります。

• hive/_HOST@<REALM> という短縮形 (_HOST はランタイム時に実際のホスト名に解決されます) は、metastore.uris がホスト名を使用している場合にのみ機能します。

設定を保存し、Kyuubi Gateway を起動します。

ジョブの送信

show databases クエリを使用して、Kyuubi Gateway が Kerberos 認証で正しく動作していることを確認します。

1. Kerberos クラスターにログインし、ジョブ送信用の Kerberos ユーザーを作成します。

   kadmin.local
   addprinc -randkey hadoop
   xst -kt /root/hadoop.keytab hadoop
   quit

2. keytab を使用して認証します。

   kinit -kt hadoop.keytab hadoop

   これにより、hadoop プリンシパルの TGT がキャッシュされ、次のステップで kyuubi-beeline がこれを読み取ります。

3. Kyuubi Gateway に接続し、テストクエリを実行します。

   /opt/apps/KYUUBI/kyuubi-1.9.2-1.0.0/bin/kyuubi-beeline -u 'jdbc:hive2://ep-xxxxxxxxxxx.epsrv-xxxxxxxxxxx.cn-hangzhou.privatelink.aliyuncs.com:10009/;principal=kyuubi/_HOST@EMR.C-DFD43*****7C204.COM'

   JDBC URL に関する注意：

   • principal は Kyuubi サーバープリンシパルを指定します。この値は、サーバー側の kyuubi.kinit.principal と一致する必要があります。

   • _HOST は、ランタイム時に実際のホスト名に解決されるプレースホルダーです。

   • URL は、シェルが ; 文字でコマンドを分割するのを防ぐために、シングルクォーテーションで囲まれています。

4. 接続後、show databases を実行して、Spark ジョブが正常に開始されることを確認します。

   

hadoop.proxyuser.kyuubi.hosts = *
hadoop.proxyuser.kyuubi.groups = *