E-MapReduce:Spark Thrift サーバーの Ranger 権限付与の有効化

ステップ 1： ネットワークの準備

Serverless Spark がお使いの Virtual Private Cloud (VPC) と通信できるようにネットワークを設定します。これにより、Ranger プラグインが Ranger Admin に接続し、権限情報を取得できるようになります。詳細については、「EMR Serverless Spark と他の VPC 間のネットワーク接続の確立」をご参照ください。

ステップ 2： Ranger プラグインの設定

Spark Thrift サーバーセッションで Ranger 権限付与を有効にするには、まずセッションを停止します。Normal Network Connection ドロップダウンリストから、作成したネットワーク接続の名前を選択します。次に、Spark Configuration セクションで、次のプロパティを追加します。構成を編集した後、セッションを再起動して変更を適用します。

spark.ranger.plugin.enabled                true
spark.jars                                 /opt/ranger/ranger-spark.jar
ranger.plugin.spark.policy.rest.url        http://<ranger_admin_ip>:<ranger_admin_port>

spark.jars                                 oss://<bucket>/path/to/user-ranger-spark.jar
spark.ranger.plugin.class                  <class_name>
spark.ranger.plugin.enabled                true
ranger.plugin.spark.policy.rest.url        http://<ranger_admin_ip>:<ranger_admin_port>

ステップ 3： (オプション) Ranger Audit の設定

Ranger は、監査レコード用に、Solr や Hadoop 分散ファイルシステム (HDFS) などのさまざまなストレージバックエンドをサポートしています。デフォルトでは、Serverless Spark の Ranger 監査機能は無効になっています。この機能が必要な場合は、Spark Configuration セクションに関連する Ranger 監査パラメーターを追加してください。

たとえば、EMR クラスター上の Solr への接続を設定するには、Spark Configuration セクションに次のプロパティを追加します。

xasecure.audit.is.enabled                  true
xasecure.audit.destination.solr            true
xasecure.audit.destination.solr.urls       http://<solr_ip>:<solr_port>/solr/ranger_audits
xasecure.audit.destination.solr.user       <user>
xasecure.audit.destination.solr.password   <password>

パラメーターの説明は以下の通りです。

• xasecure.audit.is.enabled：Ranger Audit を有効にするかどうかを指定します。

• xasecure.audit.destination.solr：監査レコードを Solr サービスに保存するかどうかを指定します。

• xasecure.audit.destination.solr.urls: Solr サービスの URL です。<solr_ip> と <solr_port> を、お使いの Solr サービスの IP アドレスとポートに置き換えます。URL の残りの部分は必要に応じて設定します。

• xasecure.audit.destination.solr.user と xasecure.audit.destination.solr.password：Solr のユーザー名とパスワードです。基本認証が有効な場合に必要です。

  EMR on ECS クラスターの Ranger に接続する場合、xasecure.audit.destination.solr.urls、xasecure.audit.destination.solr.user、および xasecure.audit.destination.solr.password の値は、 Ranger-plugin サービスの ranger-spark-audit.xml 設定ファイルにあります。

  

設定が完了すると、EMR Serverless Spark でジョブを送信し、Ranger Web UI の [Access] タブでユーザーアクセスの監査レコードを表示できます。Ranger Web UI へのアクセス方法の詳細については、「コンソールでオープンソースコンポーネントの Web UI にアクセスする」をご参照ください。

ステップ 4： 接続性のテスト

Beeline で接続する際に、権限のないデータベース、テーブル、またはその他のリソースにアクセスしようとすると、権限エラーがトリガーされます。

0: jdbc:hive2://pre-emr-spark-gateway-cn-hang> create table test(id int);
Error: org.apache.hive.service.cli.HiveSQLException: Error running query: org.apache.kyuubi.plugin.spark.authz.AccessControlException: Permission denied: user [test] does not have [create] privilege on [database=testdb/table=test]
	at org.apache.spark.sql.hive.thriftserver.HiveThriftServerErrors$.runningQueryError(HiveThriftServerErrors.scala:44)
	at org.apache.spark.sql.hive.thriftserver.SparkExecuteStatementOperation.org$apache$spark$sql$hive$thriftserver$SparkExecuteStatementOperation$$execute(SparkExecuteStatementOperation.scala:325)
	at org.apache.spark.sql.hive.thriftserver.SparkExecuteStatementOperation$$anon$2$$anon$3.$anonfun$run$2(SparkExecuteStatementOperation.scala:230)
	at scala.runtime.java8.JFunction0$mcV$sp.apply(JFunction0$mcV$sp.java:23)
	at org.apache.spark.sql.hive.thriftserver.SparkOperation.withLocalProperties(SparkOperation.scala:79)
	at org.apache.spark.sql.hive.thriftserver.SparkOperation.withLocalProperties$(SparkOperation.scala:63)
	at org.apache.spark.sql.hive.thriftserver.SparkExecuteStatementOperation.withLocalProperties(SparkExecuteStatementOperation.scala:43)
	at org.apache.spark.sql.hive.thriftserver.SparkExecuteStatementOperation$$anon$2$$anon$3.run(SparkExecuteStatementOperation.scala:230)
	at org.apache.spark.sql.hive.thriftserver.SparkExecuteStatementOperation$$anon$2$$anon$3.run(SparkExecuteStatementOperation.scala:225)
	at java.security.AccessController.doPrivileged(Native Method)
	at javax.security.auth.Subject.doAs(Subject.java:422)
	at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1730)
	at org.apache.spark.sql.hive.thriftserver.SparkExecuteStatementOperation$$anon$2.run(SparkExecuteStatementOperation.scala:239)
	at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
	at java.util.concurrent.FutureTask.run(FutureTask.java:266)
	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
	at java.lang.Thread.run(Thread.java:750)