E-MapReduce：為Livy Gateway配置並啟用Ranger鑒權

步驟一：網路準備

在開始配置之前，必須先設定好網路，確保Serverless Spark可以與您的虛擬私人雲端（VPC）之間網路互連，使得Ranger Plugin能夠順利串連到您的Ranger Admin服務並擷取許可權資訊。具體操作，請參見EMR Serverless Spark與其他VPC間網路互連。

步驟二：配置Ranger Plugin

對於希望開啟Ranger鑒權功能的Livy Gateway，需首先停止該Gateway，配置以下資訊。

1. 在網路連接下拉式清單中選擇已建立的串連名稱。

2. 在livy.conf中添加以下配置項。

   livy.impersonation.enabled   true

3. 在spark-defaults.conf中添加以下配置項。

   spark.ranger.plugin.enabled                true
   spark.emr.serverless.user.defined.jars     /opt/ranger/ranger-spark.jar
   ranger.plugin.spark.policy.rest.url        http://<ranger_admin_ip>:<ranger_admin_port>

   涉及參數如下所示。

   參數	說明
   spark.ranger.plugin.enabled	設定為true表示開啟Ranger鑒權。
   spark.emr.serverless.user.defined.jars	自訂JAR包路徑。 配置為/opt/ranger/ranger-spark.jar，表示使用Serverless Spark中內建的Ranger Plugin。
   ranger.plugin.spark.policy.rest.url	Ranger Admin服務的地址。格式為http://<ranger_admin_ip>:<ranger_admin_port>。 請根據您的實際情況替換<ranger_admin_ip>和<ranger_admin_port>，填寫為Ranger Admin服務的內網IP地址和連接埠。如果您串連的是阿里雲EMR on ECS叢集的Ranger服務，<ranger_admin_ip>可填寫為Master節點的內網IP地址，<ranger_admin_port>為6080。

4. 編輯完成後，請務必重新啟動會話，以確保配置更改生效。

步驟三：（可選）配置Ranger Audit

Ranger支援配置Audit的儲存方式，例如Solr、HDFS等。Serverless Spark預設未開啟Ranger Audit功能，若您有對應需求可以自行在Spark配置中增加Ranger Audit相關參數。

例如，配置串連EMR的Solr可以在Spark配置中增加以下配置資訊。

xasecure.audit.is.enabled                  true
xasecure.audit.destination.solr            true
xasecure.audit.destination.solr.urls       http://<solr_ip>:<solr_port>/solr/ranger_audits
xasecure.audit.destination.solr.user       <user>
xasecure.audit.destination.solr.password   <password>

參數說明如下：

• xasecure.audit.is.enabled：是否開啟Ranger Audit。

• xasecure.audit.destination.solr：是否將Audit儲存到Solr服務當中。

• xasecure.audit.destination.solr.urls：Solr服務的URL資訊。其中<solr_ip>和<solr_port>需要配置Solr服務的IP地址和連接埠資訊，其他URL資訊應根據實際需求填寫。

• xasecure.audit.destination.solr.user和xasecure.audit.destination.solr.password：若Solr服務開啟了Basic認證，需要填寫對應使用者名稱和密碼資訊。

  如果您串連的是EMR on ECS中的Ranger，則可以在Ranger-plugin服務的ranger-spark-audit.xml設定檔中尋找xasecure.audit.destination.solr.urls、xasecure.audit.destination.solr.user和xasecure.audit.destination.solr.password的配置。

  

配置成功後，若您在EMR Serverless Spark上提交了任務，則可以訪問Ranger UI，並在Ranger Audit的Access標籤頁查看使用者訪問的審計資訊。訪問Ranger UI詳情，請參見通過控制台訪問開源組件Web介面。

步驟四：串連測試

使用Jupyter Notebook進行串連測試，如果訪問沒有許可權的資料庫、表等資源，將會提示許可權不足（Permission denied）的資訊。