通過RootPolicy訪問OSS-HDFS服務 - Object Storage Service

OSS-HDFS服務支援RootPolicy。您可以通過RootPolicy為OSS-HDFS服務設定自訂首碼，在無需修改原有訪問hdfs://首碼作業的基礎上，將作業直接運行在OSS-HDFS服務上。

前提條件

已建立Hadoop環境、Hadoop叢集或者Hadoop用戶端。具體操作，請參見建立Hadoop運行環境。
已開通OSS-HDFS服務。具體操作，請參見開通OSS-HDFS服務。
已配置4.5.0及以上版本JindoSDK 。具體操作，請參見非EMR叢集接入OSS-HDFS服務快速入門。

操作步驟

配置環境變數。
1. 串連ECS執行個體。具體操作，請參見串連ECS執行個體。
2. 下載JindoFS命令列工具。
3. 配置存取金鑰和環境變數。
  1. 進入已安裝的Jindofs JAR包下的bin目錄。
    以下以jindofs-sdk-x.x.x-linux為例，x.x.x替換為對應的版本號碼。
```
cd jindofs-sdk-x.x.x-linux/bin/
```
  2. 在bin目錄下建立設定檔jindofs.cfg，並配置阿里雲帳號的存取金鑰（包括Accesskey ID和Accesskey Secret），或者滿足許可權要求的RAM使用者的存取金鑰。
```
[client]
fs.oss.accessKeyId = <key>              
fs.oss.accessKeySecret = <secret>
```
  3. 設定環境變數。
    說明
    <JINDOSDK_CONF_DIR>填寫jindofs.cfg設定檔所在的絕對路徑。
```
export JINDOSDK_CONF_DIR=<JINDOSDK_CONF_DIR>
```

設定RootPolicy。

您可以通過SetRootPolicy命令為指定Bucket註冊自訂首碼訪問地址，配置命令如下：

./jindofs admin -setRootPolicy oss://<bucket_name>.<dls_endpoint>/ hdfs://<your_ns_name>/

以上命令涉及的各項參數說明如下：

參數	說明
bucket_name	填寫已開通OSS-HDFS服務的Bucket名稱。
dls_endpoint	開通OSS-HDFS服務所在地區對應的Endpoint，例如`cn-hangzhou.oss-dls.aliyuncs.com`。如果您不希望在每一次使用RootPolicy相關命令時重複添加<dls_endpoint>選項，您可以選擇以下任意方式在Hadoop的`core-site.xml`檔案中添加配置項。方式一 `<configuration> <property> <name>fs.oss.endpoint</name> <value><dls_endpoint></value> </property> </configuration>` 方式二 `<configuration> <property> <name>fs.oss.bucket.<bucket_name>.endpoint</name> <value><dls_endpoint></value> </property> </configuration>`
your_ns_name	自訂訪問OSS-HDFS服務的nsname，支援任意非Null 字元串，例如`test`，目前的版本僅支援根目錄。

配置Access Policy發現地址和Scheme實作類別。

您需要在Hadoop的core-site.xml檔案中完成以下配置項。

<configuration>
    <property>
        <name>fs.accessPolicies.discovery</name>
        <value>oss://<bucket_name>.<dls_endpoint>/</value>
    </property>
    <property>
        <name>fs.AbstractFileSystem.hdfs.impl</name>
        <!-- 請根據Hadoop版本選擇fs.AbstractFileSystem.hdfs.impl -->
        <!-- Hadoop 2.x使用com.aliyun.jindodata.hdfs.v28.HDFS -->
        <!-- hadoop 3.x使用com.aliyun.jindodata.hdfs.v3.HDFS -->
        <value>com.aliyun.jindodata.hdfs.v3.HDFS</value>
    </property>
    <property>
        <name>fs.hdfs.impl</name>
        <!-- 請根據Hadoop版本選擇 fs.hdfs.impl -->
        <!-- Hadoop 2.x使用 com.aliyun.jindodata.hdfs.v28.JindoDistributedFileSystem -->
        <!-- Hadoop 3.x使用 com.aliyun.jindodata.hdfs.v3.JindoDistributedFileSystem -->
        <value>com.aliyun.jindodata.hdfs.v3.JindoDistributedFileSystem</value>
    </property>
</configuration>

如果您需要為多個Bucket配置Access Policy發現地址和Scheme實作類別，則多個Bucket之間需使用逗號,分隔，例如<value>oss://<bucket1_name>.<dls_endpoint>, oss://<bucket2_name>.<dls_endpoint>/</value>。

驗證是否已成功配置RootPolicy。

hadoop fs -ls hdfs://<your_ns_name>/

返回以下結果，說明已成功配置RootPolicy。

drwxr-x--x   - hdfs  hadoop          0 2025-06-30 12:27 hdfs://<your_ns_name>/apps
drwxrwxrwx   - spark hadoop          0 2025-06-30 12:27 hdfs://<your_ns_name>/spark-history
drwxrwxrwx   - hdfs  hadoop          0 2025-06-30 12:27 hdfs://<your_ns_name>/tmp
drwxrwxrwx   - hdfs  hadoop          0 2025-06-30 12:27 hdfs://<your_ns_name>/user

使用自訂首碼訪問OSS-HDFS服務。
重啟Hive、Spark等服務後，您可以通過使用自訂首碼訪問OSS-HDFS服務。
（可選）RootPolicy其他用法。
- 列舉指定Bucket當前註冊的所有首碼地址
  您可以通過listAccessPolicies命令列舉指定Bucket當前註冊的所有首碼地址。
```
./jindofs admin -listAccessPolicies oss://<bucket_name>.<dls_endpoint>/
```
- 刪除指定Bucket當前註冊的所有首碼地址
  您可以通過unsetRootPolicy命令刪除指定Bucket當前註冊的所有首碼地址。
```
./jindofs admin -unsetRootPolicy oss://<bucket_name>.<dls_endpoint>/ hdfs://<your_ns_name>/
```

Object Storage Service：通過RootPolicy訪問OSS-HDFS服務

前提條件

操作步驟

相關文檔