E-MapReduce:EMR V3.32 以前および EMR V4.5 以前における ECS アプリケーションロール

OSS の権限

Tablestore の権限

Data Lake Formation (DLF) の権限

クラスター上のジョブから OSS にアクセス

MetaService が有効な場合、任意のクラスター上のジョブで簡易パス形式を使用します。

oss://<bucket-name>/<object-path>

MetaService が認証を自動的に処理します。パス内に認証情報を埋め込む必要はありません。また、OSS リソースとの連携体験も向上し、入力する OSS パスが大幅に短縮されます。

Hadoop — オブジェクトの一覧表示：

# MetaService を使用しない場合（パス内に認証情報が埋め込まれている）
hadoop fs -ls oss://ZaH******As1s:Ba23N**************sdaBj2@bucket.oss-cn-hangzhou-internal.aliyuncs.com/a/b/c

# MetaService を使用した場合（簡易パス）
hadoop fs -ls oss://bucket/a/b/c

Hive — OSS をバックエンドとする外部テーブルの作成：

-- MetaService を使用しない場合（パス内に認証情報が埋め込まれている）
CREATE EXTERNAL TABLE test_table(id INT, name string)
        ROW FORMAT DELIMITED
        FIELDS TERMINATED BY '/t'
        LOCATION 'oss://ZaH******As1s:Ba23N**************sdaBj2@bucket.oss-cn-hangzhou-internal.aliyuncs.com/a/b/c';

-- MetaService を使用した場合（簡易パス）
CREATE EXTERNAL TABLE test_table(id INT, name string)
        ROW FORMAT DELIMITED
        FIELDS TERMINATED BY '/t'
        LOCATION 'oss://bucket/a/b/c';

Spark — OSS データの読み込み：

// MetaService を使用しない場合（パス内に認証情報が埋め込まれている）
val data = sc.textFile("oss://ZaH******As1s:Ba23N**************sdaBj2@bucket.oss-cn-hangzhou-internal.aliyuncs.com/a/b/c")

// MetaService を使用した場合（簡易パス）
val data = sc.textFile("oss://bucket/a/b/c")

自己管理型サービスから STS 認証情報の取得

MetaService は、各クラスターノードの http://localhost:10011 で HTTP API を提供しています。これらのエンドポイントを呼び出すことで、AccessKey ペアを用いずに Alibaba Cloud リソースにアクセスするための STS 一時的認証情報をアプリケーションが取得できます。

例 — クラスターのリージョンを取得：

curl http://localhost:10011/cluster-region

利用可能なエンドポイント：