E-MapReduce:ECS アプリケーションロール (EMR V3.32.0 以前のマイナーバージョン、または EMR V4.5.0 以前のマイナーバージョンで使用)

前提条件

このロールは承認されています。詳細については、Alibaba Cloud アカウントへのロールの割り当てをご参照ください。

背景情報

MetaService では、AccessKey ペアなしでオブジェクトストレージサービス (OSS)、ログサービス、およびメッセージサービス (MNS) のみにアクセスできます。

権限

MetaService をサポートするデータソース

MetaService を使用すると、OSS、ログサービス、および MNS にアクセスできます。EMR クラスターで EMR SDK を使用して、AccessKey ペアなしで前述のデータソースからデータを読み書きできます。

デフォルトでは、OSS へのアクセスのみが有効になっています。ログサービスおよび MNS からデータを読み書きする場合は、RAM コンソールにログオンし、AliyunEmrEcsDefaultRole ロールに必要な権限を構成します。詳細については、RAM コンソールをご参照ください。

RAM ロールの承認方法の詳細については、RAM ロールへの権限の付与をご参照ください。

MetaService の使用

• EMR クラスター内のサービスに次の利点をもたらします：

  サービスで実行するジョブは、AccessKey ペアなしで Alibaba Cloud リソース (OSS、ログサービス、および MNS) にアクセスできます。

  MetaService を使用する前後の操作の比較：

  • hadoop fs -ls コマンドを実行して OSS データを表示します。
    • MetaService を使用しない場合：

      hadoop fs -ls oss://ZaH******As1s:Ba23N**************sdaBj2@bucket.oss-cn-hangzhou-internal.aliyuncs.com/a/b/c

    • MetaService を使用する場合：

      hadoop fs -ls oss://bucket/a/b/c

  • Hive で外部テーブルを作成します。
    • MetaService を使用しない場合：

      CREATE EXTERNAL TABLE test_table(id INT, name string)
              ROW FORMAT DELIMITED
              FIELDS TERMINATED BY '/t'
              LOCATION 'oss://ZaH******As1s:Ba23N**************sdaBj2@bucket.oss-cn-hangzhou-internal.aliyuncs.com/a/b/c';

    • MetaService を使用する場合：

      CREATE EXTERNAL TABLE test_table(id INT, name string)
              ROW FORMAT DELIMITED
              FIELDS TERMINATED BY '/t'
              LOCATION 'oss://bucket/a/b/c';

  • Spark を使用して OSS データを表示します。
    • MetaService を使用しない場合：

      val data = sc.textFile("oss://ZaH******As1s:Ba23N**************sdaBj2@bucket.oss-cn-hangzhou-internal.aliyuncs.com/a/b/c")

    • MetaService を使用する場合：

      val data = sc.textFile("oss://bucket/a/b/c")

• セルフデプロイサービスに次の利点をもたらします：
  MetaService は HTTP サービスです。この HTTP サービスの URL にアクセスして、Security Token Service (STS) の一時的な認証情報を取得できます。次に、STS の一時的な認証情報を使用して、セルフマネージドシステムで AccessKey ペアなしで Alibaba Cloud リソースにアクセスできます。

  重要 新しい STS の一時的な認証情報は、現在の認証情報の期限が切れる 30 分前に生成されます。30 分以内はどちらの STS 認証情報も使用できます。

  curl http://localhost:10011/cluster-region を実行して、クラスターが存在するリージョンを取得できます。

  MetaService を使用して、次の情報を取得できます。

  • リージョン：/cluster-region
  • ロール名：/cluster-role-name
  • AccessKey ID：/role-access-key-id
  • AccessKey シークレット：/role-access-key-secret
  • セキュリティトークン：/role-security-token
  • ネットワークタイプ：/cluster-network-type