E-MapReduce は、MetaServiceをサポートしており、AccessKey なしで E-MapReduce 環境の OSS データにアクセスできます。 AccessKey とエンドポイントを使用する以前の方法もサポートされます。 OSS エンドポイントには必ず内部 IP アドレスを使用します。 完全なエンドポイント一覧の詳細は、「OSS エンドポイント (OSS endpoints)」をご参照ください。
Spark への OSS アクセス許可
以下の例は、Spark が AccessKey なしで OSS からデータを読み取り、処理したデータを OSS に書き戻す方法を示しています。
val conf = new SparkConf().setAppName("Test OSS")
val sc = new SparkContext(conf)
val pathIn = "oss://bucket/path/to/read"
val inputData = sc.textFile(pathIn)
val cnt = inputData.count
println(s"count: $cnt")
val outputPath = "oss://bucket/path/to/write"
val outpuData = inputData.map(e => s"$e has been processed.")
outpuData.saveAsTextFile(outputPath)
付録
完全なサンプルコードについては、以下をご参照ください。