Container Service for Kubernetes:Spark ジョブでの OSS データの読み書き

Hadoop OSS SDK の使用

この例では、Spark 3.5.5 と Hadoop OSS SDK 3.3.4 を使用します。

ARG SPARK_IMAGE=spark:3.5.5

FROM ${SPARK_IMAGE}

# Hadoop Alibaba Cloud OSS サポート用の依存関係を追加
ADD --chown=spark:spark --chmod=644 https://repo1.maven.org/maven2/org/apache/hadoop/hadoop-aliyun/3.3.4/hadoop-aliyun-3.3.4.jar ${SPARK_HOME}/jars
ADD --chown=spark:spark --chmod=644 https://repo1.maven.org/maven2/com/aliyun/oss/aliyun-sdk-oss/3.17.4/aliyun-sdk-oss-3.17.4.jar ${SPARK_HOME}/jars
ADD --chown=spark:spark --chmod=644 https://repo1.maven.org/maven2/org/jdom/jdom2/2.0.6.1/jdom2-2.0.6.1.jar ${SPARK_HOME}/jars

Hadoop S3 SDK の使用

この例では、Spark 3.5.5 と Hadoop S3 SDK 3.3.4 を使用します。

ARG SPARK_IMAGE=spark:3.5.5

FROM ${SPARK_IMAGE}

# Hadoop AWS S3 サポート用の依存関係を追加
ADD --chown=spark:spark --chmod=644 https://repo1.maven.org/maven2/org/apache/hadoop/hadoop-aws/3.3.4/hadoop-aws-3.3.4.jar ${SPARK_HOME}/jars
ADD --chown=spark:spark --chmod=644 https://repo1.maven.org/maven2/com/amazonaws/aws-java-sdk-bundle/1.12.367/aws-java-sdk-bundle-1.12.367.jar ${SPARK_HOME}/jars

JindoSDK の使用

この例では、Spark 3.5.5 と JindoSDK 6.8.0 を使用します。

ARG SPARK_IMAGE=spark:3.5.5

FROM ${SPARK_IMAGE}

# JindoSDK サポート用の依存関係を追加
ADD --chown=spark:spark --chmod=644 https://jindodata-binary.oss-cn-shanghai.aliyuncs.com/mvn-repo/com/aliyun/jindodata/jindo-core/6.8.0/jindo-core-6.8.0.jar ${SPARK_HOME}/jars
ADD --chown=spark:spark --chmod=644 https://jindodata-binary.oss-cn-shanghai.aliyuncs.com/mvn-repo/com/aliyun/jindodata/jindo-sdk/6.8.0/jindo-sdk-6.8.0.jar ${SPARK_HOME}/jars

Hadoop OSS SDK の使用

1. spark-oss-secret.yaml を作成します。

   apiVersion: v1
   kind: Secret
   metadata:
     name: spark-oss-secret
     namespace: default
   stringData:
     #  を Alibaba Cloud アカウントの AccessKey ID に置き換えます。
     OSS_ACCESS_KEY_ID: <ACCESS_KEY_ID>
     #  を Alibaba Cloud アカウントの AccessKey Secret に置き換えます。
     OSS_ACCESS_KEY_SECRET: <ACCESS_KEY_SECRET>

2. Secret を適用します。

   kubectl apply -f spark-oss-secret.yaml

   出力例：

   secret/spark-oss-secret created

Hadoop S3 SDK の使用

Hadoop S3 SDK は AWS_ACCESS_KEY_ID と AWS_SECRET_ACCESS_KEY から認証情報を読み取るため、キー名は OSS SDK とは異なります。

1. spark-s3-secret.yaml を作成します。

   apiVersion: v1
   kind: Secret
   metadata:
     name: spark-s3-secret
     namespace: default
   stringData:
     #  を Alibaba Cloud アカウントの AccessKey ID に置き換えます。
     AWS_ACCESS_KEY_ID: <ACCESS_KEY_ID>
     #  を Alibaba Cloud アカウントの AccessKey Secret に置き換えます。
     AWS_SECRET_ACCESS_KEY: <ACCESS_KEY_SECRET>

2. Secret を適用します。

   kubectl apply -f spark-s3-secret.yaml

   出力例：

   secret/spark-s3-secret created

JindoSDK の使用

1. spark-oss-secret.yaml を作成します。

   apiVersion: v1
   kind: Secret
   metadata:
     name: spark-oss-secret
     namespace: default
   stringData:
     #  を Alibaba Cloud アカウントの AccessKey ID に置き換えます。
     OSS_ACCESS_KEY_ID: <ACCESS_KEY_ID>
     #  を Alibaba Cloud アカウントの AccessKey Secret に置き換えます。
     OSS_ACCESS_KEY_SECRET: <ACCESS_KEY_SECRET>

2. Secret を適用します。

   kubectl apply -f spark-oss-secret.yaml

   出力例：

   secret/spark-oss-secret created

Hadoop OSS SDK の使用

spark-pagerank.yaml を作成します。Hadoop-Aliyun モジュールには、利用可能なすべての OSS パラメーターが記載されています。

apiVersion: sparkoperator.k8s.io/v1beta2
kind: SparkApplication
metadata:
  name: spark-pagerank
  namespace: default
spec:
  type: Scala
  mode: cluster
  #  をステップ 2 でビルドした Spark コンテナイメージに置き換えます。
  image: <SPARK_IMAGE>
  mainApplicationFile: local:///opt/spark/examples/jars/spark-examples_2.12-3.5.5.jar
  mainClass: org.apache.spark.examples.SparkPageRank
  arguments:
  - oss://<OSS_BUCKET>/data/pagerank_dataset.txt           # 入力テストデータセット。 を実際の OSS バケット名に置き換えます。
  - "10"                                                   # 反復回数
  sparkVersion: 3.5.5
  hadoopConf:
    fs.AbstractFileSystem.oss.impl: org.apache.hadoop.fs.aliyun.oss.OSS
    fs.oss.impl: org.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystem
    # OSS エンドポイント。 を実際の OSS エンドポイントに置き換えます。
    # たとえば、中国 (北京) リージョンの内部エンドポイントは oss-cn-beijing-internal.aliyuncs.com です。
    fs.oss.endpoint: <OSS_ENDPOINT>
    fs.oss.credentials.provider: com.aliyun.oss.common.auth.EnvironmentVariableCredentialsProvider
  driver:
    cores: 1
    coreLimit: 1200m
    memory: 512m
    envFrom:
    - secretRef:
        name: spark-oss-secret               # OSS へのアクセスに使用する Secret
    serviceAccount: spark-operator-spark
  executor:
    instances: 2
    cores: 1
    coreLimit: "2"
    memory: 8g
    envFrom:
    - secretRef:
        name: spark-oss-secret               # OSS へのアクセスに使用する Secret
  restartPolicy:
    type: Never

Hadoop S3 SDK の使用

spark-pagerank.yaml を作成します。Hadoop-AWS モジュールには、利用可能なすべての S3 パラメーターが記載されています。

apiVersion: sparkoperator.k8s.io/v1beta2
kind: SparkApplication
metadata:
  name: spark-pagerank
  namespace: default
spec:
  type: Scala
  mode: cluster
  #  をステップ 2 でビルドした Spark コンテナイメージに置き換えます。
  image: <SPARK_IMAGE>
  mainApplicationFile: local:///opt/spark/examples/jars/spark-examples_2.12-3.5.5.jar
  mainClass: org.apache.spark.examples.SparkPageRank
  arguments:
  - s3a://<OSS_BUCKET>/data/pagerank_dataset.txt           # 入力テストデータセット。 を実際の OSS バケット名に置き換えます。
  - "10"                                                   # 反復回数
  sparkVersion: 3.5.5
  hadoopConf:
    fs.s3a.impl: org.apache.hadoop.fs.s3a.S3AFileSystem
    # OSS エンドポイント。 を実際の OSS エンドポイントに置き換えます。
    # たとえば、中国 (北京) リージョンの内部エンドポイントは oss-cn-beijing-internal.aliyuncs.com です。
    fs.s3a.endpoint: <OSS_ENDPOINT>
    # OSS エンドポイントのリージョン。たとえば、中国 (北京) リージョンの場合は cn-beijing です。
    fs.s3a.endpoint.region: <OSS_REGION>
  driver:
    cores: 1
    coreLimit: 1200m
    memory: 512m
    envFrom:
    - secretRef:
        name: spark-s3-secret               # OSS へのアクセスに使用する Secret
    serviceAccount: spark-operator-spark
  executor:
    instances: 2
    cores: 1
    coreLimit: "2"
    memory: 8g
    envFrom:
    - secretRef:
        name: spark-s3-secret               # OSS へのアクセスに使用する Secret
  restartPolicy:
    type: Never

JindoSDK の使用

spark-pagerank.yaml を作成します。

apiVersion: sparkoperator.k8s.io/v1beta2
kind: SparkApplication
metadata:
  name: spark-pagerank
  namespace: default
spec:
  type: Scala
  mode: cluster
  #  をステップ 2 でビルドした Spark コンテナイメージに置き換えます。
  image: <SPARK_IMAGE>
  mainApplicationFile: local:///opt/spark/examples/jars/spark-examples_2.12-3.5.5.jar
  mainClass: org.apache.spark.examples.SparkPageRank
  arguments:
  - oss://<OSS_BUCKET>/data/pagerank_dataset.txt    # 入力テストデータセット。 を実際の OSS バケット名に置き換えます。
  - "10"                                            # 反復回数
  sparkVersion: 3.5.5
  hadoopConf:
    fs.AbstractFileSystem.oss.impl: com.aliyun.jindodata.oss.JindoOSS
    fs.oss.impl: com.aliyun.jindodata.oss.JindoOssFileSystem
    # OSS エンドポイント。 を実際の OSS エンドポイントに置き換えます。
    # たとえば、中国 (北京) リージョンの内部エンドポイントは oss-cn-beijing-internal.aliyuncs.com です。
    fs.oss.endpoint: <OSS_ENDPOINT>
    fs.oss.credentials.provider: com.aliyun.jindodata.oss.auth.EnvironmentVariableCredentialsProvider
  driver:
    cores: 1
    coreLimit: 1200m
    memory: 512m
    serviceAccount: spark-operator-spark
    envFrom:
    - secretRef:
        name: spark-oss-secret                    # OSS へのアクセスに使用する Secret
  executor:
    instances: 2
    cores: 1
    coreLimit: "2"
    memory: 8g
    envFrom:
    - secretRef:
        name: spark-oss-secret                    # OSS へのアクセスに使用する Secret
  restartPolicy:
    type: Never