すべてのプロダクト
Search

このプロダクト

    Container Service for Kubernetes:Spark Operator を使用した Spark ジョブの実行

    ドキュメントセンター

    Container Service for Kubernetes:Spark Operator を使用した Spark ジョブの実行

    最終更新日:Jun 16, 2026

    ACK に Spark Operator をインストールして、宣言的な Kubernetes マニフェストで Spark ジョブのライフサイクル全体を管理します。

    前提条件

    仕組み

    Spark Operator は、SparkApplication や ScheduledSparkApplication などの CustomResourceDefinition (CRD) リソースを使用して、Kubernetes 上で Spark ジョブのライフサイクルを自動化します。自動スケーリング、ヘルスチェック、リソース管理などのネイティブ Kubernetes 機能を活用します。ACK は、kubeflow/spark-operator をベースとした ack-spark-operator を提供しています。「Spark Operator | Kubeflow」をご参照ください。

    利点：

    • 管理の簡素化：宣言的な Kubernetes 設定により、Spark ジョブのデプロイとライフサイクルを自動化します。

    • マルチテナンシーのサポート：Kubernetes の名前空間とリソースクォータを使用してリソースを分離します。ノードセレクションを使用して、専用リソース上で Spark ワークロードを実行します。

    • 弾力的なリソースプロビジョニング：ピーク負荷時に Elastic Container Instance (ECI) や弾性ノードプールなどの弾性リソースを使用してスケーリングし、パフォーマンスとコストのバランスを取ります。

    ユースケース：

    • データ分析：Spark をインタラクティブな分析やデータクレンジングに使用します。

    • バッチコンピューティング：スケジュールされたバッチジョブを実行して、大規模なデータセットを処理します。

    • リアルタイム処理：Spark Streaming により、リアルタイムのデータストリーム処理を実現します。

    手順の概要

    このワークフローでは、Spark Operator のデプロイ、ジョブの投入、実行の監視、およびジョブのライフサイクル管理について説明します。

    1. ack-spark-operator コンポーネントのデプロイ：ACK クラスターに Spark Operator をインストールします。

    2. Spark ジョブの投入：Spark ジョブのマニフェストを作成して投入します。

    3. Spark ジョブの監視：ジョブのステータス、Pod のステータस、およびログを確認します。

    4. Spark Web UI へのアクセス：ブラウザでジョブ実行の詳細を表示します。

    5. Spark ジョブの更新：ジョブマニフェストを変更して再適用します。

    6. Spark ジョブの削除：ジョブを削除してリソースを解放します。

    ステップ 1: ack-spark-operator コンポーネントのデプロイ

    1. ACKコンソールにログインします。 左側のナビゲーションウィンドウで、[Marketplace] > [Marketplace] を選択します。

    2. Marketplaceページで、アプリカタログタブをクリックし、[ack-spark-operator]を検索して選択します。

    3. ack-spark-operator ページで、デプロイ をクリックします。

    4. 作成する パネルで、クラスターと名前空間を選択し、次へ をクリックします。

    5. パラメーター ページで、パラメーターを設定し、OK をクリックします。

      主要なパラメーターは以下のとおりです。完全なリストについては、[ack-spark-operator] ページの ConfigMap タブをご参照ください。

      パラメーター

      説明

      デフォルト

      controller.replicas

      コントローラーレプリカの数。

      1

      webhook.replicas

      Webhook レプリカの数。

      1

      spark.jobNamespaces

      Spark ジョブを実行できる名前空間。空の文字列を指定すると、すべての名前空間が許可されます。複数の値を指定する場合は、カンマ (,) で区切ります。

      • ["default"] (デフォルト)

      • [""] (すべての名前空間)

      • ["ns1","ns2","ns3"] (複数の名前空間)

      spark.serviceAccount.name

      Spark Operator は、spark.jobNamespaces で指定された各名前空間に、spark-operator-spark という名前の ServiceAccount と必要な RBAC リソースを作成します。カスタマイズした場合は、Spark ジョブを投入する際に新しい名前を指定してください。

      spark-operator-spark

    ステップ 2: Spark ジョブの投入

    SparkApplication マニフェストを作成して、Spark ジョブを投入します。

    1. 次の内容でマニフェストを作成し、spark-pi.yaml として保存します。

      apiVersion: sparkoperator.k8s.io/v1beta2
kind: SparkApplication
metadata:
  name: spark-pi
  namespace: default     # 名前空間は spark.jobNamespaces で指定された名前空間のリストに含まれている必要があります。
spec:
  type: Scala
  mode: cluster
  image: registry-cn-hangzhou.ack.aliyuncs.com/ack-demo/spark:3.5.4
  imagePullPolicy: IfNotPresent
  mainClass: org.apache.spark.examples.SparkPi
  mainApplicationFile: local:///opt/spark/examples/jars/spark-examples_2.12-3.5.4.jar
  arguments:
  - "1000"
  sparkVersion: 3.5.4
  driver:
    cores: 1
    coreLimit: 1200m
    memory: 512m
    serviceAccount: spark-operator-spark   # ServiceAccount 名をカスタマイズした場合は、それに応じて値を変更してください。
  executor:
    instances: 1
    cores: 1
    coreLimit: 1200m
    memory: 512m
  restartPolicy:
    type: Never

    2. Spark ジョブを投入します：

      kubectl apply -f spark-pi.yaml

      期待される出力：

      sparkapplication.sparkoperator.k8s.io/spark-pi created

    ステップ 3: Spark ジョブの監視

    Spark ジョブのステータス、Pod、およびログを確認します。

    1. Spark ジョブのステータスを確認します：

      kubectl get sparkapplication spark-pi

      期待される出力：

      NAME       STATUS      ATTEMPTS   START                  FINISH       AGE
spark-pi   SUBMITTED   1          2024-06-04T03:17:11Z   <no value>   15s

    2. Pod のステータスを確認します。これにより、ラベル sparkoperator.k8s.io/app-name=spark-pi で Pod をフィルタリングします。

      kubectl get pod -l sparkoperator.k8s.io/app-name=spark-pi

      期待される出力：

      NAME                               READY   STATUS    RESTARTS   AGE
spark-pi-driver                    1/1     Running   0          49s
spark-pi-7272428fc8f5f392-exec-1   1/1     Running   0          13s

      ジョブが完了すると、driver はすべての executor Pod を削除します。

    3. Spark ジョブの詳細を表示します：

      kubectl describe sparkapplication spark-pi

      出力例

      出力はジョブのステータスに応じて異なります。

      Name:         spark-pi
Namespace:    default
Labels:       <none>
Annotations:  <none>
API Version:  sparkoperator.k8s.io/v1beta2
Kind:         SparkApplication
Metadata:
  Creation Timestamp:  2024-06-04T03:16:59Z
  Generation:          1
  Resource Version:    1350200
  UID:                 1a1f9160-5dbb-XXXX-XXXX-be1c1fda4859
Spec:
  Arguments:
    1000
  Driver:
    Core Limit:  1200m
    Cores:       1
    Memory:           512m
    Service Account:  spark-operator-spark
  Executor:
    Core Limit:  1200m
    Cores:       1
    Instances:   1
    Memory:               512m
  Image:                  registry-cn-hangzhou.ack.aliyuncs.com/ack-demo/spark:3.5.4
  Image Pull Policy:      IfNotPresent
  Main Application File:  local:///opt/spark/examples/jars/spark-examples_2.12-3.5.4.jar
  Main Class:             org.apache.spark.examples.SparkPi
  Mode:                   cluster
  Restart Policy:
    Type:         Never
  Spark Version:  3.5.4
  Type:           Scala
Status:
  Application State:
    State:  COMPLETED
  Driver Info:
    Pod Name:             spark-pi-driver
    Web UI Address:       172.XX.XX.92:0
    Web UI Port:          4040
    Web UI Service Name:  spark-pi-ui-svc
  Execution Attempts:     1
  Executor State:
    spark-pi-26c5XXXXX1408337-exec-1:  COMPLETED
  Last Submission Attempt Time:        2024-06-04T03:17:11Z
  Spark Application Id:                spark-0042dead12XXXXXX43675f09552a946
  Submission Attempts:                 1
  Submission ID:                       117ee161-3951-XXXX-XXXX-e7d24626c877
  Termination Time:                    2024-06-04T03:17:55Z
Events:
  Type    Reason                     Age   From            Message
  ----    ------                     ----  ----            -------
  Normal  SparkApplicationAdded      91s   spark-operator  SparkApplication spark-pi was added, enqueuing it for submission
  Normal  SparkApplicationSubmitted  79s   spark-operator  SparkApplication spark-pi was submitted successfully
  Normal  SparkDriverRunning         61s   spark-operator  Driver spark-pi-driver is running
  Normal  SparkExecutorPending       56s   spark-operator  Executor [spark-pi-26c5XXXXX1408337-exec-1] is pending
  Normal  SparkExecutorRunning       53s   spark-operator  Executor [spark-pi-26c5XXXXX1408337-exec-1] is running
  Normal  SparkDriverCompleted       35s   spark-operator  Driver spark-pi-driver completed
  Normal  SparkApplicationCompleted  35s   spark-operator  SparkApplication spark-pi completed
  Normal  SparkExecutorCompleted     35s   spark-operator  Executor [spark-pi-26c5XXXXX1408337-exec-1] completed

    4. driver Pod のログの最後の 20 行を表示します。

      kubectl logs --tail=20 spark-pi-driver

      期待される出力：

      24/05/30 10:05:30 INFO TaskSchedulerImpl: Removed TaskSet 0.0, whose tasks have all completed, from pool
24/05/30 10:05:30 INFO DAGScheduler: ResultStage 0 (reduce at SparkPi.scala:38) finished in 7.942 s
24/05/30 10:05:30 INFO DAGScheduler: Job 0 is finished. Cancelling potential speculative or zombie tasks for this job
24/05/30 10:05:30 INFO TaskSchedulerImpl: Killing all running tasks in stage 0: Stage finished
24/05/30 10:05:30 INFO DAGScheduler: Job 0 finished: reduce at SparkPi.scala:38, took 8.043996 s
Pi is roughly 3.1419522314195225
24/05/30 10:05:30 INFO SparkContext: SparkContext is stopping with exitCode 0.
24/05/30 10:05:30 INFO SparkUI: Stopped Spark web UI at http://spark-pi-1e18858fc8f56b14-driver-svc.default.svc:4040
24/05/30 10:05:30 INFO KubernetesClusterSchedulerBackend: Shutting down all executors
24/05/30 10:05:30 INFO KubernetesClusterSchedulerBackend$KubernetesDriverEndpoint: Asking each executor to shut down
24/05/30 10:05:30 WARN ExecutorPodsWatchSnapshotSource: Kubernetes client has been closed.
24/05/30 10:05:30 INFO MapOutputTrackerMasterEndpoint: MapOutputTrackerMasterEndpoint stopped!
24/05/30 10:05:30 INFO MemoryStore: MemoryStore cleared
24/05/30 10:05:30 INFO BlockManager: BlockManager stopped
24/05/30 10:05:30 INFO BlockManagerMaster: BlockManagerMaster stopped
24/05/30 10:05:30 INFO OutputCommitCoordinator$OutputCommitCoordinatorEndpoint: OutputCommitCoordinator stopped!
24/05/30 10:05:30 INFO SparkContext: Successfully stopped SparkContext
24/05/30 10:05:30 INFO ShutdownHookManager: Shutdown hook called
24/05/30 10:05:30 INFO ShutdownHookManager: Deleting directory /var/data/spark-14ed60f1-82cd-4a33-b1b3-9e5d975c5b1e/spark-01120c89-5296-4c83-8a20-0799eef4e0ee
24/05/30 10:05:30 INFO ShutdownHookManager: Deleting directory /tmp/spark-5f98ed73-576a-41be-855d-dabdcf7de189

    ステップ 4: Spark Web UI へのアクセス

    Web UI は、driver Pod が Running 状態の場合にのみ利用可能です。

    デフォルトでは、controller.uiService.enable は true に設定されており、ポートフォワーディング用に Web UI を公開する Service が作成されます。false に設定した場合、Service は作成されず、driver Pod から直接ポートフォワーディングを行う必要があります。

    重要

    kubectl port-forward はテストには適していますが、セキュリティリスクがあるため、本番環境での使用は推奨されません。

    1. Web UI ポートをローカルマシンに転送します。

      • Service 経由のポートフォワーディング

        kubectl port-forward services/spark-pi-ui-svc 4040

      • Pod 経由のポートフォワーディング

        kubectl port-forward pods/spark-pi-driver 4040

        期待される出力：

        Forwarding from 127.0.0.1:4040 -> 4040
Forwarding from [::1]:4040 -> 4040

    2. ブラウザで http://127.0.0.1:4040 を開きます。

    (オプション) ステップ 5: Spark ジョブの更新

    ジョブマニフェストを更新して、Spark ジョブのパラメーターを変更します。

    1. spark-pi.yaml を編集します。たとえば、arguments を 10000 に、executor インスタンスを 2 に設定します。

      apiVersion: sparkoperator.k8s.io/v1beta2
kind: SparkApplication
metadata:
  name: spark-pi
spec:
  type: Scala
  mode: cluster
  image: registry-cn-hangzhou.ack.aliyuncs.com/ack-demo/spark:3.5.4
  imagePullPolicy: IfNotPresent
  mainClass: org.apache.spark.examples.SparkPi
  mainApplicationFile: local:///opt/spark/examples/jars/spark-examples_2.12-3.5.4.jar
  arguments:
  - "10000"
  sparkVersion: 3.5.4
  driver:
    cores: 1
    coreLimit: 1200m
    memory: 512m
    serviceAccount: spark-operator-spark # ServiceAccount 名をカスタマイズした場合は、それに応じて値を変更してください。
  executor:
    instances: 2
    cores: 1
    coreLimit: 1200m
    memory: 512m
  restartPolicy:
    type: Never

    2. 変更を適用します。

      kubectl apply -f spark-pi.yaml

    3. ジョブのステータスを確認します。

      kubectl get sparkapplication spark-pi

      Spark ジョブが再度実行されます。期待される出力：

      NAME       STATUS    ATTEMPTS   START                  FINISH       AGE
spark-pi   RUNNING   1          2024-06-04T03:37:34Z   <no value>   20m

    (オプション) ステップ 6: Spark ジョブの削除

    Spark ジョブを削除して、関連するリソースを解放します。

    kubectl delete -f spark-pi.yaml

    または：

    kubectl delete sparkapplication spark-pi

    関連ドキュメント