E-MapReduce:Spark ジョブの送信

kubectl を使用して Kubernetes クラスターに接続します。詳細については、「クラスターの KubeConfig ファイルを取得し、kubectl を使用してクラスターに接続する」をご参照ください。

次の内容で spark-pi.yaml という名前のファイルを作成します。

apiVersion: "sparkoperator.k8s.io/v1beta2"
kind: SparkApplication
metadata:
  name: spark-pi-simple
spec:
  type: Scala
  sparkVersion: 3.2.1
  mainClass: org.apache.spark.examples.SparkPi
  mainApplicationFile: "local:///opt/spark/examples/spark-examples.jar"
  arguments:
    - "1000"
  driver:
    cores: 1
    coreLimit: 1000m
    memory: 4g
  executor:
    cores: 1
    coreLimit: 1000m
    memory: 8g
    memoryOverhead: 1g
    instances: 1

次のコマンドを実行してジョブを送信します。

kubectl apply -f spark-pi.yaml --namespace <cluster-namespace>

sparkapplication.sparkoperator.k8s.io/spark-pi-simple created

任意： 作成されたジョブを ジョブの詳細 ページで表示します。

kubectl を使用して Kubernetes クラスターに接続します。詳細については、「クラスターの KubeConfig ファイルを取得し、kubectl を使用してクラスターに接続する」をご参照ください。

次のコマンドを実行して、Alibaba Cloud E-MapReduce の emr-spark-ack ツールをインストールし、その権限を設定します。

wget https://ecm-repo-cn-hangzhou.oss-cn-hangzhou.aliyuncs.com/emr-on-ack/util/emr-spark-ack
chmod 755 emr-spark-ack

emr-spark-ack ツールを使用してジョブを送信します。

 ./emr-spark-ack -n <cluster-namespace> <spark-command>

• 例：クラスターモード

  spark-submit を使用して spark-pi ジョブを送信します。

  ./emr-spark-ack -n <cluster-namespace> spark-submit \
      --name spark-pi-submit \
      --deploy-mode cluster \
      --class org.apache.spark.examples.SparkPi \
      local:///opt/spark/examples/spark-examples.jar \
      1000

• 例：クライアントモード

  • spark-sql コマンドの使用

    # ローカル SQL ファイルを準備します。
    echo "select 1+1">test.sql
    # ジョブを送信します。
    ./emr-spark-ack -n <cluster-namespace> spark-sql -f test.sql

    Spark 3 以降 (EMR-5.X) を実行するクラスターの場合、emr-spark-ack ツールはローカル依存関係を自動的にアップロードします。このツールは、--jars、--files、-f などのパラメーターで指定されたローカルファイルを、Kubernetes 環境でジョブを送信する前に EMR on ACK クラスターにアップロードします。

    次のコードは例とその出力を示しています：

    [user@hostname ~]$ echo "select 1+1">test.sql
    [user@hostname ~]$ ./emr-spark-ack -n <cluster-namespace> spark-sql -f test.sql
    uploading test.sql to c-xxx/spark-submit-gateway-865bbf56f6-sfb95:/opt/spark/work-dir/test.sql
    cmd: kubectl exec spark-submit-gateway-865bbf56f6-sfb95 -i -n <cluster-namespace> -- /bin/bash spark-sql -f test.sql
    Warning: Ignoring non-Spark config property: ack.clusterid.for.rss.linked
    Setting default log level to "WARN".
    To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
    Spark master: k8s://https://kubernetes.default:443, Application Id: spark-application-1653639654376
    Time taken: 4.738 seconds, Fetched 1 row(s)
    2
    22/05/27 16:21:04 WARN [shutdown-hook-0] ExecutorPodsWatchSnapshotSource: Kubernetes client has been closed.

  • spark-shell コマンドの使用

    ./emr-spark-ack -n <cluster-namespace> spark-shell

    次のコードは例とその出力を示しています：

    [user@hostname ~]$ ./emr-spark-ack -n <cluster-namespace> spark-shell
    cmd: kubectl exec spark-submit-gateway-865bbf56f6-sfb95 -it -n <cluster-namespace> -- /bin/bash spark-shell
    Warning: Ignoring non-Spark config property: ack.clusterid.for.rss.linked
    Setting default log level to "WARN".
    To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
    Spark context Web UI available at http://10.210.xxx.xxx:4041
    Spark context available as 'sc' (master = k8s://https://kubernetes.default:443, app id = spark-application-16536387xxx).
    Spark session available as 'spark'.
    Welcome to
          ____              __
         / __/__  ___ _____/ /__
        _\ \/ _ \/ _ `/ __/  '_/
       /___/ .__/\_,_/_/ /_/\_\   version 3.2.1
          /_/
    Using Scala version 2.12.15 (OpenJDK 64-Bit Server VM, Java 1.8.0_332)
    Type in expressions to have them evaluated.
    Type :help for more information.
    scala>

任意： 作成されたジョブを ジョブの詳細 ページで表示します。

任意： emr-spark-ack ツールを使用してジョブを終了します。

 ./emr-spark-ack -n <cluster-namespace> kill <Spark_app_id>

[アクセスリンクとポート] ページに移動します。

1. EMR on ACK コンソールにログインします。

2. EMR on ACK ページで、対象クラスターの名前をクリックします。

3. Access Links and Ports タブをクリックします。

Access Links and Ports ページで、[SparkSubmitGateway UI] のリンクをクリックします。

シェルターミナルで、次の 2 つの方法のいずれかで Spark コマンドを実行します。

任意： 作成されたジョブを ジョブの詳細 ページで表示します。