开源大数据平台E-MapReduce：提交Spark作业

通过kubectl连接Kubernetes集群，详情请参见获取集群KubeConfig并通过kubectl工具连接集群。

新建spark-pi.yaml文件，文件内容如下。

apiVersion: "sparkoperator.k8s.io/v1beta2"
kind: SparkApplication
metadata:
  name: spark-pi-simple
spec:
  type: Scala
  sparkVersion: 3.2.1
  mainClass: org.apache.spark.examples.SparkPi
  mainApplicationFile: "local:///opt/spark/examples/spark-examples.jar"
  arguments:
    - "1000"
  driver:
    cores: 1
    coreLimit: 1000m
    memory: 4g
  executor:
    cores: 1
    coreLimit: 1000m
    memory: 8g
    memoryOverhead: 1g
    instances: 1

执行如下命令，提交作业。

kubectl apply -f spark-pi.yaml --namespace <集群对应的namespace>

sparkapplication.sparkoperator.k8s.io/spark-pi-simple created

可选：您可以在作业详情页面查看已创建的作业信息。

通过kubectl连接Kubernetes集群，详情请参见获取集群KubeConfig并通过kubectl工具连接集群。

执行以下命令，安装阿里云EMR提供的emr-spark-ack工具并授权。

wget https://ecm-repo-cn-hangzhou.oss-cn-hangzhou.aliyuncs.com/emr-on-ack/util/emr-spark-ack
chmod 755 emr-spark-ack

使用emr-spark-ack工具提交作业。

 ./emr-spark-ack -n <集群对应的namespace> <spark命令>

• Cluster模式示例

  通过spark-submit提交spark-pi作业。

  ./emr-spark-ack -n <集群对应的namespace> spark-submit \
      --name spark-pi-submit \
      --deploy-mode cluster \
      --class org.apache.spark.examples.SparkPi \
      local:///opt/spark/examples/spark-examples.jar \
      1000

• Client模式示例

  • spark-sql命令方式

    # 本地准备sql文件
    echo "select 1+1">test.sql
    # 提交作业
    ./emr-spark-ack -n <集群对应的namespace> spark-sql -f test.sql

    在Spark 3及以上集群版本（EMR-5.X版本）中，emr-spark-ack工具支持本地依赖自动上传，提交命令里面的本地文件依赖，包括--jars，--files和-f等参数中传入的本地文件，会自动上传到EMR on ACK集群内，用于K8s环境的作业提交。

    代码示例及返回信息如下。

    # xxx @ B xxx -1949 in ~ xxx [16:16:47]
    $ echo "select 1+1">test.sql
    # xxx @ xxx -1949 in ~ xxx [16:17:16]
    $ ./emr-spark-ack -n c-xxx xxx spark-sql -f test.sql
    uploading test.sql to c-xxx b/spark-submit-gateway-865bbf56f6-sfb95:/opt/spark/work-dir/test.sql
    cmd: kubectl exec spark-submit-gateway-865bbf56f6-sfb95 -i -n c-xxx xxx -- /bin/bash spark-sql -f test.sql
    Warning: Ignoring non-Spark config property: ack.clusterid.for.rss.linked
    Setting default log level to "WARN".
    To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
    Spark master: k8s://https://kubernetes.default:443, Application Id: spark-application-1653639654376
    Time taken: 4.738 seconds, Fetched 1 row(s)
    2
    22/05/27 16:21:04 WARN [shutdown-hook-0] ExecutorPodsWatchSnapshotSource: Kubernetes client has been closed.

  • spark-shell命令方式

    ./emr-spark-ack -n <集群对应的namespace> spark-shell

    代码示例及返回信息如下。

    $ ./emr-spark-ack -n c-xxx spark-shell
    cmd: kubectl exec spark-submit-gateway-865bbf56f6-sfb95 -it -n xxx -- /bin/bash spark-shell
    Warning: Ignoring non-Spark config property: ack.clusterid.for.rss.linked
    Setting default log level to "WARN".
    To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
    Spark context Web UI available at http://10.210.xxx.xxx:4041
    Spark context available as 'sc' (master = k8s://https://kubernetes.default:443, app id = spark-application-16536387xxx).
    Spark session available as 'spark'.
    Welcome to
          ____              __
         / __/__  ___ _____/ /__
        _\ \/ _ \/ _ `/ __/  '_/
       /___/ .__/\_,_/_/ /_/\_\   version 3.2.1
          /_/
    Using Scala version 2.12.15 (OpenJDK 64-Bit Server VM, Java 1.8.0_332)
    Type in expressions to have them evaluated.
    Type :help for more information.
    scala>

可选：您可以在作业详情页面，查看已创建的作业信息。

可选：使用emr-spark-ack工具终止作业。

 ./emr-spark-ack -n <集群对应的namespace> kill <Spark_app_id>

进入访问链接与端口页面。

1. 登录EMR on ACK。

2. 在EMR on ACK页面，单击目标集群的集群名。

3. 单击上方的访问链接与端口页签。

在访问链接与端口页面，单击SparkSubmitGateway UI对应的链接。

在Shell终端中，可以通过以下两种方式运行Spark命令。

可选：您可以在作业详情页面查看已创建的作业信息。