E-MapReduce：提交Spark作業

通過kubectl串連Kubernetes叢集，詳情請參見擷取叢集KubeConfig並通過kubectl工具串連叢集。

建立spark-pi.yaml檔案，檔案內容如下。

apiVersion: "sparkoperator.k8s.io/v1beta2"
kind: SparkApplication
metadata:
  name: spark-pi-simple
spec:
  type: Scala
  sparkVersion: 3.2.1
  mainClass: org.apache.spark.examples.SparkPi
  mainApplicationFile: "local:///opt/spark/examples/spark-examples.jar"
  arguments:
    - "1000"
  driver:
    cores: 1
    coreLimit: 1000m
    memory: 4g
  executor:
    cores: 1
    coreLimit: 1000m
    memory: 8g
    memoryOverhead: 1g
    instances: 1

執行如下命令，提交作業。

kubectl apply -f spark-pi.yaml --namespace <叢集對應的namespace>

sparkapplication.sparkoperator.k8s.io/spark-pi-simple created

可選：您可以在作业详情頁面查看已建立的作業資訊。

通過kubectl串連Kubernetes叢集，詳情請參見擷取叢集KubeConfig並通過kubectl工具串連叢集。

執行以下命令，安裝阿里雲EMR提供的emr-spark-ack工具並授權。

wget https://ecm-repo-cn-hangzhou.oss-cn-hangzhou.aliyuncs.com/emr-on-ack/util/emr-spark-ack
chmod 755 emr-spark-ack

使用emr-spark-ack工具提交作業。

 ./emr-spark-ack -n <叢集對應的namespace> <spark命令>

• Cluster模式樣本

  通過spark-submit提交spark-pi作業。

  ./emr-spark-ack -n <叢集對應的namespace> spark-submit \
      --name spark-pi-submit \
      --deploy-mode cluster \
      --class org.apache.spark.examples.SparkPi \
      local:///opt/spark/examples/spark-examples.jar \
      1000

• Client模式樣本

  • spark-sql命令方式

    # 本地準備sql檔案
    echo "select 1+1">test.sql
    # 提交作業
    ./emr-spark-ack -n <叢集對應的namespace> spark-sql -f test.sql

    在Spark 3及以上叢集版本（EMR-5.X版本）中，emr-spark-ack工具支援本地依賴自動上傳，提交命令裡面的本地檔案依賴，包括--jars，--files和-f等參數中傳入的本地檔案，會自動上傳到EMR on ACK叢集內，用於K8s環境的作業提交。

    程式碼範例及返回資訊如下。

    # xxx @ B xxx -1949 in ~ xxx [16:16:47]
    $ echo "select 1+1">test.sql
    # xxx @ xxx -1949 in ~ xxx [16:17:16]
    $ ./emr-spark-ack -n c-xxx xxx spark-sql -f test.sql
    uploading test.sql to c-xxx b/spark-submit-gateway-865bbf56f6-sfb95:/opt/spark/work-dir/test.sql
    cmd: kubectl exec spark-submit-gateway-865bbf56f6-sfb95 -i -n c-xxx xxx -- /bin/bash spark-sql -f test.sql
    Warning: Ignoring non-Spark config property: ack.clusterid.for.rss.linked
    Setting default log level to "WARN".
    To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
    Spark master: k8s://https://kubernetes.default:443, Application Id: spark-application-1653639654376
    Time taken: 4.738 seconds, Fetched 1 row(s)
    2
    22/05/27 16:21:04 WARN [shutdown-hook-0] ExecutorPodsWatchSnapshotSource: Kubernetes client has been closed.

  • spark-shell命令方式

    ./emr-spark-ack -n <叢集對應的namespace> spark-shell

    程式碼範例及返回資訊如下。

    $ ./emr-spark-ack -n c-xxx spark-shell
    cmd: kubectl exec spark-submit-gateway-865bbf56f6-sfb95 -it -n xxx -- /bin/bash spark-shell
    Warning: Ignoring non-Spark config property: ack.clusterid.for.rss.linked
    Setting default log level to "WARN".
    To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
    Spark context Web UI available at http://10.210.xxx.xxx:4041
    Spark context available as 'sc' (master = k8s://https://kubernetes.default:443, app id = spark-application-16536387xxx).
    Spark session available as 'spark'.
    Welcome to
          ____              __
         / __/__  ___ _____/ /__
        _\ \/ _ \/ _ `/ __/  '_/
       /___/ .__/\_,_/_/ /_/\_\   version 3.2.1
          /_/
    Using Scala version 2.12.15 (OpenJDK 64-Bit Server VM, Java 1.8.0_332)
    Type in expressions to have them evaluated.
    Type :help for more information.
    scala>

可選：您可以在作业详情頁面，查看已建立的作業資訊。

可選：使用emr-spark-ack工具終止作業。

 ./emr-spark-ack -n <叢集對應的namespace> kill <Spark_app_id>

進入訪問連結與連接埠頁面。

1. 登入EMR on ACK。

2. 在EMR on ACK頁面，單擊目的地組群的叢集名。

3. 單擊上方的访问链接与端口頁簽。

在访问链接与端口頁面，單擊SparkSubmitGateway UI對應的連結。

在Shell終端中，可以通過以下兩種方式運行Spark命令。

可選：您可以在作业详情頁面查看已建立的作業資訊。