:Configurar um ambiente de desenvolvimento Linux

Pré-requisitos

Baixar o pacote do cliente Spark on MaxCompute e enviá-lo ao seu sistema operacional

sudo tar -xzvf spark-2.3.0-odps0.33.0.tar.gz

Configurar variáveis de ambiente

Configure as variáveis de ambiente na CLI do seu sistema operacional Linux. O conteúdo a seguir descreve como configurar essas variáveis e fornece informações relacionadas.

• Configure as variáveis de ambiente do Java.

  • Obtenha o caminho de instalação do Java. Comandos de exemplo:

    # If you use yum to install Java, Java is installed in the /usr path by default. You can run the following command to query the Java installation path. If you use a custom installation path, the actual path prevails. 
    whereis java
    ls -lrt /usr/bin/java
    ls -lrt /etc/alternatives/java
    
    # The following result is returned. In the result, /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.322.b06-1.1.al7.x86_64 is the Java installation path. 
    /etc/alternatives/java -> /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.322.b06-1.1.al7.x86_64/jre/bin/java

    

  • Edite as variáveis de ambiente do Java. Comandos de exemplo:

    # Edit the configuration file for environment variables. 
    vim /etc/profile
    
    # Press i to enter the edit mode and add environment variables to the end of the configuration file. 
    # Set JAVA_HOME to the actual Java installation path. 
    export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.322.b06-1.1.al7.x86_64
    export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
    export PATH=$JAVA_HOME/bin:$PATH
    # Press the Esc key to exit the edit mode and enter :wq to close the configuration file. 
    
    # Run the following command to make the modification take effect: 
    source /etc/profile
    
    # Check whether the Java environment variables are successfully configured. 
    java -version
    # The following result is returned: 
    openjdk version "1.8.0_322"
    OpenJDK Runtime Environment (build 1.8.0_322-b06)
    OpenJDK 64-Bit Server VM (build 25.322-b06, mixed mode)

    

• Configure as variáveis de ambiente do Spark.

  • Obtenha o caminho onde o pacote do cliente Spark on MaxCompute foi descompactado. A figura a seguir mostra que o caminho é /home/spark-2.3.0-odps0.33.0. O caminho de descompactação e o nome do pacote variam conforme a situação real.

  • Edite as variáveis de ambiente do Spark. Comandos de exemplo:

    # Edit the configuration file for environment variables. 
    vim /etc/profile
    # Press i to enter the edit mode and add environment variables to the end of the configuration file. 
    # Set SPARK_HOME to the actual path to which the Spark on MaxCompute client package is decompressed. 
    export SPARK_HOME=/home/spark-2.3.0-odps0.33.0
    export PATH=$SPARK_HOME/bin:$PATH
    # Press the Esc key to exit the edit mode and enter :wq to close the configuration file. 
    
    # Run the following command to make the modification take effect: 
    source /etc/profile

    

• Configure as variáveis de ambiente do Python.

  Caso utilize PySpark, configure as variáveis de ambiente do Python.

  • Obtenha o caminho de instalação do Python. Comando de exemplo:

  • Edite as variáveis de ambiente do Python. Comandos de exemplo:

    # Edit the configuration file for environment variables. 
    vim /etc/profile
    
    # Press i to enter the edit mode and add environment variables to the end of the configuration file. 
    # Set PATH to the actual Python installation path. 
    export PATH=/usr/bin/python/bin/:$PATH
    # Press the Esc key to exit the edit mode and enter :wq to close the configuration file. 
    
    # Run the following command to make the modification take effect: 
    source /etc/profile
    
    # Check whether the Python environment variables are successfully configured. 
    python --version
    # The following result is returned: 
    Python 2.7.5

    

• Configure as variáveis de ambiente do Maven.

  • Obtenha o caminho onde o pacote Maven foi descompactado. A figura a seguir mostra que o caminho é /home/apache-maven-3.8.7. O caminho de descompactação e o nome do pacote variam conforme a situação real.

  • Edite as variáveis de ambiente do Maven. Comandos de exemplo:

    # Edit the configuration file for environment variables. 
    vim /etc/profile
    
    # Press i to enter the edit mode and add environment variables to the end of the configuration file. 
    # Set MAVEN_HOME to the actual path to which the Maven package is decompressed. 
    export MAVEN_HOME=/home/apache-maven-3.8.7
    export PATH=$MAVEN_HOME/bin:$PATH
    # Press the Esc key to exit the edit mode and enter :wq to close the configuration file. 
    # Run the following command to make the modification take effect: 
    source /etc/profile
    
    # Check whether the Maven environment variables are successfully configured. 
    mvn -version
    # The following result is returned: 
    Apache Maven 3.8.7 (9b656c72d54e5bacbed989b64718c159fe39b537)
    Maven home: /home/apache-maven-3.8.7
    Java version: 1.8.0_322, vendor: Red Hat, Inc., runtime: /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.322.b06-1.1.al7.x86_64/jre
    Default locale: en_US, platform encoding: UTF-8
    OS name: "linux", version: "4.19.91-25.1.al7.x86_64", arch: "amd64", family: "unix"

• Configure as variáveis de ambiente do Git.

  • Obtenha o caminho de instalação do Git. Comandos de exemplo:

    whereis git

    

  • Edite as variáveis de ambiente do Git. Comandos de exemplo:

    # Edit the configuration file for environment variables. 
    vim /etc/profile
    
    # Press i to enter the edit mode and add environment variables to the end of the configuration file. # Set PATH to the actual Git installation path. 
    export PATH=/usr/local/git/bin/:$PATH
    # Press the Esc key to exit the edit mode and enter :wq to close the configuration file. 
    
    # Run the following command to make the modification take effect: 
    source /etc/profile
    
    # Check whether the Git environment variables are successfully configured. 
    git --version
    # The following result is returned: 
    git version 2.24.4

    

Configurar o arquivo spark-defaults.conf

# Switch to the path to which the Spark on MaxCompute client package is decompressed and go to the conf folder. The actual path prevails. 
cd /home/spark-2.3.0-odps0.33.0/conf

# Rename the spark-defaults.conf.template file. 
mv spark-defaults.conf.template spark-defaults.conf

# Edit the spark-defaults.conf file. 
vim spark-defaults.conf
# Press i to enter the edit mode and add the following configuration to the end of the configuration file. 
spark.hadoop.odps.project.name = <MaxCompute_project_name>  
spark.hadoop.odps.access.id = <AccessKey_id>     
spark.hadoop.odps.access.key = <AccessKey_secret>
spark.hadoop.odps.end.point = <Endpoint>   # The endpoint that is used to connect the Spark on MaxCompute client to your MaxCompute project. You can modify the endpoint based on your business requirements. For more information, see Endpoint. 
# For Spark 2.3.0, set spark.sql.catalogImplementation to odps. For Spark 2.4.5, set spark.sql.catalogImplementation to hive. 
spark.sql.catalogImplementation={odps|hive} 
# Retain the following configurations:
spark.hadoop.odps.task.major.version = cupid_v2
spark.hadoop.odps.cupid.container.image.enable = true
spark.hadoop.odps.cupid.container.vm.engine.type = hyper
spark.hadoop.odps.moye.trackurl.host = http://jobview.odps.aliyun.com

• MaxCompute_project_name: o nome do projeto MaxCompute que você deseja acessar.

  Este parâmetro especifica o nome do seu projeto MaxCompute, e não o workspace do DataWorks ao qual o projeto corresponde. Faça login no console do MaxCompute. Na barra de navegação superior, selecione uma região. No painel de navegação à esquerda, escolha Workspace > Projects para visualizar o nome do projeto MaxCompute.

• AccessKey_id: o AccessKey ID usado para acessar o projeto MaxCompute.

  Obtenha o AccessKey ID na página AccessKey Pair.

• AccessKey_secret: o AccessKey secret correspondente ao AccessKey ID.

  Obtenha o AccessKey secret na página AccessKey Pair.

• Endpoint: o endpoint público da região onde reside o seu projeto MaxCompute.

  Para mais informações sobre o endpoint público de cada região, consulte Endpoints em diferentes regiões (Internet).

• VPC_endpoint: o endpoint VPC da região onde reside o seu projeto MaxCompute.

  Para mais informações sobre o endpoint VPC de cada região, consulte Endpoints em diferentes regiões (VPC).

Outros parâmetros de configuração são necessários para cenários e recursos especiais. Para mais informações, consulte Detalhes da configuração do Spark on MaxCompute.

Preparar um projeto

Se uma mensagem de erro aparecer após a execução dos comandos acima indicando que as configurações de ambiente são inválidas, siga as instruções anteriores para verificar as configurações. Caso encontre configurações inválidas, modifique-as.

Configurar dependências

No projeto Spark on MaxCompute preparado, configure as dependências. Comandos de exemplo:

• Configure as dependências necessárias para acessar tabelas no seu projeto MaxCompute.

  • Uso do modelo Spark-1.x.

    # Go to the spark-1.x folder. 
    cd MaxCompute-Spark/spark-1.x
    
    # Edit the POM file to add the odps-spark-datasource dependency. 
    <dependency>
      <groupId>com.aliyun.odps</groupId>
      <artifactId>odps-spark-datasource_2.10</artifactId>
      <version>3.3.8-public</version>
    </dependency>                           

  • Uso do modelo Spark-2.x.

    # Go to the spark-2.x folder. 
    cd MaxCompute-Spark/spark-2.x
    
    # Edit the POM file to add the odps-spark-datasource dependency. 
    <dependency>
        <groupId>com.aliyun.odps</groupId>
        <artifactId>odps-spark-datasource_2.11</artifactId>
        <version>3.3.8-public</version>
    </dependency>

• Configure a dependência necessária para acessar o Object Storage Service (OSS).

  Se o seu job precisar acessar o OSS, adicione a seguinte dependência:

  <dependency>
      <groupId>com.aliyun.odps</groupId>
      <artifactId>hadoop-fs-oss</artifactId>
      <version>3.3.8-public</version>
  </dependency>

Para mais informações sobre as dependências necessárias ao usar os modelos Spark-1.x, Spark-2.x ou Spark-3.x, consulte pom do Spark-1.x, pom do Spark-2.x ou pom do Spark-3.x.

Referenciar arquivos externos

val targetFile = "File name"
val file = Source.fromFile(targetFile)
for (line <- file.getLines)
    println(line)
file.close

Realizar teste de fumaça SparkPi

# /path/to/MaxCompute-Spark Configure a valid path for the compiled JAR package of the application. 
cd $SPARK_HOME
bin/spark-submit \
--class com.aliyun.odps.spark.examples.SparkPi \
--master yarn \
--deploy-mode cluster \
/path/to/your/spark-examples_2.11-1.0.0-SNAPSHOT-shaded.jar

# If the following log information is displayed, smoke testing is successful. 
19/06/11 11:57:30 INFO Client: 
         client token: N/A
         diagnostics: N/A
         ApplicationMaster host: 11.222.166.90
         ApplicationMaster RPC port: 38965
         queue: queue
         start time: 1560225401092
         final status: SUCCEEDED

Observações sobre a execução do Spark on MaxCompute em modo local usando IntelliJ IDEA

Precauções ao usar o Spark 2.4.5

• Uso do Spark 2.4.5 para enviar jobs

  • Envie o job em um cluster Yarn. Para mais informações, consulte Modo Cluster.

  • Defina o parâmetro spark.hadoop.odps.spark.version como spark-2.4.5-odps0.33.0 no console do DataWorks. Se a versão do Spark dos grupos de recursos exclusivos no DataWorks não estiver atualizada para o Spark 2.4.5, utilize grupos de recursos compartilhados para agendar jobs ou entre em contato com a equipe de suporte técnico do MaxCompute para atualizar a versão.

• Alterações no uso do Spark 2.4.5

  • Ao enviar jobs em um cluster Yarn, execute o comando export HADOOP_CONF_DIR=$SPARK_HOME/conf para adicionar a variável de ambiente SPARK_HOME.

  • Para depuração em modo local, crie um arquivo chamado odps.conf no caminho $SPARK_HOME/conf e adicione as seguintes configurações ao arquivo:

    odps.project.name = 
    odps.access.id = 
    odps.access.key =
    odps.end.point =

• Alterações nas definições de parâmetros do Spark 2.4.5

  • spark.sql.catalogImplementation: defina este parâmetro como hive.

  • spark.sql.sources.default: defina este parâmetro como hive.

  • spark.sql.odps.columnarReaderBatchSize: especifica o número de linhas das quais o leitor vetorizado lê dados por vez. Valor padrão: 4096.

  • spark.sql.odps.enableVectorizedReader: especifica se o leitor vetorizado deve ser ativado. Valor padrão: True.

  • spark.sql.odps.enableVectorizedWriter: especifica se o gravador vetorizado deve ser ativado. Valor padrão: True.

  • spark.sql.odps.split.size: ajusta a concorrência das operações de leitura de dados em tabelas do MaxCompute. Por padrão, é definido como 256 para cada partição. Unidade: MB.

Precauções ao usar o Spark 3.1.1

• Uso do Spark 3.1.1 para enviar jobs

  • Envie o job em um cluster Yarn. Para mais informações, consulte Modo Cluster.

  • Para enviar jobs Spark versão 3.1.1 escritos em Scala ou Java, adicione as seguintes configurações ao arquivo spark-defaults.conf:

    spark.hadoop.odps.cupid.resources = public.__spark_libs__3.1.1-odps0.33.0.zip,[projectname].[Main JAR Package],[projectname].[Other JAR Package]                 
    spark.driver.extraClassPath = ./public.__spark_libs__3.1.1-odps0.33.0.zip/*            
    spark.executor.extraClassPath = ./public.__spark_libs__3.1.1-odps0.33.0.zip/* 

    Nota

    • Ao enviar jobs Spark versão 3.1.1, especifique todos os recursos necessários no parâmetro spark.hadoop.odps.cupid.resources. Os recursos necessários incluem o pacote JAR principal. Caso contrário, a classe Java relacionada pode não ser encontrada.

    • Não é possível enviar jobs PySpark usando os métodos acima.

• Alterações no uso do Spark 3.1.1

  • Ao enviar jobs em um cluster Yarn, execute o comando export HADOOP_CONF_DIR=$SPARK_HOME/conf para adicionar a variável de ambiente SPARK_HOME.

  • Para enviar jobs PySpark em um cluster Yarn, adicione as seguintes configurações ao arquivo spark-defaults.conf para usar o Spark com Python 3:

    spark.hadoop.odps.cupid.resources = public.python-3.7.9-ucs4.tar.gz
    spark.pyspark.python = ./public.python-3.7.9-ucs4.tar.gz/python-3.7.9-ucs4/bin/python3

  • Para realizar depuração em modo local, execute as seguintes operações:

    • Crie um arquivo odps.conf no diretório $SPARK_HOME/conf e adicione as seguintes configurações ao arquivo:

      odps.project.name = 
      odps.access.id = 
      odps.access.key =
      odps.end.point =

    • Adicione spark.hadoop.fs.defaultFS = file:/// ao código. Código de exemplo:

      val spark = SparkSession
        .builder()
        .config("spark.hadoop.fs.defaultFS", "file:///")
        .enableHiveSupport()
        .getOrCreate()

• Alterações nas definições de parâmetros do Spark 3.1.1

  • spark.sql.defaultCatalog: defina este parâmetro como odps.

  • spark.sql.catalog.odps: defina este parâmetro como org.apache.spark.sql.execution.datasources.v2.odps.OdpsTableCatalog.

  • spark.sql.sources.partitionOverwriteMode: defina este parâmetro como dynamic.

  • spark.sql.extensions: defina este parâmetro como org.apache.spark.sql.execution.datasources.v2.odps.extension.OdpsExtensions.

  • spark.sql.odps.enableVectorizedReader: especifica se o leitor vetorizado deve ser ativado. Valor padrão: True.

  • spark.sql.odps.enableVectorizedWriter: especifica se o gravador vetorizado deve ser ativado. Valor padrão: True.

  • spark.sql.catalog.odps.splitSizeInMB: ajusta a concorrência das operações de leitura de dados em tabelas do MaxCompute. Por padrão, é definido como 256 para cada partição. Unidade: MB.