MaxCompute:Linux開発環境のセットアップ

Spark on MaxCompute開発環境をセットアップする前に、Linuxオペレーティングシステムに次のソフトウェアがインストールされていることを確認してください。

• JDK

  次のサンプルコマンドは、LinuxオペレーティングシステムにJDKをインストールする方法を示しています。 JDKパッケージ名は、実際の状況によって異なります。 sudo yum -y list java * コマンドを実行して、JDKパッケージ名を取得できます。

  sudo yum install -y java-1.8.0-openjdk-devel.x86_64

• Python

  次のサンプルコマンドは、LinuxオペレーティングシステムにPythonをインストールする方法を示しています。 Pythonパッケージ名は、実際の状況によって異なります。

  # Obtain the Python package. 
  sudo wget https://www.python.org/ftp/python/2.7.10/Python-2.7.10.tgz
  # Decompress the Python package. 
  sudo tar -zxvf Python-2.7.10.tgz
  # Switch to the path to which the Python package is decompressed and specify the installation path. 
  cd Python-2.7.10
  sudo ./configure --prefix=/usr/local/python2
  # Compile and install the Python package. 
  sudo make
  sudo make install

• Maven

  次のサンプルコマンドは、LinuxオペレーティングシステムにMavenをインストールする方法を示しています。 Mavenパッケージのパスは、実際の状況によって異なります。

  # Obtain the Maven package. 
  sudo wget https://dlcdn.apache.org/maven/maven-3/3.8.7/binaries/apache-maven-3.8.7-bin.tar.gz
  # Decompress the Maven package. 
  sudo tar -zxvf apache-maven-3.8.7-bin.tar.gz

• Git

  次のサンプルコマンドは、LinuxオペレーティングシステムにGitをインストールする方法を示しています。

  # Obtain the Git package. 
  sudo wget https://github.com/git/git/archive/v2.17.0.tar.gz
  # Decompress the Git package. 
  sudo tar -zxvf v2.17.0.tar.gz
  # Install the dependencies that are required for compiling the source code of Git. 
  sudo yum install curl-devel expat-devel gettext-devel openssl-devel zlib-devel gcc perl-ExtUtils-MakeMaker
  # Switch to the path to which the Git package is decompressed. 
  cd git-2.17.0
  # Compile the source code of Git. 
  sudo make prefix=/usr/local/git all
  # Install Git in the /usr/local/git path. 
  sudo make prefix=/usr/local/git install

Spark on MaxComputeクライアントパッケージは、MaxCompute認証機能とともにリリースされます。 これにより、MaxComputeのSparkは、spark-submitスクリプトを使用してMaxComputeプロジェクトにジョブを送信するクライアントとして機能します。 MaxComputeは、Spark 1.x、Spark 2.x、およびSpark 3.xのリリースパッケージを提供します。 これらのパッケージは、次のリンクからダウンロードできます。

• Spark-1.6 3: Spark 1.xアプリケーションの開発に使用されます。

• Spark-2.3 0: Spark 2.xアプリケーションの開発に使用します。

• Spark-2.4 5: Spark 2.xアプリケーションの開発に使用されます。 Spark 2.4.5の使用に関する注意事項の詳細については、「Spark 2.4.5の使用に関する注意事項」をご参照ください。

• Spark-3.1 1: Spark 3.xアプリケーションの開発に使用されます。 Spark 3.1.1の使用に関する注意事項の詳細については、「Spark 3.1.1の使用に関する注意事項」をご参照ください。

Spark on MaxComputeクライアントパッケージをLinuxオペレーティングシステムにアップロードし、パッケージを解凍します。 Spark on MaxComputeクライアントパッケージがあるパスに移動し、次のコマンドを実行してパッケージを解凍します。

sudo tar -xzvf spark-2.3.0-odps0.33.0.tar.gz

MaxComputeクライアントでSparkを初めて使用する場合は、Spark on MaxComputeクライアントパッケージの解凍パスのconfフォルダーにあるspark-defaults.conf.templateファイルの名前をspark-defaults.confに変更します。 次に、ファイル内の情報を設定します。 ファイルの名前を変更しない場合、設定は有効になりません。 サンプルコマンド：

# Switch to the path to which the Spark on MaxCompute client package is decompressed and go to the conf folder. The actual path prevails. 
cd /home/spark-2.3.0-odps0.33.0/conf

# Rename the spark-defaults.conf.template file. 
mv spark-defaults.conf.template spark-defaults.conf

# Edit the spark-defaults.conf file. 
vim spark-defaults.conf
# Press i to enter the edit mode and add the following configuration to the end of the configuration file. 
spark.hadoop.odps.project.name = <MaxCompute_project_name>  
spark.hadoop.odps.access.id = <AccessKey_id>     
spark.hadoop.odps.access.key = <AccessKey_secret>
spark.hadoop.odps.end.point = <Endpoint>   # The endpoint that is used to connect the Spark on MaxCompute client to your MaxCompute project. You can modify the endpoint based on your business requirements. For more information, see Endpoint. 
# For Spark 2.3.0, set spark.sql.catalogImplementation to odps. For Spark 2.4.5, set spark.sql.catalogImplementation to hive. 
spark.sql.catalogImplementation={odps|hive} 
# Retain the following configurations:
spark.hadoop.odps.task.major.version = cupid_v2
spark.hadoop.odps.cupid.container.image.enable = true
spark.hadoop.odps.cupid.container.vm.engine.type = hyper
spark.hadoop.odps.moye.trackurl.host = http://jobview.odps.aliyun.com

MaxComputeのSparkは、デモプロジェクトテンプレートを提供します。 テンプレートをダウンロードしてコピーし、アプリケーションを開発することを推奨します。

Linuxオペレーティングシステムでプロジェクトを準備します。

• Spark 1.xテンプレートをダウンロードし、テンプレートをコンパイルします。

  git clone https://github.com/aliyun/MaxCompute-Spark.git
  cd MaxCompute-Spark/spark-1.x
  mvn clean package

• Spark 2.xテンプレートをダウンロードし、テンプレートをコンパイルします。

  git clone https://github.com/aliyun/MaxCompute-Spark.git
  cd MaxCompute-Spark/spark-2.x
  mvn clean package

• Spark 3.xテンプレートをダウンロードし、テンプレートをコンパイルします。

  git clone https://github.com/aliyun/MaxCompute-Spark.git
  cd MaxCompute-Spark/spark-3.x
  mvn clean package

次の種類のSparkジョブを開発する場合は、外部ファイルを参照する必要があります。

• 特定の構成ファイルからデータを読み取る必要があるSparkジョブ。

• 追加のリソースパッケージまたはJARファイルやPythonライブラリなどのサードパーティライブラリが必要なSparkジョブ。

実際のアプリケーションでは、ファイルを参照する前に外部ファイルをアップロードする必要があります。 次のいずれかの方法で外部ファイルをアップロードできます。

• 方法1: Sparkパラメーターを使用して外部ファイルをアップロードします。

  MaxComputeのSparkは、Apache Sparkで定義されている -- jars、-- py-files、-- files、-- archivesのパラメーターをサポートしています。 これらのパラメーターを設定して、ジョブの送信時に外部ファイルをアップロードできます。 ジョブを実行すると、これらの外部ファイルが作業ディレクトリにアップロードされます。

  • spark-submitスクリプトを使用して、Spark on MaxComputeクライアントにファイルをアップロードします。

    説明

    • -- jars: このパラメーターは、ドライバーと各エグゼキュータの現在の作業ディレクトリにアップロードするJARパッケージを指定します。 パッケージ名はコンマ (,) で区切ります。 これらのJARパッケージは、ドライバと各エグゼキュータのクラスパスに追加されます。 これらのパッケージを指定するには、Sparkジョブの設定で "./your_jar_name" を使用します。 これはApache Sparkの場合です。

    • -- filesと -- py-files: 2つのパラメーターは、ドライバーと各エグゼキュータの現在の作業ディレクトリにアップロードする共通ファイルまたはPythonファイルを指定します。 ファイル名はコンマ (,) で区切ります。 これらのファイルを指定するには、Sparkジョブの設定で "./your_file_name" を使用します。 これはApache Sparkの場合です。

    • -- archives: このパラメーターは、Apache Sparkで定義されているパラメーターとは少し異なります。 このパラメーターをxxx#yyy形式で設定し、ファイル名をコンマ (,) で区切ります。 -- archivesパラメーターを設定すると、指定したアーカイブファイル (ZIPファイルなど) が、ドライバーおよび各エグゼキュータの現在の作業ディレクトリのサブディレクトリに解凍されます。 たとえば、このパラメーターがxx.zip#yyに設定されている場合、アーカイブファイルのコンテンツを参照するには "./yy/xx/" を使用する必要があります。 このパラメーターがxx.zipに設定されている場合、"./xx.zip/xx/" を使用してアーカイブファイルの内容を参照する必要があります。 "./xxx/" を使用してアーカイブファイルを現在の作業ディレクトリに直接解凍する必要がある場合は、spark.hadoop.odps.cupid.resourcesパラメーターを使用する必要があります。

  • DataWorksを使用して、ジョブに必要なリソースを追加します。 詳細については、「MaxComputeリソースの作成と使用」をご参照ください。

    説明

    DataWorksコンソールでは、最大200 MBのサイズのファイルをアップロードできます。 アップロードするファイルのサイズが200 MBを超える場合は、MaxComputeクライアントを使用してこれらのファイルをMaxComputeリソースとしてアップロードし、DataWorksコンソールのDataStudioページに追加する必要があります。 MaxComputeリソースの詳細については、「MaxComputeリソースの管理」をご参照ください。

• 方法2: MaxComputeリソースとしてファイルをアップロードします。

  MaxComputeのSparkは、spark.hadoop.odps.cupid.resourcesパラメーターを提供します。 このパラメーターを使用すると、MaxComputeのリソースを直接参照できます。 ジョブを実行すると、参照されるリソースが作業ディレクトリにアップロードされます。 MaxComputeリソースとしてファイルをアップロードするには、次の手順を実行します。

  1. MaxComputeクライアントにログインし、ファイルをリソースとしてMaxComputeプロジェクトにアップロードします。 アップロードできるファイルの最大サイズは500 MBです。

  2. spark.hadoop.odps.cupid.resourcesパラメーターをSparkジョブの設定に追加します。 このパラメーターは、Sparkジョブの実行に必要なMaxComputeリソースを指定します。 このパラメーターは、<projectname>.<resourcename> 形式で設定します。 複数のファイルを参照する必要がある場合は、ファイル名をコンマ (,) で区切ります。 次の構成は例を示しています。

     spark.hadoop.odps.cupid.resources=public.python-python-2.7-ucs4.zip,public.myjar.jar

     指定されたリソースファイルは、ドライバと各エグゼキュータの現在の作業ディレクトリにダウンロードされます。 デフォルトでは、ダウンロードしたファイルの名前は <projectname>.<resourcename> 形式です。

     <projectname>.<resourcename >:< newresourcename> 形式でファイル名を変更することもできます。 次の構成は例を示しています。

     spark.hadoop.odps.cupid.resources=public.myjar.jar:myjar.jar

     重要

     spark.hadoop.odps.cupid.resourcesパラメーターは、spark-defaults.confファイルまたはDataWorksコンソールでこのパラメーターを設定した後にのみ有効になります。 このパラメーターがコードで記述されている場合、このパラメーターは有効になりません。

上記のいずれかの方法を使用してファイルをアップロードした後、コード内の外部ファイルを参照できます。 次のコードは例を示しています。

val targetFile = "File name"
val file = Source.fromFile(targetFile)
for (line <- file.getLines)
    println(line)
file.close

上記の操作が完了したら、スモークテストを実行して、MaxComputeでSparkのエンドツーエンドの接続を確認します。 たとえば、次のコマンドを実行して、Spark 2.xアプリケーションのSparkPiスモークテストを実行できます。

# /path/to/MaxCompute-Spark Configure a valid path for the compiled JAR package of the application. 
cd $SPARK_HOME
bin/spark-submit \
--class com.aliyun.odps.spark.examples.SparkPi \
--master yarn \
--deploy-mode cluster \
/path/to/your/spark-examples_2.11-1.0.0-SNAPSHOT-shaded.jar

# If the following log information is displayed, smoke testing is successful. 
19/06/11 11:57:30 INFO Client: 
         client token: N/A
         diagnostics: N/A
         ApplicationMaster host: 11.222.166.90
         ApplicationMaster RPC port: 38965
         queue: queue
         start time: 1560225401092
         final status: SUCCEEDED

ほとんどの場合、ローカルデバッグが成功した後、コードはクラスターモードで実行されます。 ただし、MaxComputeのSparkでは、IntelliJ IDEAを使用してローカルモードでコードを実行できます。 IntelliJ IDEAを使用してローカルモードでコードを実行する場合、次の点に注意してください。

• コードでspark.masterパラメーターを指定します。

  val spark = SparkSession
        .builder()
        .appName("SparkPi")
        .config("spark.master", "local[4]") // The code can run after you set spark.master to local[N]. N indicates the number of concurrent Spark jobs. 
        .getOrCreate()

• IntelliJ IDEAでSpark on MaxComputeクライアントの次の依存関係を追加します。

  <dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-core_${scala.binary.version}</artifactId>
      <version>${spark.version}</version>
      <scope>provided</scope> 
  </dependency>

  pom.xmlファイルでは、scopeパラメーターが指定されています。 この設定は、コードを実行するときに "NoClassDefFoundError" エラーを引き起こす可能性があります。

  Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/sql/SparkSession$
      at com.aliyun.odps.spark.examples.SparkPi$.main(SparkPi.scala:27)
      at com.aliyun.odps.spark.examples.Spa. r. kPi.main(SparkPi.scala)
  Caused by: java.lang.ClassNotFoundException: org.apache.spark.sql.SparkSession$
      at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
      at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
      at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:335)
      at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
      ... 2 more

  MaxComputeのSparkの -- jarsパラメーターで指定されたディレクトリをIntelliJ IDEAのプロジェクトテンプレートに手動で追加するには、次の手順を実行します。 このようにして、IntelliJ IDEAを使用してローカルモードでコードを実行しても、構成scope=providedは保持され、"NoClassDefFoundError" エラーは返されません。

  1. IntelliJ IDEAのメインメニューバーで、[ファイル] > [プロジェクト構造] を選択します。

  2. [プロジェクト構造] ページで、左側のナビゲーションウィンドウから [モジュール] をクリックします。 次に、リソースパッケージを選択し、リソースパッケージの [依存関係] タブをクリックします。

  3. [依存関係] タブで、左下隅のプラス記号 (+) をクリックし、[JARまたはディレクトリ] を選択して、MaxComputeのSparkに -- JARsパラメーターで指定されたディレクトリを追加します。

• ローカルモードでコードを実行する場合、spark-defaults.confファイルを直接参照することはできません。 コードで関連パラメーターを手動で設定する必要があります。

  spark-submitスクリプトを使用してジョブを送信すると、システムはspark-defaults.confファイルから設定を読み取ります。 ローカルモードでジョブを送信する場合は、コード内の関連パラメーターを手動で設定する必要があります。 次のコードは、Spark SQLを使用してローカルモードでMaxComputeテーブルからデータを読み取る方法を示しています。

  val spark = SparkSession
        .builder()
        .appName("SparkPi")
        .config("spark.master", "local[4]") // The code can run after you set spark.master to local[N]. N indicates the number of concurrent Spark jobs. 
        .config("spark.hadoop.odps.project.name", "****")
        .config("spark.hadoop.odps.access.id", "****")
        .config("spark.hadoop.odps.access.key", "****")
        .config("spark.hadoop.odps.end.point", "http://service.cn.maxcompute.aliyun.com/api")
        .config("spark.sql.catalogImplementation", "odps")
        .getOrCreate()