MaxCompute：Mengatur Lingkungan Pengembangan Linux

Sebelum mengatur lingkungan pengembangan Spark di MaxCompute, pastikan perangkat lunak berikut telah terinstal di sistem operasi Linux Anda:

• JDK

  Contoh perintah berikut menunjukkan cara menginstal JDK di sistem operasi Linux. Nama paket JDK bervariasi sesuai situasi. Anda bisa mendapatkan nama paket JDK dengan menjalankan perintah sudo yum -y list java*.

  sudo yum install -y java-1.8.0-openjdk-devel.x86_64

• Python

  Contoh perintah berikut menunjukkan cara menginstal Python di sistem operasi Linux. Nama paket Python bervariasi sesuai situasi.

  # Dapatkan paket Python. 
  sudo wget https://www.python.org/ftp/python/2.7.10/Python-2.7.10.tgz
  # Ekstrak paket Python. 
  sudo tar -zxvf Python-2.7.10.tgz
  # Pindah ke jalur tempat paket Python diekstraksi dan tentukan jalur instalasi. 
  cd Python-2.7.10
  sudo ./configure --prefix=/usr/local/python2
  # Kompilasi dan instal paket Python. 
  sudo make
  sudo make install

• Maven

  Contoh perintah berikut menunjukkan cara menginstal Maven di sistem operasi Linux. Jalur paket Maven bervariasi sesuai situasi.

  # Dapatkan paket Maven. 
  sudo wget https://dlcdn.apache.org/maven/maven-3/3.8.7/binaries/apache-maven-3.8.7-bin.tar.gz
  # Ekstrak paket Maven. 
  sudo tar -zxvf apache-maven-3.8.7-bin.tar.gz

• Git

  Contoh perintah berikut menunjukkan cara menginstal Git di sistem operasi Linux.

  # Dapatkan paket Git. 
  sudo wget https://github.com/git/git/archive/v2.17.0.tar.gz
  # Ekstrak paket Git. 
  sudo tar -zxvf v2.17.0.tar.gz
  # Instal dependensi yang diperlukan untuk mengkompilasi kode sumber Git. 
  sudo yum install curl-devel expat-devel gettext-devel openssl-devel zlib-devel gcc perl-ExtUtils-MakeMaker
  # Pindah ke jalur tempat paket Git diekstraksi. 
  cd git-2.17.0
  # Kompilasi kode sumber Git. 
  sudo make prefix=/usr/local/git all
  # Instal Git di jalur /usr/local/git. 
  sudo make prefix=/usr/local/git install

Paket klien Spark di MaxCompute dirilis dengan fitur autentikasi MaxCompute. Ini memungkinkan Spark di MaxCompute berfungsi sebagai klien yang mengirimkan pekerjaan ke Proyek MaxCompute Anda menggunakan skrip spark-submit. MaxCompute menyediakan paket rilis untuk Spark 1.x, Spark 2.x, dan Spark 3.x. Anda dapat mengunduh paket-paket ini dari tautan berikut:

• Spark-1.6.3: Digunakan untuk mengembangkan aplikasi Spark 1.x.

• Spark-2.3.0: Digunakan untuk mengembangkan aplikasi Spark 2.x.

• Spark-2.4.5: Digunakan untuk mengembangkan aplikasi Spark 2.x. Untuk informasi lebih lanjut tentang tindakan pencegahan saat menggunakan Spark 2.4.5, lihat Tindakan Pencegahan Saat Menggunakan Spark 2.4.5.

• Spark-3.1.1: Digunakan untuk mengembangkan aplikasi Spark 3.x. Untuk informasi lebih lanjut tentang tindakan pencegahan saat menggunakan Spark 3.1.1, lihat Tindakan Pencegahan Saat Menggunakan Spark 3.1.1.

Unggah paket klien Spark di MaxCompute ke sistem operasi Linux Anda dan ekstrak paket tersebut. Anda dapat masuk ke jalur tempat paket klien Spark di MaxCompute berada dan jalankan perintah berikut untuk mengekstrak paket:

sudo tar -xzvf spark-2.3.0-odps0.33.0.tar.gz

Jika Anda menggunakan klien Spark di MaxCompute untuk pertama kali, ubah nama file spark-defaults.conf.template di folder conf jalur ekstraksi paket klien Spark di MaxCompute menjadi spark-defaults.conf. Kemudian, konfigurasikan informasi di dalam file tersebut. Jika Anda tidak mengubah nama file, konfigurasi tidak akan berlaku. Contoh perintah:

# Pindah ke jalur tempat paket klien Spark di MaxCompute diekstraksi dan pergi ke folder conf. Jalur sebenarnya berlaku. 
cd /home/spark-2.3.0-odps0.33.0/conf

# Ubah nama file spark-defaults.conf.template. 
mv spark-defaults.conf.template spark-defaults.conf

# Edit file spark-defaults.conf. 
vim spark-defaults.conf
# Tekan i untuk masuk ke mode edit dan tambahkan konfigurasi berikut ke akhir file konfigurasi. 
spark.hadoop.odps.project.name = <MaxCompute_project_name>  
spark.hadoop.odps.access.id = <AccessKey_id>     
spark.hadoop.odps.access.key = <AccessKey_secret>
spark.hadoop.odps.end.point = <Endpoint>   # Titik akhir yang digunakan untuk menghubungkan klien Spark di MaxCompute ke Proyek MaxCompute Anda. Anda dapat memodifikasi titik akhir berdasarkan kebutuhan bisnis Anda. Untuk informasi lebih lanjut, lihat Endpoint. 
# Untuk Spark 2.3.0, set spark.sql.catalogImplementation ke odps. Untuk Spark 2.4.5, set spark.sql.catalogImplementation ke hive. 
spark.sql.catalogImplementation={odps|hive} 
# Pertahankan konfigurasi berikut:
spark.hadoop.odps.task.major.version = cupid_v2
spark.hadoop.odps.cupid.container.image.enable = true
spark.hadoop.odps.cupid.container.vm.engine.type = hyper
spark.hadoop.odps.moye.trackurl.host = http://jobview.odps.aliyun.com

Spark di MaxCompute menyediakan template proyek demo. Kami sarankan Anda mengunduh dan menyalin template untuk mengembangkan aplikasi Anda.

Siapkan proyek di sistem operasi Linux.

• Unduh template Spark 1.x dan kompilasi template.

  git clone https://github.com/aliyun/MaxCompute-Spark.git
  cd MaxCompute-Spark/spark-1.x
  mvn clean package

• Unduh template Spark 2.x dan kompilasi template.

  git clone https://github.com/aliyun/MaxCompute-Spark.git
  cd MaxCompute-Spark/spark-2.x
  mvn clean package

• Unduh template Spark 3.x dan kompilasi template.

  git clone https://github.com/aliyun/MaxCompute-Spark.git
  cd MaxCompute-Spark/spark-3.x
  mvn clean package

Jika Anda mengembangkan jenis pekerjaan Spark berikut, Anda harus mereferensikan file eksternal:

• Pekerjaan Spark yang perlu membaca data dari file konfigurasi tertentu.

• Pekerjaan Spark yang memerlukan paket sumber daya tambahan atau pustaka pihak ketiga seperti file JAR atau pustaka Python.

Dalam aplikasi praktis, Anda harus mengunggah file eksternal sebelum Anda mereferensikan file tersebut. Anda dapat mengunggah file eksternal menggunakan salah satu metode berikut:

• Metode 1: Unggah file eksternal menggunakan parameter Spark.

  Spark di MaxCompute mendukung parameter berikut yang didefinisikan oleh Apache Spark: --jars, --py-files, --files, dan --archives. Anda dapat mengonfigurasi parameter ini untuk mengunggah file eksternal saat Anda mengirimkan pekerjaan. Saat Anda menjalankan pekerjaan, file eksternal ini diunggah ke direktori kerja Anda.

  • Gunakan skrip spark-submit untuk mengunggah file pada klien Spark di MaxCompute.

    Catatan

    • --jars: Parameter ini menentukan paket JAR yang ingin Anda unggah ke direktori kerja saat ini dari driver dan setiap executor. Nama paket dipisahkan dengan koma (,). Paket JAR ini ditambahkan ke classpath dari driver dan setiap executor. Anda dapat menggunakan "./your_jar_name" dalam konfigurasi pekerjaan Spark untuk menentukan paket-paket ini. Ini adalah kasus di Apache Spark.

    • --files dan --py-files: Dua parameter ini menentukan file umum atau file Python yang ingin Anda unggah ke direktori kerja saat ini dari driver dan setiap executor. Nama file dipisahkan dengan koma (,). Anda dapat menggunakan "./your_file_name" dalam konfigurasi pekerjaan Spark untuk menentukan file-file ini. Ini adalah kasus di Apache Spark.

    • --archives: Parameter ini sedikit berbeda dari parameter yang didefinisikan oleh Apache Spark. Konfigurasikan parameter ini dalam format xxx#yyy dan pisahkan nama file dengan koma (,). Setelah Anda mengonfigurasi parameter --archives, file arsip yang Anda tentukan, seperti file ZIP, akan diekstraksi ke subdirektori dari direktori kerja saat ini dari driver dan setiap executor. Misalnya, jika parameter ini disetel ke xx.zip#yy, Anda harus menggunakan "./yy/xx/" untuk mereferensikan konten dalam file arsip. Jika parameter ini disetel ke xx.zip, Anda harus menggunakan "./xx.zip/xx/" untuk mereferensikan konten dalam file arsip. Jika Anda perlu menggunakan "./xxx/" untuk mengekstrak file arsip langsung ke direktori kerja saat ini, Anda harus menggunakan parameter spark.hadoop.odps.cupid.resources.

  • Gunakan DataWorks untuk menambahkan sumber daya yang diperlukan oleh pekerjaan. Untuk informasi lebih lanjut, lihat Buat dan Gunakan Sumber Daya MaxCompute.

    Catatan

    Di konsol DataWorks, Anda dapat mengunggah file dengan ukuran hingga 200 MB. Jika ukuran file yang ingin Anda unggah melebihi 200 MB, Anda harus menggunakan Klien MaxCompute untuk mengunggah file-file ini sebagai sumber daya MaxCompute dan menambahkan sumber daya ini ke halaman DataStudio di konsol DataWorks. Untuk informasi lebih lanjut tentang sumber daya MaxCompute, lihat Kelola Sumber Daya MaxCompute.

• Metode 2: Unggah file sebagai sumber daya MaxCompute.

  Spark di MaxCompute menyediakan parameter spark.hadoop.odps.cupid.resources. Parameter ini memungkinkan Anda untuk secara langsung mereferensikan sumber daya di MaxCompute. Saat Anda menjalankan pekerjaan, sumber daya yang direferensikan diunggah ke direktori kerja Anda. Untuk mengunggah file sebagai sumber daya MaxCompute, lakukan langkah-langkah berikut:

  1. Masuk ke Klien MaxCompute dan unggah file sebagai sumber daya ke Proyek MaxCompute Anda. Ukuran maksimum file yang dapat Anda unggah adalah 500 MB.

  2. Tambahkan parameter spark.hadoop.odps.cupid.resources ke konfigurasi pekerjaan Spark Anda. Parameter ini menentukan sumber daya MaxCompute yang diperlukan untuk menjalankan pekerjaan Spark. Konfigurasikan parameter ini dalam format <projectname>.<resourcename>. Jika Anda perlu mereferensikan beberapa file, pisahkan nama file dengan koma (,). Konfigurasi berikut menunjukkan contoh.

     spark.hadoop.odps.cupid.resources=public.python-python-2.7-ucs4.zip,public.myjar.jar

     File sumber daya yang ditentukan diunduh ke direktori kerja saat ini dari driver dan setiap executor. Secara default, file yang diunduh diberi nama dalam format <projectname>.<resourcename>.

     Anda juga dapat mengganti nama file dalam format <projectname>.<resourcename>:<newresourcename>. Konfigurasi berikut menunjukkan contoh.

     spark.hadoop.odps.cupid.resources=public.myjar.jar:myjar.jar

     Penting

     Parameter spark.hadoop.odps.cupid.resources hanya berlaku setelah Anda mengonfigurasi parameter ini di file spark-defaults.conf atau di konsol DataWorks. Parameter ini tidak berlaku jika ditulis dalam kode.

Setelah Anda mengunggah file menggunakan salah satu metode sebelumnya, Anda dapat mereferensikan file eksternal dalam kode. Kode berikut menunjukkan contoh:

val targetFile = "Nama file"
val file = Source.fromFile(targetFile)
for (line <- file.getLines)
    println(line)
file.close

Setelah Anda menyelesaikan operasi sebelumnya, lakukan pengujian asap untuk memeriksa konektivitas ujung ke ujung Spark di MaxCompute. Misalnya, Anda dapat menjalankan perintah berikut untuk melakukan pengujian asap SparkPi untuk aplikasi Spark 2.x:

# /path/to/MaxCompute-Spark Konfigurasikan jalur valid untuk paket JAR terkompilasi aplikasi. 
cd $SPARK_HOME
bin/spark-submit \
--class com.aliyun.odps.spark.examples.SparkPi \
--master yarn \
--deploy-mode cluster \
/path/to/your/spark-examples_2.11-1.0.0-SNAPSHOT-shaded.jar

# Jika informasi log berikut ditampilkan, pengujian asap berhasil. 
19/06/11 11:57:30 INFO Client: 
         client token: N/A
         diagnostics: N/A
         ApplicationMaster host: 11.222.166.90
         ApplicationMaster RPC port: 38965
         queue: queue
         start time: 1560225401092
         final status: SUCCEEDED

Dalam kebanyakan kasus, kode dijalankan dalam mode kluster setelah debugging lokal berhasil. Namun, Spark di MaxCompute memungkinkan Anda menjalankan kode dalam mode lokal menggunakan IntelliJ IDEA. Saat Anda menjalankan kode dalam mode lokal menggunakan IntelliJ IDEA, perhatikan poin-poin berikut:

• Tentukan parameter spark.master dalam kode.

  val spark = SparkSession
        .builder()
        .appName("SparkPi")
        .config("spark.master", "local[4]") // Kode dapat berjalan setelah Anda menyetel spark.master ke local[N]. N menunjukkan jumlah pekerjaan Spark konkuren. 
        .getOrCreate()

• Tambahkan dependensi berikut dari klien Spark di MaxCompute di IntelliJ IDEA.

  <dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-core_${scala.binary.version}</artifactId>
      <version>${spark.version}</version>
      <scope>provided</scope> 
  </dependency>

  Dalam file pom.xml, parameter scope disetel ke provided. Pengaturan ini dapat menyebabkan kesalahan "NoClassDefFoundError" saat Anda menjalankan kode.

  Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/sql/SparkSession$
      at com.aliyun.odps.spark.examples.SparkPi$.main(SparkPi.scala:27)
      at com.aliyun.odps.spark.examples.Spa. r. kPi.main(SparkPi.scala)
  Caused by: java.lang.ClassNotFoundException: org.apache.spark.sql.SparkSession$
      at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
      at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
      at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:335)
      at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
      ... 2 more

  Anda dapat melakukan langkah-langkah berikut untuk menambahkan direktori yang ditentukan oleh parameter --jars pada Spark di MaxCompute ke template proyek IntelliJ IDEA. Dengan cara ini, konfigurasi scope=provided dapat dipertahankan dan kesalahan "NoClassDefFoundError" tidak dikembalikan saat Anda menjalankan kode dalam mode lokal menggunakan IntelliJ IDEA.

  1. Di bilah menu utama IntelliJ IDEA, pilih File > Project Structure….

  2. Di halaman Project Structure, klik Modules di panel navigasi kiri. Lalu, pilih paket sumber daya, dan klik tab Dependencies untuk paket sumber daya tersebut.

  3. Di tab Dependencies, klik tanda plus (+) di pojok kiri bawah dan pilih JARs or directories… untuk menambahkan direktori yang ditentukan oleh parameter --jars pada Spark di MaxCompute.

• File spark-defaults.conf tidak dapat direferensikan secara langsung saat Anda menjalankan kode dalam mode lokal. Anda harus mengonfigurasi parameter terkait secara manual dalam kode.

  Jika Anda mengirimkan pekerjaan menggunakan skrip spark-submit, sistem membaca konfigurasi dari file spark-defaults.conf. Jika Anda mengirimkan pekerjaan dalam mode lokal, Anda harus mengonfigurasi parameter terkait secara manual dalam kode. Kode berikut menunjukkan cara menggunakan Spark SQL untuk membaca data dari tabel MaxCompute dalam mode lokal.

  val spark = SparkSession
        .builder()
        .appName("SparkPi")
        .config("spark.master", "local[4]") // Kode dapat berjalan setelah Anda menyetel spark.master ke local[N]. N menunjukkan jumlah pekerjaan Spark konkuren. 
        .config("spark.hadoop.odps.project.name", "****")
        .config("spark.hadoop.odps.access.id", "****")
        .config("spark.hadoop.odps.access.key", "****")
        .config("spark.hadoop.odps.end.point", "http://service.cn.maxcompute.aliyun.com/api")
        .config("spark.sql.catalogImplementation", "odps")
        .getOrCreate()