DataWorks：Buat node EMR Spark

Node ini dapat langsung merujuk sumber daya OSS menggunakan OSS REF. Saat menjalankan node EMR, DataWorks secara otomatis memuat sumber daya OSS dari kode ke mesin lokal Anda. Metode ini sering digunakan dalam skenario di mana tugas EMR perlu menjalankan dependensi JAR atau bergantung pada skrip.

1. Kembangkan sumber daya JAR.

   1. Persiapkan dependensi kode.

      Buka kluster EMR Anda. Di path /usr/lib/emr/spark-current/jars/ pada node master kluster, lihat dependensi kode yang Anda perlukan. Contoh berikut menggunakan Spark 3.4.2. Anda harus membuka proyek IntelliJ IDEA yang telah dibuat, menambahkan dependensi pom, dan merujuk plugin terkait.

      Tambahkan dependensi pom

      <dependencies>
              <dependency>
                  <groupId>org.apache.spark</groupId>
                  <artifactId>spark-core_2.12</artifactId>
                  <version>3.4.2</version>
              </dependency>
              <!-- Apache Spark SQL -->
              <dependency>
                  <groupId>org.apache.spark</groupId>
                  <artifactId>spark-sql_2.12</artifactId>
                  <version>3.4.2</version>
              </dependency>
      </dependencies>

      Rujuk plugin terkait

      <build>
              <sourceDirectory>src/main/scala</sourceDirectory>
              <testSourceDirectory>src/test/scala</testSourceDirectory>
              <plugins>
                  <plugin>
                      <groupId>org.apache.maven.plugins</groupId>
                      <artifactId>maven-compiler-plugin</artifactId>
                      <version>3.7.0</version>
                      <configuration>
                          <source>1.8</source>
                          <target>1.8</target>
                      </configuration>
                  </plugin>
                  <plugin>
                      <artifactId>maven-assembly-plugin</artifactId>
                      <configuration>
                          <descriptorRefs>
                              <descriptorRef>jar-with-dependencies</descriptorRef>
                          </descriptorRefs>
                      </configuration>
                      <executions>
                          <execution>
                              <id>make-assembly</id>
                              <phase>package</phase>
                              <goals>
                                  <goal>single</goal>
                              </goals>
                          </execution>
                      </executions>
                  </plugin>
                  <plugin>
                      <groupId>net.alchim31.maven</groupId>
                      <artifactId>scala-maven-plugin</artifactId>
                      <version>3.2.2</version>
                      <configuration>
                          <recompileMode>incremental</recompileMode>
                      </configuration>
                      <executions>
                          <execution>
                              <goals>
                                  <goal>compile</goal>
                                  <goal>testCompile</goal>
                              </goals>
                              <configuration>
                                  <args>
                                      <arg>-dependencyfile</arg>
                                      <arg>${project.build.directory}/.scala_dependencies</arg>
                                  </args>
                              </configuration>
                          </execution>
                      </executions>
                  </plugin>
              </plugins>
          </build>

   2. Tulis kode contoh.

      package com.aliyun.emr.example.spark
      
      import org.apache.spark.sql.SparkSession
      
      object SparkMaxComputeDemo {
        def main(args: Array[String]): Unit = {
          // Buat SparkSession
          val spark = SparkSession.builder()
            .appName("HelloDataWorks")
            .getOrCreate()
      
          // Cetak versi Spark
          println(s"Versi Spark: ${spark.version}")
        }
      }

   3. Kemas kode menjadi file JAR.

      Setelah mengedit dan menyimpan kode Scala, kemas menjadi file JAR. Paket JAR yang dihasilkan dalam contoh ini adalah SparkWorkOSS-1.0-SNAPSHOT-jar-with-dependencies.jar.

2. Unggah sumber daya JAR.

   1. Setelah selesai mengembangkan kode, masuk ke Konsol OSS. Di panel navigasi kiri, klik Buckets.

   2. Klik nama bucket target untuk membuka halaman Files.

      Bucket yang digunakan dalam contoh ini adalah onaliyun-bucket-2.

   3. Klik Create Directory untuk membuat direktori sumber daya JAR.

      Atur Directory Name menjadi emr/jars untuk membuat direktori bagi sumber daya JAR Anda.

   4. Unggah sumber daya JAR ke direktori tersebut.

      Arahkan ke direktori tersebut dan klik Upload. Di area Files To Upload, klik Scan For Files. Pilih file SparkWorkOSS-1.0-SNAPSHOT-jar-with-dependencies.jar lalu klik Upload.

3. Rujuk sumber daya JAR.

   1. Edit kode untuk merujuk sumber daya JAR.

      Pada halaman editor node EMR Spark yang telah dibuat, edit kode untuk merujuk sumber daya JAR.

      spark-submit --class com.aliyun.emr.example.spark.SparkMaxComputeDemo --master yarn ossref://onaliyun-bucket-2/emr/jars/SparkWorkOSS-1.0-SNAPSHOT-jar-with-dependencies.jar

      Penjelasan parameter:

      Parameter	Deskripsi
      class	Nama lengkap kelas utama yang akan dijalankan.
      master	Mode eksekusi aplikasi Spark.
      Path file ossref	Formatnya adalah ossref://{endpoint}/{bucket}/{object} endpoint: Titik akhir untuk mengakses OSS. Jika endpoint kosong, Anda hanya dapat menggunakan OSS di wilayah yang sama dengan kluster EMR. Artinya, bucket OSS harus berada di wilayah yang sama dengan kluster EMR. Bucket: Kontainer OSS yang digunakan untuk menyimpan objek. Setiap Bucket memiliki nama unik. Masuk ke Konsol OSS untuk melihat semua Buckets di bawah akun saat ini. object: Objek spesifik (nama file atau path) yang disimpan di Bucket.

   2. Jalankan tugas node EMR Spark.

      Setelah selesai mengedit, klik ikon . Pilih kelompok sumber daya Serverless yang telah Anda buat untuk menjalankan node EMR Spark. Setelah tugas selesai, catat applicationId yang dicetak di konsol, misalnya, application_1730367929285_xxxx.

   3. Lihat hasilnya.

      Buat node Shell EMR dan jalankan perintah yarn logs -applicationId application_1730367929285_xxxx di node tersebut untuk melihat hasilnya: