Buat dan gunakan node EMR Spark - DataWorks - Alibaba Cloud Documentation Center

Spark adalah mesin analitik terpadu untuk data besar yang dikenal karena performa tinggi, kemudahan penggunaan, dan fleksibilitasnya. Spark mendukung komputasi kompleks dalam memori, sehingga ideal untuk membangun aplikasi analitik data berskala besar dengan latensi rendah. DataWorks memungkinkan Anda menggunakan node EMR Spark untuk mengembangkan dan menjadwalkan tugas Spark secara berkala. Topik ini menjelaskan cara mengonfigurasi dan menggunakan node EMR Spark serta menyediakan contoh penerapannya.

Prasyarat

Sebelum memulai pengembangan node, jika Anda memerlukan lingkungan komponen kustom, buat custom image berdasarkan image resmi dataworks_emr_base_task_pod, lalu gunakan di Data Studio. Untuk informasi selengkapnya, lihat Buat custom image dan Gunakan image dalam pengembangan data.

Sebagai contoh, Anda dapat mengganti paket JAR Spark atau menambahkan dependensi pada libraries, files, atau JAR packages tertentu saat membuat custom image.
Buat kluster Alibaba Cloud EMR dan daftarkan ke DataWorks. Untuk informasi selengkapnya, lihat Data Studio Baru: Lampirkan sumber daya komputasi EMR.
(Opsional, untuk pengguna RAM) Pengguna Resource Access Management (RAM) untuk pengembangan tugas harus ditambahkan ke ruang kerja dan diberi peran Development atau Workspace Administrator (peran ini mencakup banyak izin dan harus diberikan dengan hati-hati). Untuk informasi selengkapnya, lihat Tambahkan anggota ruang kerja.

Jika Anda menggunakan akun root, lewati langkah ini.
Jika tugas Anda memerlukan lingkungan pengembangan tertentu, Anda dapat membuat custom image. Untuk informasi selengkapnya, lihat custom image.

Batasan

Node EMR Shell hanya dapat dijalankan pada serverless resource group (disarankan) atau exclusive resource group for scheduling. Menggunakan custom image untuk pengembangan data memerlukan serverless resource group.
Untuk mengelola metadata DataLake atau kluster kustom di DataWorks, Anda harus terlebih dahulu mengonfigurasi EMR-HOOK pada kluster tersebut. Untuk informasi selengkapnya, lihat Konfigurasi EMR-HOOK untuk Spark SQL.

Catatan
Tanpa konfigurasi EMR-HOOK pada kluster, DataWorks tidak dapat menampilkan metadata secara real time, menghasilkan log audit, menampilkan alur data, atau menjalankan tugas tata kelola terkait EMR.
Kluster EMR on ACK Spark tidak mendukung penampilan alur data, sedangkan kluster EMR Serverless Spark mendukungnya.
Kluster EMR on ACK Spark dan kluster EMR Serverless Spark hanya mendukung referensi sumber daya OSS melalui OSS REF dan mengunggah sumber daya ke OSS, tetapi tidak mendukung pengunggahan sumber daya ke HDFS.
Kluster DataLake dan kluster kustom mendukung referensi sumber daya OSS melalui OSS REF, pengunggahan sumber daya ke OSS, serta pengunggahan sumber daya ke HDFS.

Catatan

Jika Anda telah mengaktifkan kontrol akses Ranger untuk Spark di kluster EMR yang terkait dengan ruang kerja saat ini:

Tugas Spark yang menggunakan image default secara otomatis mendukung fitur ini.
Untuk menjalankan tugas Spark dengan custom image, ajukan tiket ke dukungan teknis untuk meminta peningkatan image.

Kembangkan pekerjaan Spark dan dapatkan paket JAR

Sebelum Anda dapat menjadwalkan pekerjaan EMR Spark dengan DataWorks, Anda harus mengembangkan pekerjaan tersebut di EMR dan mengompilasi kodenya menjadi paket JAR. Untuk informasi lebih lanjut tentang pengembangan pekerjaan EMR Spark, lihat Ikhtisar Spark.

Catatan

Anda kemudian perlu mengunggah paket JAR ke DataWorks untuk menjadwalkan pekerjaan EMR Spark berulang.

Prosedur

Pada halaman pengeditan node EMR Spark, kembangkan pekerjaan tersebut.

Kembangkan pekerjaan Spark

Pilih opsi berdasarkan skenario Anda:

Opsi 1: Unggah dan referensi

DataWorks memungkinkan Anda mengunggah sumber daya dari mesin lokal ke DataStudio lalu mereferensinya. Setelah mengompilasi pekerjaan EMR Spark, Anda harus mendapatkan paket JAR yang telah dikompilasi. Metode penyimpanan yang direkomendasikan untuk paket JAR bergantung pada ukurannya.

Unggah paket JAR dan buat sebagai sumber daya EMR DataWorks, lalu kirimkan. Anda juga dapat menyimpannya langsung di HDFS pada kluster EMR. Kluster EMR on ACK dan EMR Serverless Spark tidak mendukung pengunggahan sumber daya ke HDFS.

JAR < 500 MB

Buat sumber daya EMR JAR.

Jika paket JAR berukuran kurang dari 500 MB, Anda dapat mengunggahnya dari mesin lokal sebagai sumber daya EMR JAR DataWorks. Hal ini memungkinkan manajemen visual yang mudah di konsol DataWorks. Setelah membuat sumber daya, kirimkan. Untuk informasi selengkapnya, lihat Buat dan gunakan sumber daya EMR.
1. Unggah paket JAR ke direktori penyimpanan sumber daya JAR menggunakan metode unggah Local. Untuk informasi selengkapnya, lihat Manajemen sumber daya.
2. Klik Click Upload untuk mengunggah sumber daya JAR.
3. Pilih Storage Path, Data Sources, dan Resource Group.
4. Klik Save.
Referensikan sumber daya EMR JAR.
1. Buka node EMR Spark yang telah dibuat dan buka halaman pengeditan kode.
2. Pada bagian Resource Management di panel navigasi kiri, temukan sumber daya yang ingin Anda referensikan, klik kanan, lalu pilih Insert Resource Path.
3. Setelah Anda memilih referensi, pernyataan referensi akan secara otomatis ditambahkan ke editor kode node EMR Spark. Hal ini menandakan bahwa referensi berhasil dilakukan.
```
##@resource_reference{"spark-examples_2.12-1.0.0-SNAPSHOT-shaded.jar"}
spark-examples_2.12-1.0.0-SNAPSHOT-shaded.jar
```
  Pada kode ini, spark-examples_2.12-1.0.0-SNAPSHOT-shaded.jar adalah nama sumber daya EMR JAR yang telah Anda unggah.
4. Edit kode node EMR Spark agar mencakup perintah spark-submit. Kode berikut merupakan contohnya.
  
  Catatan
  Editor node EMR Spark tidak mendukung komentar. Tulis kode pekerjaan seperti pada contoh berikut, tanpa komentar. Jika tidak, node akan gagal dijalankan.
```
##@resource_reference{"spark-examples_2.11-2.4.0.jar"}
spark-submit --class org.apache.spark.examples.SparkPi --master yarn  spark-examples_2.11-2.4.0.jar 100
```
  Catatan
  - org.apache.spark.examples.SparkPi: Kelas utama dalam paket JAR yang telah dikompilasi.
  - spark-examples_2.11-2.4.0.jar: Nama sumber daya EMR JAR yang telah Anda unggah.
  - Anda dapat menggunakan nilai contoh untuk parameter lainnya. Anda juga dapat menjalankan perintah spark-submit --help untuk melihat informasi penggunaan dan memodifikasi perintah spark-submit sesuai kebutuhan.
  - Untuk menggunakan parameter sederhana dalam perintah spark-submit pada node Spark, Anda harus menambahkannya ke kode Anda, misalnya --executor-memory 2G.
  - Node Spark hanya mendukung pengiriman pekerjaan ke YARN dalam cluster mode.
  - Untuk pekerjaan yang dikirimkan dengan spark-submit, atur deploy mode ke cluster mode, bukan client mode.

JAR >= 500 MB

Buat sumber daya EMR JAR.

Jika paket JAR berukuran 500 MB atau lebih, Anda tidak dapat mengunggahnya dari mesin lokal sebagai sumber daya DataWorks. Kami menyarankan Anda menyimpan paket JAR langsung di HDFS pada kluster EMR dan mencatat jalur penyimpanannya. Anda kemudian dapat mereferensikan jalur ini saat menjadwalkan pekerjaan Spark di DataWorks.
1. Unggah paket JAR ke direktori penyimpanan sumber daya JAR menggunakan metode unggah Local. Untuk informasi selengkapnya, lihat Manajemen sumber daya.
2. Klik Click Upload untuk mengunggah sumber daya JAR.
3. Pilih Storage Path, Data Sources, dan Resource Group.
4. Klik Save.
Referensikan sumber daya EMR JAR.

Jika paket JAR disimpan di HDFS, Anda dapat mereferensikannya dengan menentukan jalurnya dalam kode node EMR Spark.
1. Klik ganda node EMR Spark yang telah dibuat untuk membuka halaman editor kodenya.
2. Tulis perintah spark-submit. Berikut adalah contohnya.
```
spark-submit --master yarn
--deploy-mode cluster
--name SparkPi
--driver-memory 4G
--driver-cores 1
--num-executors 5
--executor-memory 4G
--executor-cores 1
--class org.apache.spark.examples.JavaSparkPi
hdfs:///tmp/jars/spark-examples_2.11-2.4.8.jar 100
```
  Catatan
  - hdfs:///tmp/jars/spark-examples_2.11-2.4.8.jar: Jalur aktual paket JAR di HDFS.
  - org.apache.spark.examples.JavaSparkPi: Kelas utama dalam paket JAR yang telah dikompilasi.
  - Konfigurasikan parameter lainnya sesuai pengaturan kluster EMR Anda. Anda juga dapat menjalankan perintah spark-submit --help untuk melihat informasi penggunaan spark-submit dan memodifikasi perintah sesuai kebutuhan.
  - Untuk menggunakan parameter sederhana dalam perintah spark-submit pada node Spark, Anda harus menambahkannya ke kode Anda, misalnya --executor-memory 2G.
  - Node Spark hanya mendukung pengiriman pekerjaan ke YARN dalam cluster mode.
  - Untuk pekerjaan yang dikirimkan dengan spark-submit, atur deploy mode ke cluster mode, bukan client mode.

Opsi 2: Referensi sumber daya OSS

Anda dapat langsung mereferensikan sumber daya OSS dari node saat ini menggunakan OSS REF. Saat Anda menjalankan node EMR, DataWorks secara otomatis memuat sumber daya OSS yang ditentukan dalam kode untuk penggunaan lokal. Metode ini umum digunakan dalam skenario di mana pekerjaan EMR memerlukan dependensi JAR atau bergantung pada skrip.

Kembangkan sumber daya JAR.

Siapkan dependensi kode.

Anda dapat melihat dependensi kode yang diperlukan di jalur /usr/lib/emr/spark-current/jars/ pada node master kluster EMR Anda. Contoh berikut menggunakan Spark 3.4.2. Anda harus membuka proyek IntelliJ IDEA yang sudah ada, menambahkan dependensi Project Object Model (POM), dan mereferensikan plugin terkait.

Dependensi POM

<dependencies>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.12</artifactId>
            <version>3.4.2</version>
        </dependency>
        <!-- Apache Spark SQL -->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_2.12</artifactId>
            <version>3.4.2</version>
        </dependency>
</dependencies>

Plugin

<build>
        <sourceDirectory>src/main/scala</sourceDirectory>
        <testSourceDirectory>src/test/scala</testSourceDirectory>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>3.7.0</version>
                <configuration>
                    <source>1.8</source>
                    <target>1.8</target>
                </configuration>
            </plugin>
            <plugin>
                <artifactId>maven-assembly-plugin</artifactId>
                <configuration>
                    <descriptorRefs>
                        <descriptorRef>jar-with-dependencies</descriptorRef>
                    </descriptorRefs>
                </configuration>
                <executions>
                    <execution>
                        <id>make-assembly</id>
                        <phase>package</phase>
                        <goals>
                            <goal>single</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
            <plugin>
                <groupId>net.alchim31.maven</groupId>
                <artifactId>scala-maven-plugin</artifactId>
                <version>3.2.2</version>
                <configuration>
                    <recompileMode>incremental</recompileMode>
                </configuration>
                <executions>
                    <execution>
                        <goals>
                            <goal>compile</goal>
                            <goal>testCompile</goal>
                        </goals>
                        <configuration>
                            <args>
                                <arg>-dependencyfile</arg>
                                <arg>${project.build.directory}/.scala_dependencies</arg>
                            </args>
                        </configuration>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>

Kode contoh

package com.aliyun.emr.example.spark
import org.apache.spark.sql.SparkSession
object SparkMaxComputeDemo {
  def main(args: Array[String]): Unit = {
    // Buat SparkSession.
    val spark = SparkSession.builder()
      .appName("HelloDataWorks")
      .getOrCreate()
    // Cetak versi Spark.
    println(s"Versi Spark: ${spark.version}")
  }
}

Setelah mengedit kode Scala, hasilkan paket JAR.

Paket JAR contoh diberi nama SparkWorkOSS-1.0-SNAPSHOT-jar-with-dependencies.jar.

Unggah sumber daya JAR.
1. Setelah selesai mengembangkan kode, masuk ke konsol OSS. Di panel navigasi kiri untuk wilayah tersebut, klik Bucket list.
2. Klik nama bucket tujuan untuk membuka halaman File Management.
  
  Topik ini menggunakan bucket onaliyun-bucket-2 sebagai contoh.
3. Klik Create Directory untuk membuat direktori penyimpanan sumber daya JAR.
  
  Atur Catalog Name menjadi emr/jars untuk membuat direktori penyimpanan sumber daya JAR.
4. Unggah sumber daya JAR ke direktori penyimpanan.
  
  Buka direktori tersebut dan klik Upload File. Di area Files to Upload, klik Scan Files, tambahkan file SparkWorkOSS-1.0-SNAPSHOT-jar-with-dependencies.jar ke bucket, lalu klik Upload File.

Referensikan sumber daya JAR.

Edit kode untuk mereferensikan sumber daya JAR.

Pada halaman pengeditan node EMR Spark yang telah dibuat, edit kode untuk mereferensikan sumber daya JAR.

spark-submit --class com.aliyun.emr.example.spark.SparkMaxComputeDemo --master yarn ossref://onaliyun-bucket-2/emr/jars/SparkWorkOSS-1.0-SNAPSHOT-jar-with-dependencies.jar

Penjelasan parameter:

Parameter	Deskripsi
`class`	Nama lengkap kelas utama yang akan dijalankan.
`master`	Mode eksekusi aplikasi Spark.
Jalur file `ossref`	Formatnya adalah `ossref://{endpoint}/{bucket}/{object}`. Endpoint: Titik akhir layanan OSS. Jika parameter ini dikosongkan, sumber daya OSS harus berada di wilayah yang sama dengan kluster EMR. Bucket: Kontainer di OSS untuk menyimpan objek. Setiap bucket memiliki nama unik. Masuk ke konsol OSS untuk melihat semua buckets di bawah akun Anda. Object: Objek spesifik, seperti nama file atau jalur, yang disimpan di bucket.

Jalankan pekerjaan node EMR Spark.

Setelah selesai mengedit, klik ikon dan pilih serverless resource group yang telah Anda buat untuk menjalankan node EMR Spark. Setelah pekerjaan selesai, catat applicationIds dari konsol, misalnya application_1730367929285_xxxx.

Lihat hasilnya.

Buat node EMR Shell dan jalankan perintah yarn logs -applicationId application_1730367929285_xxxx pada node tersebut untuk melihat hasil eksekusi:

yarn logs -applicationId application_xxx
Process Output>>> LogLastModifiedTime:Fri Nov 01 16:27:46 +0800 2024
Process Output>>> LogLength:21
Process Output>>> LogContents:
Process Output>>> Versi Spark: 3.4.2
Process Output>>>

(Opsional) Konfigurasi parameter lanjutan

Anda dapat mengonfigurasi parameter properti unik berikut di panel Scheduling Settings di sisi kanan node, di bawah EMR Node Parameters > DataWorks parameters.

Catatan

Parameter lanjutan yang tersedia bervariasi tergantung jenis kluster EMR, seperti yang ditunjukkan pada tabel berikut.
Untuk properti Spark open-source lainnya, Anda dapat mengonfigurasinya di panel Scheduling Settings di bawah EMR Node Parameters > Spark parameter.

Kluster Datalake/kluster kustom: EMR on ECS

Parameter lanjutan	Deskripsi
queue	Antrian penjadwalan untuk pekerjaan. Nilai default adalah `default`. Jika Anda mengonfigurasi YARN Resource Queue tingkat ruang kerja saat mendaftarkan kluster EMR ke ruang kerja DataWorks: Jika Anda memilih kotak centang Global Settings Take Precedence dan mengaturnya ke Yes, pekerjaan Spark akan menggunakan antrian yang dikonfigurasi saat mendaftarkan kluster EMR. Jika Anda tidak memilih kotak centang tersebut, pekerjaan Spark akan menggunakan antrian yang dikonfigurasi untuk node EMR Spark. Untuk informasi selengkapnya tentang EMR YARN, lihat Konfigurasi antrian dasar. Untuk informasi selengkapnya tentang konfigurasi antrian saat mendaftarkan kluster EMR, lihat Atur antrian sumber daya YARN global.
priority	Prioritas. Nilai default adalah 1.
FLOW_SKIP_SQL_ANALYZE	Mode eksekusi untuk pernyataan SQL. Nilai yang valid: `true`: Mengeksekusi beberapa pernyataan SQL sekaligus. `false` (default): Mengeksekusi satu pernyataan SQL dalam satu waktu. Catatan Parameter ini hanya didukung untuk pengujian di lingkungan pengembangan data.
Other	Anda dapat menambahkan parameter Spark kustom di Konfigurasi Lanjutan. Misalnya, jika Anda menambahkan `spark.eventLog.enabled : false` , DataWorks secara otomatis menambahkan parameter tersebut ke kode yang dikirimkan ke kluster EMR dalam format `--conf key=value`. Anda juga dapat mengonfigurasi parameter Spark global. Untuk informasi selengkapnya, lihat Atur parameter Spark global. Catatan Untuk mengaktifkan kontrol akses Ranger, tambahkan konfigurasi `spark.hadoop.fs.oss.authorization.method=ranger` di Atur parameter Spark global untuk memastikan kontrol akses Ranger berlaku.

Kluster Spark: EMR on ACK

Parameter lanjutan

Deskripsi

FLOW_SKIP_SQL_ANALYZE

Mode eksekusi untuk pernyataan SQL. Nilai yang valid:

true: Mengeksekusi beberapa pernyataan SQL sekaligus.
false: Mengeksekusi satu pernyataan SQL dalam satu waktu.

Catatan

Parameter ini hanya didukung untuk pengujian di lingkungan pengembangan data.

Other

Anda dapat menambahkan parameter Spark kustom di Konfigurasi Lanjutan. Misalnya, spark.eventLog.enabled: false. DataWorks secara otomatis menambahkan parameter tersebut ke kode yang dikirimkan ke kluster EMR dalam format --conf key=value.
Anda juga dapat mengonfigurasi parameter Spark global. Untuk informasi selengkapnya, lihat Atur parameter Spark global.

Kluster Hadoop: EMR on ECS

Parameter lanjutan	Deskripsi
queue	Antrian penjadwalan tempat pekerjaan dikirimkan. Nilai default: default. Jika Anda mengonfigurasi YARN resource queue tingkat ruang kerja saat mendaftarkan kluster EMR ke ruang kerja DataWorks, aturan berikut berlaku: Jika Anda memilih kotak centang Global Settings Take Precedence dan mengatur nilainya ke Yes, konfigurasi antrian yang Anda tentukan saat mendaftarkan kluster EMR akan diprioritaskan saat pekerjaan Spark dijalankan. Jika Anda mengosongkan kotak centang tersebut, konfigurasi antrian yang Anda tentukan untuk node EMR Spark akan diprioritaskan saat pekerjaan Spark dijalankan. Untuk informasi selengkapnya tentang EMR YARN, lihat Konfigurasi antrian dasar. Untuk informasi selengkapnya tentang cara mengonfigurasi antrian saat mendaftarkan kluster EMR, lihat Atur antrian sumber daya YARN global.
priority	Prioritas. Nilai default adalah 1.
FLOW_SKIP_SQL_ANALYZE	Mode eksekusi untuk pernyataan SQL. Nilai yang valid: `true`: Mengeksekusi beberapa pernyataan SQL sekaligus. `false`: Mengeksekusi satu pernyataan SQL dalam satu waktu. Catatan Parameter ini hanya didukung untuk pengujian di lingkungan pengembangan data.
USE_GATEWAY	Menentukan apakah pekerjaan untuk node ini dikirimkan melalui kluster Gateway. Nilai yang valid: `true`: Mengirimkan pekerjaan melalui kluster Gateway. `false`: Tidak mengirimkan pekerjaan melalui kluster Gateway. Secara default, pekerjaan dikirimkan ke node header. Catatan Jika Anda mengatur parameter ini ke `true` tetapi kluster node tidak terkait dengan kluster Gateway, pengiriman pekerjaan EMR berikutnya akan gagal.
Other	Anda dapat menambahkan parameter Spark kustom langsung di Konfigurasi Lanjutan. Untuk entri seperti `spark.eventLog.enabled : false` , DataWorks secara otomatis menambahkannya ke kode yang dikirimkan ke kluster EMR dalam format `--conf key=value`. Anda juga dapat mengonfigurasi parameter Spark global. Untuk informasi selengkapnya, lihat Atur parameter Spark global. Catatan Untuk mengaktifkan kontrol akses Ranger, tambahkan konfigurasi `spark.hadoop.fs.oss.authorization.method=ranger` di Atur parameter Spark global untuk memastikan kontrol akses Ranger berlaku.

Kluster EMR Serverless Spark

Untuk informasi selengkapnya tentang pengaturan parameter, lihat Atur parameter untuk mengirimkan pekerjaan Spark.

Parameter lanjutan	Deskripsi
queue	Antrian penjadwalan untuk pekerjaan. Nilai default adalah `dev_queue`.
priority	Prioritas. Nilai default adalah 1.
FLOW_SKIP_SQL_ANALYZE	Mode eksekusi untuk pernyataan SQL. Nilai yang valid: `true`: Mengeksekusi beberapa pernyataan SQL sekaligus. `false`: Mengeksekusi satu pernyataan SQL dalam satu waktu. Catatan Parameter ini hanya didukung untuk pengujian di lingkungan pengembangan data.
SERVERLESS_RELEASE_VERSION	Versi mesin Spark. Secara default, pekerjaan menggunakan Default Engine Version yang dikonfigurasi untuk kluster di Management Center di bawah Clusters. Anda dapat mengonfigurasi parameter ini untuk mengatur versi mesin yang berbeda untuk pekerjaan yang berbeda.
SERVERLESS_QUEUE_NAME	Antrian sumber daya. Secara default, pekerjaan menggunakan Default Resource Queue yang dikonfigurasi untuk kluster di Management Center di bawah Clusters. Jika Anda memiliki persyaratan isolasi dan manajemen sumber daya, Anda dapat menambahkan antrian. Untuk informasi selengkapnya, lihat Kelola antrian sumber daya.
Other	Anda dapat menambahkan parameter Spark kustom di konfigurasi lanjutan. Misalnya, jika Anda menambahkan `spark.eventLog.enabled : false` , DataWorks secara otomatis menambahkan parameter tersebut ke kode yang dikirimkan ke kluster EMR dalam format `--conf key=value`. Anda juga dapat mengonfigurasi parameter Spark global. Untuk informasi selengkapnya, lihat Atur parameter Spark global.

Jalankan pekerjaan Spark

Di panel Run Configuration, buka bagian Compute Resource dan konfigurasikan Compute Resource dan DataWorks Resource Group.
Catatan
- Anda juga dapat mengonfigurasi CUs for Scheduling berdasarkan sumber daya yang dibutuhkan oleh tugas. CU default adalah 0.25.
- Untuk mengakses sumber data melalui internet publik atau di VPC, Anda harus menggunakan resource group penjadwalan dengan konektivitas jaringan yang telah diverifikasi ke sumber data tersebut. Untuk informasi selengkapnya, lihat Solusi konektivitas jaringan.
Di kotak dialog parameter pada bilah alat, pilih sumber data yang sesuai, lalu klik Run.

Untuk menjalankan pekerjaan node secara berkala, konfigurasikan properti penjadwalannya. Untuk informasi selengkapnya, lihat Konfigurasi properti penjadwalan untuk node.

Catatan
Jika Anda perlu menyesuaikan lingkungan komponen, Anda dapat membuat custom image berdasarkan image resmi dataworks_emr_base_task_pod dan menggunakan image tersebut dalam Pengembangan Data.

Sebagai contoh, saat membuat custom image, Anda dapat mengganti paket JAR Spark atau bergantung pada libraries, files, atau JAR packages tertentu.
Setelah mengonfigurasi pekerjaan node, Anda harus menerapkan node tersebut. Untuk informasi selengkapnya, lihat Terapkan node atau alur kerja.
Setelah pekerjaan diterapkan, Anda dapat membuka Operation Center untuk melihat status eksekusi pekerjaan berkala. Untuk informasi selengkapnya, lihat Memulai Operation Center.

FAQ

Mengapa terjadi error "DlfMetaStoreClientFactory not found" saat saya menjalankan spark-submit dalam mode YARN-Cluster pada node EMR Spark setelah Kerberos diaktifkan di kluster EMR?
T: Bagaimana cara mengatasi timeout koneksi node?

J: Pastikan resource group dan kluster dapat saling terhubung melalui jaringan. Buka daftar sumber daya komputasi dan klik Resource Initialization. Di kotak dialog yang muncul, klik Re-initialize. Verifikasi bahwa inisialisasi berhasil.

DataWorks:Node EMR Spark

Prasyarat

Batasan

Catatan

Kembangkan pekerjaan Spark dan dapatkan paket JAR

Prosedur

Kembangkan pekerjaan Spark

Opsi 1: Unggah dan referensi

JAR < 500 MB

JAR >= 500 MB

Opsi 2: Referensi sumber daya OSS

Dependensi POM

Plugin

(Opsional) Konfigurasi parameter lanjutan

Kluster Datalake/kluster kustom: EMR on ECS

Kluster Spark: EMR on ACK

Kluster Hadoop: EMR on ECS

Kluster EMR Serverless Spark

Jalankan pekerjaan Spark

FAQ

Topik terkait