Mengembangkan Pekerjaan Spark - AnalyticDB

AnalyticDB for MySQL menyediakan metode pengembangan yang seragam untuk aplikasi batch Spark dan aplikasi streaming. Topik ini menjelaskan cara mengembangkan aplikasi Spark.

Alat Pengembangan

Anda dapat menggunakan salah satu alat berikut untuk mengembangkan aplikasi batch Spark dan aplikasi streaming:

Kode Contoh

Berikut adalah contoh kode untuk mengembangkan aplikasi Spark berdasarkan data yang disimpan di Object Storage Service (OSS). Kode mencakup parameter umum seperti nama dan konfigurasi, serta parameter spesifik untuk aplikasi Java, Scala, dan Python. Parameter ditulis dalam format JSON.

 {
  "args": ["args0", "args1"],
  "name": "spark-oss-test",
  "file": "oss://<testBucketName>/jars/test/spark-examples-0.0.1-SNAPSHOT.jar",
  "className": "com.aliyun.spark.oss.SparkReadOss",
  "conf": {
    "spark.driver.resourceSpec": "medium",
    "spark.executor.resourceSpec": "medium",
    "spark.executor.instances": 2,
    "spark.adb.connectors": "oss"
  }
}

Parameter Umum

Parameter	Diperlukan	Contoh	Deskripsi
name	Tidak	`"name": "spark-oss-test"`	Nama aplikasi Spark.
file	Ya, untuk aplikasi Python, Java, dan Scala	`"file":"oss://<testBucketName>/jars/test/spark-examples-0.0.1-SNAPSHOT.jar"`	Path absolut file utama aplikasi Spark. File utama bisa berupa paket JAR yang berisi titik masuk atau file eksekusi yang berfungsi sebagai titik masuk untuk program Python. Penting Anda harus menyimpan file utama aplikasi Spark di OSS. Bucket OSS harus berada di wilayah yang sama dengan kluster AnalyticDB for MySQL.
files	Tidak	`"files":["oss://<testBucketName>/path/to/files_name1","oss://<testBucketName>/path/to/files_name2"]`	File yang diperlukan untuk aplikasi Spark. File-file ini akan diunduh ke direktori kerja proses driver dan executor. Anda dapat mengonfigurasi alias untuk file tersebut. Contoh: `oss://<testBucketName>/test/test1.txt#test1`. Dalam contoh ini, test1 digunakan sebagai alias file. Anda dapat menentukan ./test1 atau ./test1.txt untuk mengakses file tersebut. Pisahkan beberapa file dengan koma (,). Catatan Jika Anda menentukan file `log4j.properties` untuk parameter ini, aplikasi Spark akan menggunakan file `log4j.properties` sebagai file konfigurasi log. Anda harus menyimpan semua file yang diperlukan untuk aplikasi Spark di OSS.
archives	Tidak	`"archives":["oss://<testBucketName>/path/to/archives","oss://<testBucketName>/path/to/archives"]`	Paket terkompresi yang diperlukan untuk aplikasi Spark. Paket harus dalam format TAR.GZ. Paket akan diekstraksi ke direktori kerja proses Spark. Anda dapat mengonfigurasi alias untuk file yang terdapat dalam paket. Contoh: `oss://testBucketName/test/test1.tar.gz#test1`. Dalam contoh ini, test1 digunakan sebagai alias file. Misalnya, test2.txt adalah file yang terdapat dalam paket test1.tar.gz. Anda dapat mengakses file tersebut dengan menentukan ./test1/test2.txt atau ./test1.tar.gz/test2.txt. Pisahkan beberapa paket dengan koma (,). Catatan Anda harus menyimpan semua paket terkompresi yang diperlukan untuk aplikasi Spark di OSS. Jika sebuah paket gagal diekstraksi, pekerjaan akan gagal.
conf	Ya	`"conf":{"spark.driver.resourceSpec": "medium",spark.executor.resourceSpec":"medium,"spark.executor.instances": 2,"spark.adb.connectors": "oss"}`	Parameter konfigurasi yang diperlukan untuk aplikasi Spark, yang mirip dengan Apache Spark. Parameter harus dalam format `key: value`. Pisahkan beberapa parameter dengan koma (,). Untuk informasi tentang parameter konfigurasi yang berbeda dari Apache Spark atau parameter konfigurasi yang spesifik untuk AnalyticDB for MySQL, lihat Parameter konfigurasi aplikasi Spark.

Parameter Aplikasi Java

Parameter	Diperlukan	Contoh	Deskripsi
args	Tidak	`"args":["args0", "args1"]`	Parameter yang diperlukan untuk paket JAR. Pisahkan beberapa parameter dengan koma (,).
className	Ya	`"className":"com.aliyun.spark.oss.SparkReadOss"`	Kelas entri aplikasi Java.
jars	Tidak	`"jars":["oss://<testBucketName>/path/to/jar","oss://testBucketName/path/to/jar"]`	Path absolut paket JAR yang diperlukan untuk aplikasi Spark. Pisahkan beberapa path dengan koma (,). Saat aplikasi Spark berjalan, paket JAR ditambahkan ke classpath JVM driver dan executor. Penting Anda harus menyimpan semua paket JAR yang diperlukan untuk aplikasi Spark di OSS. Bucket OSS harus berada di wilayah yang sama dengan kluster AnalyticDB for MySQL.

Parameter Aplikasi Scala

Parameter	Diperlukan	Contoh	Deskripsi
className	Ya	`"className":"com.aliyun.spark.oss.SparkReadOss"`	Kelas entri aplikasi Scala.
jars	Tidak	`"jars":["oss://<testBucketName>/path/to/jar","oss://testBucketName/path/to/jar"]`	Path absolut paket JAR yang diperlukan untuk aplikasi Spark. Pisahkan beberapa path dengan koma (,). Saat aplikasi Spark berjalan, paket JAR ditambahkan ke classpath JVM driver dan executor. Penting Anda harus menyimpan semua paket JAR yang diperlukan untuk aplikasi Spark di OSS. Bucket OSS harus berada di wilayah yang sama dengan kluster AnalyticDB for MySQL.

Parameter Aplikasi Python

Parameter	Diperlukan	Contoh	Deskripsi
pyFiles	Ya	`"pyFiles":["oss://<testBucketName>/path/to/pyfiles","oss://<testBucketName>/path/to/pyfiles"]`	File Python yang diperlukan untuk aplikasi PySpark. File harus dalam format ZIP, PY, atau EGG. Jika beberapa file Python diperlukan, kami sarankan Anda menggunakan file dalam format ZIP atau EGG. Anda dapat merujuk file Python sebagai modul dalam kode Python. Pisahkan beberapa paket dengan koma (,). Catatan Anda harus menyimpan semua file Python yang diperlukan untuk aplikasi Spark di OSS.