：Panduan konfigurasi aplikasi Spark

Perhatian

Enterprise Edition, Basic Edition, dan Data Lakehouse Edition saat ini dalam rilis canary. Untuk meminta uji coba Enterprise Edition, Basic Edition, dan Data Lakehouse Edition, Submit a ticket.

Aplikasi batch

Spark mendukung aplikasi batch, streaming, dan SQL. Eksekusi aplikasi batch memerlukan paket JAR atau file Python yang berisi kelas entri. Anda juga dapat menambahkan paket JAR tambahan, sandbox Python, serta parameter kelas entri sesuai kebutuhan bisnis.

Anda dapat menulis aplikasi batch Spark di AnalyticDB for MySQL menggunakan parameter baris perintah serupa dengan alat spark-submit.

Contoh konfigurasi aplikasi batch

 {
  "args": ["oss://${testBucketName}/data/test/test.csv"],
  "name": "spark-oss-test",
  "file": "oss://${testBucketName/jars/test/spark-examples-0.0.1-SNAPSHOT.jar",
  "className": "com.aliyun.spark.oss.SparkReadOss",
  "conf": {
    "spark.driver.resourceSpec": "medium",
    "spark.executor.resourceSpec": "medium",
    "spark.executor.instances": 2,
    "spark.adb.connectors": "oss"
  }
}

Aplikasi SQL

AnalyticDB for MySQL memungkinkan Anda mengirimkan aplikasi Spark SQL langsung di konsol tanpa perlu mengemas pernyataan ke dalam file JAR atau menulis kode Python. Fitur ini membantu pengembang data menganalisis data menggunakan Spark. Saat mengirimkan aplikasi Spark SQL, setel jenis aplikasi ke SQL.

Contoh konfigurasi aplikasi SQL

-- Berikut hanya contoh SparkSQL. Ubah konten dan jalankan program spark Anda.

conf spark.driver.resourceSpec=medium;
conf spark.executor.instances=2;
conf spark.executor.resourceSpec=medium;
conf spark.app.name=Spark SQL Test;
conf spark.adb.connectors=oss;

-- Berikut adalah pernyataan sql Anda
show databases;

Jenis pernyataan yang didukung oleh Spark SQL

Anda dapat mengedit pernyataan SQL di editor Spark. Setiap pernyataan individu harus dipisahkan dengan titik koma (;).

Beralih layanan metadata

Deskripsi parameter conf

Parameter konfigurasi Spark di AnalyticDB for MySQL mirip dengan Apache Spark. Tabel berikut menjelaskan parameter konfigurasi AnalyticDB for MySQL yang tidak sesuai dengan Apache Spark dan parameter spesifik untuk AnalyticDB for MySQL.

• Spesifikasi driver dan executor yang ditentukan

  Penting

  Penggunaan parameter yang dijelaskan dalam tabel berikut berbeda dari Apache Spark.

  Parameter spark.driver.resourceSpec dan spark.executor.resourceSpec disetel ke nilai yang sama.

  Parameter	Deskripsi	Parameter yang sesuai di Apache Spark
  spark.driver.resourceSpec	Spesifikasi sumber daya driver Spark. Setiap jenis sesuai dengan spesifikasi yang berbeda. Untuk informasi lebih lanjut, lihat kolom Jenis di bagian "Spesifikasi sumber daya Spark" dari topik ini. Contoh: CONF spark.driver.resourceSpec = c.small;. Dalam contoh ini, driver Spark menempati spesifikasi sumber daya 1 core dan 2 GB memori.	spark.driver.cores dan spark.driver.memory
  spark.executor.resourceSpec	Spesifikasi sumber daya setiap executor Spark. Setiap jenis sesuai dengan spesifikasi yang berbeda. Untuk informasi lebih lanjut, lihat kolom Jenis di bagian "Spesifikasi sumber daya Spark" dari topik ini. Contoh: CONF spark.executor.resourceSpec = c.small;. Dalam contoh ini, setiap executor Spark menempati spesifikasi sumber daya 1 core dan 2 GB memori.	spark.executor.cores dan spark.executor.memory

• Spark UI

  Parameter	Nilai default	Deskripsi
  spark.app.log.rootPath	Tidak ada	Direktori tempat log acara Spark UI dan log yang dihasilkan oleh aplikasi Spark AnalyticDB for MySQL disimpan. Anda harus secara manual menentukan jalur OSS untuk parameter ini. Jika tidak, Anda tidak dapat mengakses Spark UI atau melihat log aplikasi.

• Pemeliharaan Pengguna RAM

  Parameter	Nilai default	Deskripsi
  spark.adb.roleArn	Tidak ada	Nama Sumber Daya Cloud (ARN) Alibaba dari peran Resource Access Management (RAM) yang diberi izin untuk mengirimkan aplikasi Spark di konsol RAM. Untuk informasi lebih lanjut, lihat Ikhtisar peran RAM. Parameter ini hanya diperlukan saat Anda ingin mengirimkan aplikasi Spark sebagai pengguna RAM.

• Konektor Sumber Data Bawaan di Spark AnalyticDB for MySQL

  Parameter	Nilai default	Deskripsi
  spark.adb.connectors	Tidak ada	Nama konektor bawaan di Spark AnalyticDB for MySQL. Pisahkan nama konektor dengan koma (,). Nilai valid: OSS, hbase1.x, dan tablestore.
  spark.hadoop.io.compression.codec.snappy.native	false	Menentukan apakah file Snappy dalam format Snappy standar. Secara default, Hadoop mengenali file Snappy yang diedit di Hadoop. Jika Anda menyetel parameter ini ke true, pustaka Snappy standar digunakan untuk dekompresi. Jika tidak, pustaka Snappy default Hadoop digunakan untuk dekompresi.

• Akses VPC dan Koneksi Sumber Data

  Parameter	Nilai default	Deskripsi
  spark.adb.eni.vswitchId	Tidak ada	ID vSwitch yang terkait dengan antarmuka jaringan elastis (ENI). ID ini digunakan untuk mengakses virtual private cloud (VPC). Jika instance Elastic Compute Service (ECS) Anda dapat mengakses sumber data tujuan, Anda dapat menyetel parameter ini ke ID vSwitch yang terhubung ke instance ECS Anda.
  spark.adb.eni.securityGroupId	Tidak ada	ID grup keamanan yang terkait dengan ENI. ID ini digunakan untuk mengakses VPC. Jika instance ECS Anda dapat mengakses sumber data tujuan, Anda dapat menyetel parameter ini ke ID grup keamanan yang dimiliki oleh instance ECS Anda.
  spark.adb.eni.extraHosts	Tidak ada	Pemetaan antara alamat IP dan nama host. Parameter ini memungkinkan Spark untuk mengurai nama host sumber data. Parameter ini diperlukan jika Anda ingin terhubung ke sumber data Hive yang dikelola sendiri. Catatan Pisahkan alamat IP dan nama host dengan spasi. Pisahkan beberapa kelompok alamat IP dan nama host dengan koma (,). Contoh: "ip0 master0, ip1 master1".

• Koneksi dari Spark SQL ke Metadata AnalyticDB for MySQL

  Parameter	Nilai default	Deskripsi
  spark.sql.hive.metastore.version	Tidak ada	Versi metastore Hive. Jika Anda menyetel parameter ini ke ADB, Anda dapat mengakses metadata AnalyticDB for MySQL dan membaca data tabel dari AnalyticDB for MySQL.

• Percobaan Ulang Aplikasi

  Parameter	Nilai default	Deskripsi
  spark.adb.maxAttempts	1	Jumlah maksimum percobaan ulang. Nilai default adalah 1, yang berarti aplikasi spark tidak diulang ketika gagal. Jika Anda menyetel parameter ini ke 3, aplikasi Spark akan diulang hingga tiga kali dalam jendela geser.
  spark.adb.attemptFailuresValidityInterval	Long.MAX	Durasi jendela geser. Unit: milidetik. Sebagai contoh, jika Anda menyetel parameter ini ke 6000, sistem menghitung jumlah percobaan ulang dalam 6.000 milidetik terakhir setelah percobaan ulang gagal. Jika jumlah percobaan ulang kurang dari nilai spark.adb.maxAttempts, sistem akan terus mencoba menjalankan aplikasi.

• Konfigurasi Sumber

  Parameter	Nilai default	Deskripsi
  spark.adb.driver.cpu-vcores-ratio	1	Rasio vCPU terhadap core CPU aktual yang digunakan oleh driver. Sebagai contoh, jika driver menggunakan spesifikasi sumber daya medium sebesar 2 core dan 8 GB memori dan Anda menyetel parameter ini ke 2, driver dapat menjalankan 4 vCPU secara paralel. Anda juga dapat menyetel spark.driver.cores ke 4 untuk mencapai performa yang sama.
  spark.adb.executor.cpu-vcores-ratio	1	Rasio vCPU terhadap core CPU aktual yang digunakan oleh executor. Jika utilitas CPU suatu tugas rendah, Anda dapat mengonfigurasi parameter ini untuk meningkatkan utilitas CPU. Sebagai contoh, jika executor menggunakan spesifikasi sumber daya medium sebesar 2 core dan 8 GB memori dan Anda menyetel parameter ini ke 2, executor dapat menjalankan 4 vCPU secara paralel. Ini berarti 4 tugas dijadwalkan secara paralel. Anda juga dapat menyetel spark.executor.cores ke 4 untuk mencapai performa yang sama.

Spesifikasi sumber daya Spark