E-MapReduce:Mengelola sesi SQL

Buat sesi SQL

Setelah membuat sesi SQL, Anda dapat memilihnya saat membuat pekerjaan SQL.

1. Buka halaman Sessions.

   1. Login ke Konsol EMR.

   2. Pada panel navigasi kiri, pilih EMR Serverless > Spark.

   3. Pada halaman Spark, klik nama ruang kerja yang dituju.

   4. Pada halaman EMR Serverless Spark, klik Sessions di panel navigasi kiri.

2. Pada halaman SQL Sessions, klik Create SQL Session.

3. Pada halaman Create SQL Session, konfigurasikan parameter berikut lalu klik create.

   Penting

   Kami menyarankan agar Anda mengatur konkurensi maksimum untuk antrian sumber daya yang dipilih minimal sebesar sumber daya yang dibutuhkan oleh sesi notebook. Lihat Konsol untuk kebutuhan sumber daya spesifik.

   Parameter	Deskripsi
   Name	Nama sesi SQL baru. Panjangnya harus 1 hingga 64 karakter. Hanya huruf, angka, tanda hubung (-), garis bawah (_), dan spasi yang didukung.
   Resource Queue	Pilih antrian sumber daya untuk sesi SQL. Anda dapat memilih antrian yang ditujukan untuk pengembangan atau antrian yang digunakan bersama antara pengembangan dan produksi. Untuk informasi lebih lanjut tentang antrian, lihat Mengelola antrian sumber daya.
   Engine Version	Versi engine untuk sesi SQL. Untuk informasi lebih lanjut tentang versi engine, lihat Versi engine.
   Use Fusion Acceleration	Fusion dapat mempercepat beban kerja Spark dan mengurangi total biaya pekerjaan. Untuk informasi penagihan, lihat Penagihan Produk. Untuk informasi lebih lanjut tentang engine Fusion, lihat Engine Fusion.
   Automatic Stop	Diaktifkan secara default. Anda dapat menentukan timeout idle khusus, setelah itu sistem akan secara otomatis menghentikan sesi SQL.
   Normal Network Connection	Pilih koneksi jaringan yang sudah ada untuk mengakses sumber data di VPC atau layanan eksternal. Untuk informasi lebih lanjut tentang cara membuat koneksi jaringan, lihat Konektivitas jaringan antara EMR Serverless Spark dan VPC lainnya.
   spark.driver.cores	Jumlah core CPU untuk proses driver dalam aplikasi Spark. Nilai default-nya adalah 1 CPU.
   spark.driver.memory	Jumlah memori untuk proses driver dalam aplikasi Spark. Nilai default-nya adalah 3,5 GB.
   spark.executor.cores	Jumlah core CPU untuk setiap proses executor. Nilai default-nya adalah 1 CPU.
   spark.executor.memory	Jumlah memori untuk setiap proses executor. Nilai default-nya adalah 3,5 GB.
   spark.executor.instances	Jumlah executor untuk aplikasi Spark. Nilai default-nya adalah 2.
   Dynamic Resource Allocation	Fitur ini dinonaktifkan secara default. Jika Anda mengaktifkannya, konfigurasikan parameter berikut: Minimum Number of Executors: Nilai default: 2. Maximum Number of Executors: Jika spark.executor.instances tidak diatur, nilai default-nya adalah 10.
   More Memory Configurations	spark.driver.memoryOverhead: Jumlah memori non-heap yang tersedia untuk setiap driver. Jika parameter ini tidak diatur, Spark akan menetapkan nilai berdasarkan rumus default: max(384 MB, 10% × spark.driver.memory). spark.executor.memoryOverhead: Jumlah memori non-heap yang tersedia untuk setiap executor. Jika parameter ini tidak diatur, Spark akan menetapkan nilai berdasarkan rumus default: max(384 MB, 10% × spark.executor.memory). spark.memory.offHeap.size: Jumlah memori off-heap yang tersedia untuk Spark. Nilai default: 1 GB. Parameter ini hanya berlaku jika spark.memory.offHeap.enabled diatur ke true. Secara default, ketika engine Fusion digunakan, fitur ini diaktifkan dan memori off-heap diatur ke 1 GB.
   Spark Configuration	Masukkan properti konfigurasi Spark. Gunakan spasi untuk memisahkan pasangan kunci-nilai. Contohnya, spark.sql.catalog.paimon.metastore dlf.

   Setelah Anda membuat sesi SQL, status awalnya adalah Starting. Sesi siap digunakan ketika statusnya berubah menjadi Running. Pada halaman SQL Sessions, Anda dapat menghentikan, mengedit, dan menghapus sesi yang sudah ada.

Lihat catatan eksekusi

Setelah pekerjaan selesai, Anda dapat melihat catatan eksekusinya.

1. Pada halaman SQL Sessions, klik nama sesi yang diinginkan.

2. Klik tab Execution Records.

   Pada tab ini, Anda dapat melihat detail setiap eksekusi pekerjaan, seperti ID run, waktu mulai, dan tautan ke Spark UI.

   

Topik terkait

• Untuk operasi terkait antrian, lihat Mengelola antrian sumber daya.

• Untuk informasi tentang peran dan izin untuk sesi, lihat Mengelola pengguna dan peran.

• Untuk contoh lengkap alur kerja pengembangan pekerjaan SQL, lihat Panduan cepat Spark SQL.