E-MapReduce：Mengelola Sesi SQL

Buat sesi SQL

Setelah membuat sesi SQL, Anda dapat memilih sesi tersebut saat membuat pekerjaan SQL.

1. Buka halaman Sesi.

   1. Masuk ke Konsol EMR.

   2. Di panel navigasi sebelah kiri, pilih EMR Serverless > Spark.

   3. Di halaman Spark, klik nama ruang kerja yang ingin dikelola.

   4. Di panel navigasi sebelah kiri halaman EMR Serverless Spark, pilih Pusat Operasi > Sessions.

2. Di tab SQL Sessions, klik Create SQL Session.

3. Di halaman Buat Sesi SQL, konfigurasikan parameter yang diperlukan dan klik Create. Tabel berikut menjelaskan parameter-parameter tersebut.

   Penting

   Disarankan untuk menyetel parameter Maksimum Konkurensi dari antrian sumber daya yang digunakan ke nilai yang lebih besar atau sama dengan jumlah unit komputasi (CU) yang diperlukan oleh sesi notebook. Nilai parameter Maksimum Konkurensi dapat dilihat di Konsol EMR.

   Parameter	Deskripsi
   Name	Nama sesi SQL. Nama harus memiliki panjang 1 hingga 64 karakter dan dapat berisi huruf, angka, tanda hubung (-), garis bawah (_), dan spasi.
   Resource Queue	Antrian sumber daya tempat sesi SQL diterapkan. Pilih antrian sumber daya dari daftar drop-down. Hanya antrian sumber daya yang tersedia di lingkungan pengembangan dan antrian sumber daya yang tersedia di kedua lingkungan pengembangan dan produksi yang ditampilkan dalam daftar drop-down. Untuk informasi lebih lanjut tentang antrian sumber daya, lihat Kelola antrian sumber daya.
   Engine Version	Versi mesin yang digunakan oleh sesi SQL. Untuk informasi lebih lanjut tentang versi mesin, lihat Versi mesin.
   Use Fusion Acceleration
   Auto Stop	Secara default, sakelar ini diaktifkan. Anda dapat mengonfigurasi waktu ketika Anda ingin sesi SQL berhenti secara otomatis setelah sesi SQL menjadi tidak aktif.
   Network Connection	Koneksi jaringan yang digunakan untuk mengakses sumber data atau layanan eksternal dalam virtual private cloud (VPC). Untuk informasi tentang cara membuat koneksi jaringan, lihat Konfigurasikan konektivitas jaringan antara EMR Serverless Spark dan sumber data di seluruh VPC.
   spark.driver.cores	Jumlah core CPU yang digunakan oleh driver aplikasi Spark. Nilai default: 1 CPU.
   spark.driver.memory	Ukuran memori yang tersedia untuk driver aplikasi Spark. Nilai default: 3,5 GB.
   spark.executor.cores	Jumlah core CPU yang dapat digunakan oleh setiap executor. Nilai default: 1 CPU.
   spark.executor.memory	Ukuran memori yang tersedia untuk setiap executor. Nilai default: 3,5 GB.
   spark.executor.instances	Jumlah executor yang dialokasikan untuk aplikasi Spark. Nilai default: 2.
   Dynamic Allocation	Secara default, fitur ini dinonaktifkan. Setelah Anda mengaktifkan fitur ini, Anda harus mengonfigurasi parameter berikut: Minimum Number of Executors: Nilai default adalah 2. Maximum Number of Executors: Jika parameter spark.executor.instances tidak dikonfigurasi, nilai default 10 akan digunakan.
   More Memory Configurations	spark.driver.memoryOverhead: ukuran memori non-heap yang tersedia untuk setiap driver. Jika Anda membiarkan parameter ini kosong, Spark secara otomatis menetapkan nilai untuk parameter ini berdasarkan rumus berikut: max(384 MB, 10% × spark.driver.memory). spark.executor.memoryOverhead: ukuran memori non-heap yang tersedia untuk setiap executor. Jika Anda membiarkan parameter ini kosong, Spark secara otomatis menetapkan nilai untuk parameter ini berdasarkan rumus berikut: max(384 MB, 10% × spark.executor.memory). spark.memory.offHeap.size: ukuran memori off-heap yang tersedia untuk aplikasi Spark. Nilai default: 1 GB. Parameter ini hanya valid jika Anda menetapkan parameter spark.memory.offHeap.enabled ke true. Secara default, jika Anda menggunakan mesin Fusion, parameter spark.memory.offHeap.enabled disetel ke true dan parameter spark.memory.offHeap.size disetel ke 1 GB.
   Spark Configurations	Konfigurasi Spark. Pisahkan konfigurasi dengan spasi, seperti spark.sql.catalog.paimon.metastore dlf.

Secara default, sesi SQL akan otomatis masuk ke status mulai. Setelah status sesi SQL berubah dari Mulai menjadi Berjalan, sesi SQL berhasil dibuat. Anda dapat menghentikan, memodifikasi, atau menghapus sesi SQL sesuai kebutuhan bisnis.

Lihat pekerjaan yang dijalankan menggunakan sesi tertentu

Anda dapat melihat pekerjaan yang dijalankan menggunakan sesi tertentu di halaman Sesi. Langkah-langkahnya adalah sebagai berikut:

1. Di halaman Sessions, klik nama sesi yang diinginkan.

2. Di halaman yang muncul, klik tab Execution Records.

   Di tab Execution Records, Anda dapat melihat detail pekerjaan seperti ID jalur dan waktu mulai, serta mengakses Spark UI melalui tautan di kolom Spark UI.

Referensi

• Untuk informasi tentang operasi terkait antrian sumber daya, lihat Kelola Antrian Sumber Daya.

• Untuk informasi tentang peran dan izin yang didukung oleh sesi, lihat Kelola Pengguna dan Peran.

• Untuk informasi tentang cara mengembangkan pekerjaan SQL, lihat Memulai dengan Pekerjaan SQL.