E-MapReduce：Mengelola sesi notebook

Create a notebook session

Setelah membuat sesi notebook, Anda dapat memilihnya untuk pengembangan notebook.

1. Buka halaman Notebook Sessions.

   1. Login ke EMR console.

   2. Pada panel navigasi di sebelah kiri, pilih EMR Serverless > Spark.

   3. Pada halaman Spark, klik nama ruang kerja yang dituju.

   4. Pada halaman EMR Serverless Spark, pilih Sessions pada panel navigasi di sebelah kiri.

   5. Klik tab Notebook Session.

2. Pada halaman Notebook Session, klik Create Notebook Session.

3. Pada halaman Create Notebook Session, konfigurasikan parameter dan klik Create.

   Penting

   Atur konkurensi maksimum antrian deployment yang dipilih ke nilai yang lebih besar dari atau sama dengan ukuran resource yang dibutuhkan oleh sesi notebook. Nilai spesifiknya ditampilkan di Konsol.

   Parameter	Description
   Name	Nama sesi notebook baru. Nama harus terdiri dari 1 hingga 64 karakter dan hanya boleh berisi huruf, angka, tanda hubung (-), garis bawah (_), dan spasi.
   Resource Queue	Pilih antrian untuk menerapkan sesi. Anda hanya dapat memilih antrian development atau antrian yang digunakan bersama oleh lingkungan development dan produksi. Untuk informasi selengkapnya tentang antrian, lihat Manage resource queues.
   Engine Version	Versi engine untuk sesi saat ini. Untuk informasi selengkapnya tentang versi engine, lihat Engine versions.
   Use Fusion Acceleration	Fusion Engine dapat mempercepat beban kerja Spark dan mengurangi total biaya tugas. Untuk informasi penagihan, lihat Billing. Untuk informasi selengkapnya tentang Fusion Engine, lihat Fusion Engine.
   Runtime Environment	Pilih lingkungan kustom yang dibuat pada halaman Runtime Environments. Saat sesi notebook dimulai, sistem akan menginstal library terkait berdasarkan lingkungan yang dipilih. Catatan Anda hanya dapat memilih runtime environment yang berstatus Ready.
   Automatic Stop	Diaktifkan secara default. Atur waktu kustom setelah periode tidak aktif, sesi notebook akan berhenti secara otomatis.
   Network Connection
   Mount Integrated File Directory	Fitur ini dinonaktifkan secara default. Untuk menggunakan fitur ini, tambahkan terlebih dahulu direktori file pada halaman Files di tab Integrated File Directory. Untuk informasi selengkapnya, lihat Integrated file directory. Jika diaktifkan, sistem akan memasang direktori file terintegrasi ke resource sesi. Hal ini memungkinkan Anda membaca dan menulis file dalam direktori tersebut secara langsung dari dalam sesi notebook. Operasi mount mengonsumsi sejumlah resource komputasi Driver tertentu. Resource yang dikonsumsi adalah nilai terbesar dari dua nilai berikut: Resource tetap: 0,3 core CPU + 1 GB memori. Resource dinamis: 10% dari resource spark.driver (yaitu 0,1 × spark.driver core dan memori). Sebagai contoh, jika spark.driver dikonfigurasi dengan 4 core CPU dan 8 GB memori, maka resource dinamisnya adalah 0,4 core CPU + 0,8 GB memori. Dalam kasus ini, resource yang benar-benar dikonsumsi adalah max(0,3 Core + 1GB, 0,4 Core + 0,8GB), yaitu 0,4 core CPU + 1 GB memori. Catatan Setelah Anda mengaktifkan mounting, direktori tersebut hanya dipasang ke driver secara default. Untuk memasang direktori tersebut juga ke executor, aktifkan Mount to Executor. Penting Setelah Anda memasang direktori file NAS terintegrasi, Anda harus mengonfigurasi koneksi jaringan. VPC dari koneksi jaringan harus sama dengan VPC tempat Titik pemasangan NAS berada.
   Mount to Executor	Jika diaktifkan, sistem akan memasang direktori file terintegrasi ke executor sesi. Hal ini memungkinkan Anda membaca dan menulis file dalam direktori tersebut secara langsung dari executor sesi notebook. Operasi mount mengonsumsi resource executor. Persentase resource yang dikonsumsi bervariasi tergantung pada penggunaan file dalam direktori yang dipasang.
   spark.driver.cores	Jumlah core CPU yang digunakan oleh proses driver dalam aplikasi Spark. Nilai default-nya adalah 1 CPU.
   spark.driver.memory	Jumlah memori yang dapat digunakan oleh proses driver dalam aplikasi Spark. Nilai default-nya adalah 3,5 GB.
   spark.executor.cores	Jumlah core CPU yang dapat digunakan oleh setiap proses executor. Nilai default-nya adalah 1 CPU.
   spark.executor.memory	Jumlah memori yang dapat digunakan oleh setiap proses executor. Nilai default-nya adalah 3,5 GB.
   spark.executor.instances	Jumlah executor yang dialokasikan oleh Spark. Nilai default-nya adalah 2.
   Dynamic Resource Allocation	Fitur ini dinonaktifkan secara default. Setelah Anda mengaktifkan fitur ini, konfigurasikan parameter berikut: Minimum Number of Executors: Nilai default-nya adalah 2. Maximum Number of Executors: Jika spark.executor.instances tidak diatur, nilai default-nya adalah 10.
   More memory configurations	spark.driver.memoryOverhead: Memori non-heap yang tersedia untuk setiap driver. Jika parameter ini tidak diatur, Spark secara otomatis mengalokasikan nilai berdasarkan rumus default: max(384 MB, 10% × spark.driver.memory). spark.executor.memoryOverhead: Memori non-heap yang tersedia untuk setiap executor. Jika parameter ini tidak diatur, Spark secara otomatis mengalokasikan nilai berdasarkan rumus default: max(384 MB, 10% × spark.executor.memory). spark.memory.offHeap.size: Ukuran memori off-heap yang tersedia untuk Spark. Nilai default-nya adalah 1 GB. Parameter ini hanya berlaku ketika spark.memory.offHeap.enabled diatur ke true. Secara default, saat Anda menggunakan Fusion Engine, fitur ini diaktifkan dan memori non-heap diatur ke 1 GB.
   Spark configuration	Masukkan informasi konfigurasi Spark. Pisahkan konfigurasi dengan spasi. Contoh: spark.sql.catalog.paimon.metastore dlf.

References

• Untuk informasi selengkapnya tentang operasi antrian, lihat Manage resource queues.

• Untuk informasi selengkapnya tentang peran dan izin sesi, lihat Manage users and roles.

• Untuk contoh lengkap proses pengembangan notebook, lihat Quick Start for notebook development.