E-MapReduce:Mengelola session notebook

Create a notebook session

Setelah session notebook dibuat, Anda dapat memilihnya saat mengembangkan notebook.

1. Buka halaman Notebook Sessions.

   1. Login ke EMR console.

   2. Pada panel navigasi kiri, pilih EMR Serverless > Spark.

   3. Pada halaman Spark, klik nama ruang kerja yang dituju.

   4. Pada halaman EMR Serverless Spark, pilih Sessions pada panel navigasi kiri.

   5. Klik tab Notebook Session.

2. Pada halaman Notebook Session, klik Create Notebook Session.

3. Pada halaman Create Notebook Session, konfigurasikan parameter berikut dan klik Create.

   Catatan

   Kami menyarankan agar Anda mengatur konkurensi maksimum antrian sumber daya yang dipilih minimal sebesar jumlah sumber daya yang dibutuhkan oleh session notebook. Nilai ini ditampilkan di Konsol.

   Parameter	Deskripsi
   Name	Nama session notebook baru. Nama harus terdiri dari 1 hingga 64 karakter dan dapat berisi huruf, angka, tanda hubung (-), garis bawah (_), serta spasi.
   Engine Version	Versi engine untuk session tersebut. Untuk informasi lebih lanjut tentang versi engine, lihat Engine version overview.
   Use Fusion Acceleration	Fusion dapat mempercepat beban kerja Spark dan mengurangi total biaya pekerjaan. Untuk informasi penagihan, lihat Product Billing. Untuk informasi lebih lanjut tentang engine Fusion, lihat Fusion engine.
   Resource Queue	Pilih antrian sumber daya untuk session tersebut. Anda hanya dapat memilih antrian yang ditetapkan untuk pengembangan atau penggunaan bersama. Untuk informasi lebih lanjut, lihat Manage resource queues.
   Automatic Stop	Diaktifkan secara default. Anda dapat mengatur berapa lama session boleh menganggur sebelum secara otomatis berhenti.
   spark.driver.cores	Jumlah core untuk proses driver. Nilai default-nya adalah 1.
   spark.driver.memory	Jumlah memori untuk proses driver. Nilai default-nya adalah 3,5 GB.
   spark.executor.cores	Jumlah core untuk setiap proses executor. Nilai default-nya adalah 1.
   spark.executor.memory	Jumlah memori untuk setiap proses executor. Nilai default-nya adalah 3,5 GB.
   spark.executor.instances	Jumlah executor yang dialokasikan oleh Spark. Nilai default-nya adalah 2.
   Dynamic Resource Allocation	Nonaktif secara default. Jika diaktifkan, konfigurasikan parameter berikut: Minimum Number of Executors: Nilai default-nya adalah 2. Maximum Number of Executors: Jika spark.executor.instances tidak diatur, nilai default-nya adalah 10.
   More Memory Configurations	spark.driver.memoryOverhead: Memori non-heap yang tersedia untuk driver. Jika parameter ini tidak diatur, Spark secara otomatis mengalokasikan nilai berdasarkan default, yaitu max(384 MB, 10% * spark.driver.memory). spark.executor.memoryOverhead: Memori non-heap yang tersedia untuk setiap executor. Jika parameter ini tidak diatur, Spark secara otomatis mengalokasikan nilai berdasarkan default, yaitu max(384 MB, 10% * spark.executor.memory). spark.memory.offHeap.size: Jumlah memori off-heap yang tersedia untuk Spark. Nilai default-nya adalah 1 GB. Parameter ini hanya berlaku jika spark.memory.offHeap.enabled diatur ke true. Saat menggunakan engine Fusion, fitur ini diaktifkan secara default dengan memori off-heap sebesar 1 GB.
   Environment	Anda dapat memilih lingkungan kustom yang dibuat pada halaman Environment. Saat session notebook dimulai, sistem akan memasang library dari lingkungan yang dipilih. Catatan Anda hanya dapat memilih runtime environment yang berstatus Ready.
   Network Connection	Pilih koneksi jaringan yang sudah ada untuk mengakses sumber data di VPC atau layanan eksternal. Untuk informasi lebih lanjut tentang cara membuat koneksi jaringan, lihat Network connectivity between EMR Serverless Spark and other VPCs.
   Mount Integrated File Directory	Fitur ini dinonaktifkan secara default. Untuk menggunakan fitur ini, tambahkan direktori file pada halaman Artifacts, di tab Integrated File Directory. Untuk informasi lebih lanjut, lihat Manage the integrated file directory. Jika diaktifkan, sistem akan memasang direktori file terintegrasi ke session, sehingga Anda dapat langsung mengakses file-file di dalamnya. Operasi pemasangan (mount) mengonsumsi sumber daya komputasi driver. Jumlah yang dikonsumsi adalah nilai terbesar dari dua nilai berikut: Sumber daya tetap: 0,3 vCPU + 1 GB memori. Sumber daya dinamis: 10% dari sumber daya spark.driver (yaitu 10% dari core dan memori spark.driver). Sebagai contoh, jika spark.driver dikonfigurasi dengan 4 core dan 8 GB memori, sumber daya dinamisnya adalah 0,4 vCPU + 0,8 GB memori. Dalam kasus ini, sumber daya yang benar-benar dikonsumsi adalah max(0,3 vCPU + 1 GB, 0,4 vCPU + 0,8 GB), yaitu 0,4 vCPU + 1 GB memori. Catatan Mount scope: Secara default, direktori file hanya dipasang ke driver. Untuk memasangnya juga ke executor, aktifkan Mount to Executor. Multiple directories: Anda dapat memasang beberapa direktori file terintegrasi. Namun, direktori CPFS tidak dapat digunakan bersama jenis lainnya. Misalnya, Anda dapat memasang beberapa direktori OSS dan NAS secara bersamaan, tetapi tidak dapat memasang direktori CPFS bersama OSS atau NAS. Network requirements: Saat memasang direktori file NAS atau CPFS, Anda harus mengonfigurasi koneksi jaringan. VPC dari koneksi jaringan tersebut harus sama dengan VPC dari titik pemasangan (mount target) NAS atau CPFS.
   Mount to Executor	Jika diaktifkan, sistem akan memasang direktori file terintegrasi ke executor session, sehingga executor dapat langsung mengakses file-file tersebut. Pemasangan ini mengonsumsi sumber daya executor. Jumlah sumber daya yang dikonsumsi bergantung pada penggunaan file.
   Spark Configuration	Masukkan parameter konfigurasi Spark, dipisahkan dengan spasi. Contoh: spark.sql.catalog.paimon.metastore dlf.

View execution records

Setelah pekerjaan selesai, Anda dapat melihat catatan eksekusinya.

1. Pada halaman SQL Sessions, klik nama session yang diinginkan.

2. Klik tab Execution Records.

   Pada tab ini, Anda dapat melihat detail setiap eksekusi pekerjaan, seperti ID run, waktu mulai, dan tautan ke Spark UI.

   

Related documents

• Untuk informasi tentang operasi antrian sumber daya, lihat Manage resource queues.

• Untuk informasi tentang peran dan izin session, lihat Manage users and roles.

• Untuk contoh end-to-end pengembangan notebook, lihat Get started with notebook development.