AnalyticDB：Mengembangkan Pekerjaan Jupyter Interaktif

Gunakan JupyterLab dalam AnalyticDB for MySQL gambar yang disediakan untuk terhubung ke Spark

1. Instal dan mulai gambar Docker.

2. Tarik gambar Jupyter dari AnalyticDB for MySQL. Jalankan perintah berikut:

   docker pull registry.cn-hangzhou.aliyuncs.com/adb-public-image/adb-spark-public-image:adb.notebook.0.5.pre

3. Mulai lingkungan pengembangan interaktif JupyterLab.

   Sintaks perintah:

   docker run -it 
     -p {Port Host}:8888 
     -v {Path File Host}:{Path File Docker} 
     registry.cn-hangzhou.aliyuncs.com/adb-public-image/adb-spark-public-image:adb.notebook.0.5.pre
     -d {ID Instance ADB} 
     -r {Nama Grup Sumber Daya} 
     -e {Endpoint API} 
     -i {ID AK} 
     -k {Rahasia AK}
     -t {Token Sts} # Pilih salah satu Token Sts atau AK

   Tabel berikut menjelaskan parameter.

   Parameter	Diperlukan	Deskripsi
   -p	Tidak	Memetakan port host ke port kontainer. Tentukan parameter dalam format -p {Port Host}:{Port Kontainer}. Tentukan nilai acak untuk port host dan atur port kontainer menjadi 8888. Contoh: -p 8888:8888.
   -v	Tidak	Jika Anda tidak memasang path host dan menonaktifkan kontainer Docker, file yang sedang diedit mungkin hilang. Setelah Anda menonaktifkan kontainer Docker, kontainer akan mencoba menghentikan semua pekerjaan Spark interaktif yang sedang berjalan. Anda dapat menggunakan salah satu metode berikut untuk mencegah hilangnya file yang sedang diedit: Saat memulai lingkungan pengembangan interaktif JupyterLab, pasang path host ke kontainer Docker dan simpan file pekerjaan di path file yang sesuai. Tentukan parameter dalam format -v {Path Host}:{Path File Docker}. Tentukan nilai acak untuk path file kontainer Docker. Nilai yang direkomendasikan: /root/jupyter. Sebelum Anda menonaktifkan kontainer Docker, pastikan semua file telah disalin dan disimpan. Contoh: -v /home/admin/notebook:/root/jupyter. Dalam contoh ini, file host yang disimpan di path /home/admin/notebook dipasang ke path /root/jupyter dari kontainer Docker. Catatan Simpan file notebook yang sedang diedit ke folder /tmp. Setelah Anda menonaktifkan kontainer Docker, Anda dapat melihat file yang sesuai di path /home/admin/notebook dari host. Setelah Anda mengaktifkan kembali kontainer Docker, Anda dapat melanjutkan eksekusi file. Untuk informasi lebih lanjut, lihat Volumes.
   -d	Ya	ID kluster AnalyticDB for MySQL Enterprise Edition, Basic Edition, atau Data Lakehouse Edition. Anda dapat masuk ke Konsol AnalyticDB for MySQL dan buka halaman Clusters untuk melihat ID kluster.
   -r	Ya	Nama grup sumber daya Job di kluster AnalyticDB for MySQL. Anda dapat masuk ke Konsol AnalyticDB for MySQL, pilih Cluster Management > Resource Management di panel navigasi di sebelah kiri, dan kemudian klik tab Resource Groups untuk melihat nama grup sumber daya.
   -e	Ya	Endpoint kluster AnalyticDB for MySQL. Untuk informasi lebih lanjut, lihat Endpoint.
   -i	Ya (dalam skenario tertentu)	ID AccessKey dan Rahasia AccessKey dari akun Alibaba Cloud atau pengguna RAM Anda. Untuk informasi tentang cara melihat ID AccessKey dan Rahasia AccessKey, lihat Akun dan izin.
   -k
   -t	Ya (dalam skenario tertentu)	Token Layanan Keamanan (STS), yaitu kredensial identitas sementara dari peran RAM. Pengguna RAM dengan izin dapat memanggil operasi API AssumeRole - Dapatkan kredensial identitas sementara dari peran RAM dengan pasangan AccessKey mereka sendiri untuk mendapatkan token STS dari peran RAM dan menggunakan token STS untuk mengakses sumber daya Alibaba Cloud.

   Contoh:

   docker run -it  -p 8888:8888 -v /home/admin/notebook:/root/jupyter registry.cn-hangzhou.aliyuncs.com/adb-public-image/adb-spark-public-image:adb.notebook.0.5.pre -d amv-bp164l******** -r test -e adb.aliyuncs.com -i LTAI**************** -k ****************

   Setelah Anda memulai lingkungan pengembangan interaktif JupyterLab, informasi berikut dikembalikan. Anda dapat menyalin dan menempelkan URL http://127.0.0.1:8888/lab?token=1e2caca216c1fd159da607c6360c82213b643605f11ef291 ke browser Anda dan gunakan JupyterLab untuk terhubung ke AnalyticDB for MySQL Spark.

   [I 2023-11-24 09:55:09.852 ServerApp] nbclassic | ekstensi berhasil dimuat.
   [I 2023-11-24 09:55:09.852 ServerApp] ekstensi sparkmagic diaktifkan!
   [I 2023-11-24 09:55:09.853 ServerApp] sparkmagic | ekstensi berhasil dimuat.
   [I 2023-11-24 09:55:09.853 ServerApp] Menyajikan notebook dari direktori lokal: /root/jupyter
   [I 2023-11-24 09:55:09.853 ServerApp] Jupyter Server 1.24.0 berjalan di:
   [I 2023-11-24 09:55:09.853 ServerApp] http://419e63fc7821:8888/lab?token=1e2caca216c1fd159da607c6360c82213b643605f11ef291
   [I 2023-11-24 09:55:09.853 ServerApp]  atau http://127.0.0.1:8888/lab?token=1e2caca216c1fd159da607c6360c82213b643605f11ef291
   [I 2023-11-24 09:55:09.853 ServerApp] Gunakan Control-C untuk menghentikan server ini dan mematikan semua kernel (dua kali untuk melewati konfirmasi).

   Catatan

   Jika pesan kesalahan muncul saat Anda memulai lingkungan pengembangan interaktif JupyterLab, Anda dapat melihat file proxy_{timestamp}.log untuk pemecahan masalah.

Gunakan Jupyter Notebook yang diinstal secara lokal untuk terhubung ke Spark

jupyter lab

[I 2025-07-02 17:36:16.051 ServerApp] Menyajikan notebook dari direktori lokal: /home/newuser
[I 2025-07-02 17:36:16.052 ServerApp] Jupyter Server 2.16.0 berjalan di:
[I 2025-07-02 17:36:16.052 ServerApp] http://419e63fc7821:8888/lab?token=1e2caca216c1fd159da607c6360c82213b643605f11ef291
[I 2025-07-02 17:36:16.052 ServerApp]     http://127.0.0.1:8888/lab?token=1e2caca216c1fd159da607c6360c82213b643605f11ef291
[I 2025-07-02 17:36:16.052 ServerApp] Gunakan Control-C untuk menghentikan server ini dan mematikan semua kernel (dua kali untuk melewati konfirmasi).

Mulai sumber daya dan tentukan penggunaan ACU maksimum untuk pekerjaan

1. Setelah terhubung ke AnalyticDB for MySQL Spark menggunakan Jupyter, klik PySpark pada halaman untuk membuat pekerjaan PySpark baru. Pekerjaan Spark akan berjalan dengan parameter konfigurasi default berikut:

   {
      "kind": "pyspark",
       "heartbeatTimeoutInSecond": "60",
       "spark.driver.resourceSpec": "medium",
       "spark.executor.resourceSpec": "medium",
       "spark.executor.instances": "1",
       "spark.dynamicAllocation.shuffleTracking.enabled": "true",
       "spark.dynamicAllocation.enabled": "true",
       "spark.dynamicAllocation.minExecutors": "0",
       "spark.dynamicAllocation.maxExecutors": "1",
       "spark.adb.sessionTTLSeconds": "1200"
   }

2. Untuk memodifikasi parameter konfigurasi aplikasi Spark, Anda dapat menggunakan pernyataan %%configure -f.

   1. Mulai ulang kernel.

      Di bilah navigasi atas, pilih Kernel > Restart Kernel and Clear All Outputs. Pastikan tidak ada aplikasi Spark yang sedang berjalan yang ditampilkan di halaman pengembangan Jupyter.

      

   2. Masukkan parameter konfigurasi aplikasi Spark kustom di Jupyter Notebook Cell.

      Penting

      Saat menentukan parameter konfigurasi aplikasi Spark kustom, Anda harus mengatur parameter spark.dynamicAllocation.enabled menjadi false.

      Contoh:

      Konfigurasi ini mengalokasikan 32 Executor untuk pekerjaan Spark, dengan setiap Executor memiliki spesifikasi medium (2 core dan 8 GB memori). Seluruh pekerjaan dapat mengalokasikan total 64 ACU sumber daya komputasi.

      %%configure -f
      {
         "spark.driver.resourceSpec":"large",
         "spark.sql.hive.metastore.version":"adb",
         "spark.executor.resourceSpec":"medium",
         "spark.adb.executorDiskSize":"100Gi",
         "spark.executor.instances":"32",
         "spark.dynamicAllocation.enabled":"false",
         "spark.network.timeout":"30000",
         "spark.memory.fraction":"0.75",
         "spark.memory.storageFraction":"0.3"
      }

      Untuk informasi lebih lanjut tentang parameter konfigurasi aplikasi Spark, lihat Parameter konfigurasi aplikasi Spark dan Situs resmi Spark.

3. Klik tombol untuk memodifikasi parameter konfigurasi aplikasi Spark.

   Penting

   • Setelah Anda menutup halaman Jupyter Notebook, parameter konfigurasi kustom yang ditentukan tidak lagi berlaku. Jika Anda tidak menentukan parameter aplikasi Spark setelah membuka kembali halaman Jupyter Notebook, parameter konfigurasi default digunakan untuk menjalankan pekerjaan Spark.

   • Saat menjalankan pekerjaan Spark di halaman Jupyter Notebook, semua konfigurasi pekerjaan ditulis langsung ke struktur JSON, bukan objek conf dari struktur JSON yang diperlukan saat Anda mengirim pekerjaan batch.

Jalankan pekerjaan

1. Masukkan perintah spark untuk memulai SparkSession.

   Catatan

   Klik Link di nilai pengembalian untuk mengakses antarmuka UI Spark dan melihat informasi seperti log pekerjaan Spark.

2. Jalankan Spark SQL di Jupyter Notebook Cell untuk menanyakan daftar database yang tersedia di kluster AnalyticDB for MySQL.

   Penting

   Anda harus menambahkan %%sql sebelum menjalankan kode Spark SQL, jika tidak akan diurai sebagai kode Python secara default. Anda dapat menjalankan %%help untuk mempelajari lebih lanjut tentang perintah Magic dan penggunaannya.

   %%sql
   show databases

   Hasil kueri sesuai dengan yang ada di AnalyticDB for MySQL.