DataWorks：Pengembangan Notebook Lanjutan

Debug di lingkungan pengembangan

1. Pasang dataset: Buka halaman detail lingkungan pengembangan pribadi Anda dan konfigurasikan dataset di Storage Configuration > Dataset.

2. Akses data dalam kode Anda: Dataset tersebut dipasang ke suatu path di lingkungan pengembangan pribadi. Anda dapat langsung membaca atau menulis ke path tersebut dalam kode Anda.

   # Asumsikan dataset telah dikonfigurasi dengan path mount /mnt/data/dataset di lingkungan pengembangan pribadi.
   import pandas as pd
   
   # Gunakan path mount secara langsung.
   file_path = '/mnt/data/dataset/testfile.csv'
   df = pd.read_csv(file_path)
   
   # Gunakan PyODPS untuk menulis data ke MaxCompute.
   o = %odps
   o.write_table('mc_test_table', df, overwrite=True)
   print(f"Berhasil menulis data ke tabel MaxCompute mc_test_table.")

Penerapan produksi

1. Pasang dataset: Di panel navigasi kanan editor Notebook, buka Scheduling Configurations > Scheduling Policy lalu tambahkan dataset tersebut.

2. Akses data dalam kode Anda: Setelah Anda mengkomit dan mempublikasikan Notebook, dataset tersebut dipasang ke suatu path di lingkungan produksi. Anda dapat langsung membaca atau menulis ke path tersebut dalam kode Anda.

   # Asumsikan dataset telah dikonfigurasi dengan path mount /mnt/data/dataset.
   import pandas as pd
   
   # Gunakan path mount secara langsung.
   file_path = '/mnt/data/dataset/testfile.csv'
   df = pd.read_csv(file_path)
   
   # Gunakan PyODPS untuk menulis data ke MaxCompute.
   o = %odps
   o.write_table('mc_test_table', df, overwrite=True)
   print(f"Berhasil menulis data ke tabel MaxCompute mc_test_table.")

Bandingkan engine

MaxCompute Spark

Hubungkan ke engine Spark yang tertanam di proyek MaxCompute Anda melalui Livy.

1. Buat koneksi: Jalankan perintah berikut dalam cell Python. Sistem secara otomatis membuat atau menggunakan kembali sesi Spark.

   # Buat sesi Spark.
   %maxcompute_spark

2. Eksekusi kode PySpark: Setelah koneksi berhasil, gunakan magic cell %%spark di cell Python baru untuk mengeksekusi kode PySpark.

   # Saat menggunakan MaxCompute Spark, cell Python harus diawali dengan %%spark.
   %%spark
   
   df = spark.sql("SELECT * FROM your_mc_table LIMIT 10")
   df.show()

3. Lepaskan koneksi secara manual: Setelah pengembangan dan debugging, Anda dapat menghentikan atau menghapus sesi secara manual. Di lingkungan produksi, sistem secara otomatis menghentikan dan menghapus sesi Livy untuk instans tugas saat ini.

   # Bersihkan sesi Spark dan hentikan Livy.
   %maxcompute_spark stop
   
   # Bersihkan sesi Spark, hentikan Livy, lalu hapus Livy.
   %maxcompute_spark delete

EMR Serverless Spark

Berinteraksi dengan EMR Serverless Spark dengan menghubungkan ke Livy Gateway.

1. Buat koneksi: Sebelum menjalankan perintah, pilih resource komputasi EMR dan Livy Gateway di pojok kanan bawah cell.

   # Koneksi dasar
   %emr_serverless_spark
   
   # Atau, teruskan parameter Spark kustom saat menghubungkan. Perhatikan bahwa Anda harus menggunakan dua tanda persen (%%) saat menentukan parameter Spark kustom.
   %%emr_serverless_spark
   {
     "spark_conf": {
       "spark.emr.serverless.environmentId": "<EMR_Serverless_Spark_runtime_environment_ID>",
       "spark.emr.serverless.network.service.name": "<EMR_Serverless_Spark_network_connection_ID>",
       "spark.driver.cores": "1",
       "spark.driver.memory": "8g",
       "spark.executor.cores": "1",
       "spark.executor.memory": "2g",
       "spark.driver.maxResultSize": "32g"
     }
   }

   Catatan

   Hubungan antara parameter kustom dan konfigurasi global

   • Perilaku default: Parameter kustom yang ditentukan di sini hanya berlaku untuk koneksi (sesi) saat ini dan bersifat sekali pakai. Jika Anda tidak memberikan parameter kustom, sistem akan secara otomatis menggunakan parameter global yang dikonfigurasi di Management Center.

   • Penggunaan yang direkomendasikan: Untuk konfigurasi yang perlu digunakan kembali di berbagai tugas atau oleh banyak pengguna, kami menyarankan menyetelnya sebagai parameter global di Management Center > Serverless Spark > SPARK parameters. Ini memastikan konsistensi dan menyederhanakan manajemen.

   • Aturan prioritas: Jika parameter yang sama diatur baik di parameter kustom maupun konfigurasi global, opsi Prioritize Global Configuration di Management Center menentukan parameter mana yang digunakan:

     • Dipilih: Konfigurasi global menggantikan parameter kustom untuk sesi ini.

     • Tidak dipilih: Parameter kustom untuk sesi ini menggantikan konfigurasi global.

2. (Opsional) Sambung ulang: Jika administrator secara tidak sengaja menghapus token di halaman gateway Livy, Anda dapat menggunakan perintah ini untuk membuatnya kembali.

   # Sambung ulang dan segarkan token Livy untuk lingkungan pengembangan pribadi saat ini.
   %emr_serverless_spark refresh_token

3. Eksekusi kode PySpark atau SQL: Setelah koneksi berhasil, kernel beralih. Anda dapat menulis kode PySpark langsung di cell Python atau menulis SQL di cell EMR Spark SQL.

   1. Kirim dan jalankan kode SQL melalui cell EMR Spark SQL

      Setelah Anda membuat koneksi menggunakan %emr_serverless_spark, Anda dapat menulis pernyataan SQL langsung di cell EMR Spark SQL tanpa memilih sumber daya komputasi di dalam cell tersebut.

      Cell EMR Spark SQL menggunakan kembali koneksi dari %emr_serverless_spark dan mengirimkan pekerjaan ke sumber daya komputasi target.

      

   2. Kirim dan jalankan kode PySpark melalui cell Python

      Setelah Anda membuat koneksi menggunakan %emr_serverless_spark, Anda dapat mengirim dan menjalankan kode PySpark di cell Python baru tanpa menambahkan awalan %%spark ke cell tersebut.

      

4. Hentikan koneksi secara manual

   Penting

   Saat beberapa pengguna berbagi satu Livy Gateway, perintah `stop` atau `delete` akan memengaruhi semua pengguna yang sedang menggunakan gateway tersebut. Gunakan perintah ini dengan hati-hati.

   # Bersihkan sesi Spark dan hentikan Livy.
   %emr_serverless_spark stop
   
   # Bersihkan sesi Spark, hentikan Livy, lalu hapus Livy.
   %emr_serverless_spark delete

AnalyticDB for Spark

Hubungkan ke engine AnalyticDB for Spark dengan membuat Spark Connect Server.

1. Buat koneksi: Untuk memastikan konektivitas jaringan, Anda harus mengonfigurasi ID vSwitch dan ID Security Group di parameter koneksi. Sebelum menjalankan perintah, pilih resource komputasi ADB Spark di pojok kanan bawah cell.

   # Anda harus mengonfigurasi ID vSwitch dan ID Security Group untuk membuat koneksi jaringan.
   %adb_spark add \
    --spark-conf spark.adb.version=3.5 \
    --spark-conf spark.adb.eni.enabled=true \
    --spark-conf spark.adb.eni.vswitchId=<vSwitch_ID_of_ADB> \
    --spark-conf spark.adb.eni.securityGroupId=<Security_Group_ID_of_personal_development_environment>

   Cara menemukan ID vSwitch dan ID Security Group

   • ID vSwitch (vswitchId): Buka konsol Alibaba Cloud AnalyticDB for MySQL. Di halaman detail instans, lihat vSwitch ID di bawah Network Information.

   • ID Security Group (securityGroupId): Buka halaman detail lingkungan pengembangan pribadi Anda. Di bawah Network Settings, temukan Security Group yang dipilih dan lihat ID-nya, yang diawali dengan sg-.

     Penting

     Untuk memastikan konektivitas jaringan, kami menyarankan memilih VPC dan vSwitch yang sama dengan instans AnalyticDB for Spark Anda saat membuat lingkungan pengembangan pribadi.

2. Eksekusi kode PySpark: Setelah koneksi berhasil, eksekusi kode PySpark di cell Python baru.

   # Operasi hanya dapat dilakukan pada tabel C-Store.
   df = spark.sql("SELECT * FROM my_adb_cstore_table LIMIT 10")
   df.show()

   Catatan: Engine AnalyticDB for Spark hanya dapat memproses tabel C-Store yang memiliki atribut 'storagePolicy'='COLD'.

3. Lepaskan koneksi secara manual: Setelah debugging di lingkungan pengembangan, bersihkan sesi koneksi secara manual untuk menghemat resource. Di lingkungan produksi, sistem membersihkan resource secara otomatis.

   %adb_spark cleanup