DataWorks:Pengembangan notebook tingkat lanjut

Mereferensikan resource proyek (file .py)

Untuk membuat kode Anda lebih modular, dapat digunakan ulang, dan mudah dikelola, kelompokkan fungsi atau kelas umum dalam file .py terpisah. Anda kemudian dapat mereferensikan file-file ini sebagai resource MaxCompute menggunakan sintaks ##@resource_reference{"custom_name.py"}.

1. Buat dan terbitkan resource Python

   1. Di panel navigasi kiri DataWorks DataStudio, klik dan buka Resource Management.

   2. Di pohon direktori Resource Management, klik kanan direktori target atau klik + di pojok kanan atas. Pilih New Resource > MaxCompute Python dan beri nama file my_utils.py.

   3. Di bagian Document Content, klik Online Editing, tempel kode fungsi utilitas Anda ke editor kode, lalu klik Save.

      # my_utils.py
      def greet(name):
          return f"Hello, {name} from resource file!"

   4. Di bilah alat, klik Save lalu Publish resource tersebut. Hal ini membuat resource tersedia untuk tugas di lingkungan pengembangan maupun produksi.

2. Mereferensikan resource di notebook

   Di baris pertama sel Python di notebook Anda, gunakan sintaks ##@resource_reference untuk mereferensikan resource yang telah diterbitkan.

   ##@resource_reference{"my_utils.py"}
   # Jika resource berada di subdirektori, misalnya my_folder/my_utils.py, referensikan hanya dengan nama filenya, tanpa path direktori: ##@resource_reference{"my_utils.py"}
   from my_utils import greet
   
   message = greet('DataWorks')
   print(message)

3. Debug di lingkungan pengembangan

   Jalankan sel Python tersebut. Output-nya adalah:

   Hello, DataWorks from resource file!

   Penting

   Saat debugging di lingkungan pengembangan, sistem mendeteksi deklarasi ##@resource_reference dan secara otomatis mengunduh file yang sesuai dari Resource Management ke path workspace/_dataworks/resource_references di direktori pribadi Anda, sehingga kode Anda dapat mengaksesnya.

   Jika terjadi error ModuleNotFoundError, klik tombol Restart di bilah alat editor untuk memuat ulang resource, lalu coba lagi.

4. Terbitkan ke lingkungan produksi dan verifikasi

   Setelah Anda Save dan Publish node notebook, buka Operation and Maintenance Center > Auto Triggered Task lalu klik Test untuk menjalankan tugas tersebut. Setelah tugas berhasil, output Hello, DataWorks from resource file! akan muncul di log.

   Penting

   Jika muncul error There is no file with id ..., pastikan Anda telah menerbitkan resource Python ke lingkungan produksi.

Untuk informasi lebih lanjut, lihat Resource dan fungsi MaxCompute.

Membaca dan menulis dataset (OSS/NAS)

Saat tugas notebook dijalankan, Anda dapat dengan mudah membaca dari dan menulis ke file skala besar yang disimpan di OSS atau NAS.

Untuk informasi lebih lanjut, lihat Menggunakan dataset di lingkungan pengembangan pribadi.

Gunakan parameter ruang kerja

DataWorks menyediakan parameter ruang kerja, yang memperluas parameter penjadwalan yang sudah ada. Parameter ini memungkinkan penggunaan ulang konfigurasi global dan isolasi lingkungan lintas tugas dan node. Anda dapat mereferensikan parameter ruang kerja di sel SQL atau sel Python menggunakan format ${workspace.param}, di mana param adalah nama parameter ruang kerja Anda.

1. Buat parameter ruang kerja: Sebelum memulai, buka Operation and Maintenance Center > Scheduling Settings > Workspace Parameters di DataWorks untuk membuat parameter yang diperlukan.

2. Mereferensikan parameter ruang kerja:

• Mereferensikan parameter ruang kerja di sel SQL.

  SELECT '${workspace.param}';

  Saat sel dijalankan, nilai parameter ruang kerja yang telah diselesaikan akan dicetak.

• Mereferensikan parameter ruang kerja di sel Python.

  print('${workspace.param}')

  Saat sel dijalankan, nilai parameter ruang kerja yang telah diselesaikan akan dicetak.

Untuk detail lebih lanjut, lihat Menggunakan parameter ruang kerja.

Hubungkan ke MaxCompute

• %odps: Dapatkan objek entri PyODPS

  Perintah ini mengembalikan objek PyODPS terotentikasi yang terikat ke proyek MaxCompute saat ini. Metode ini direkomendasikan untuk berinteraksi dengan MaxCompute karena menghindari hard-coding AccessKey di kode Anda.

  1. Gunakan perintah magic untuk membuat koneksi MaxCompute. Masukkan %odps. Pemilih sumber daya komputasi MaxCompute muncul di pojok kanan bawah dan secara otomatis memilih sumber daya komputasi. Klik nama proyek MaxCompute di pojok kanan bawah untuk mengganti proyek.

     o=%odps 

  2. Gunakan sumber daya komputasi MaxCompute yang telah diambil untuk menjalankan skrip PyODPS.

     Contohnya, untuk mendapatkan semua tabel di proyek saat ini:

     with o.execute_sql('show tables').open_reader() as reader:
         print(reader.raw)

• %maxframe: Membuat koneksi MaxFrame

  Perintah ini membuat sesi MaxFrame, yang menyediakan kemampuan pemrosesan data terdistribusi mirip pandas untuk MaxCompute.

  # Hubungkan ke dan akses Sesi MaxFrame MaxCompute
  mf_session = %maxframe
  
  df = mf_session.read_odps_table('your_mc_table')
  print(df.head())
  
  # Setelah pengembangan dan debugging, hancurkan sesi secara manual untuk melepas sumber daya
  mf_session.destroy()

Hubungkan ke sumber daya komputasi Spark

DataWorks Notebook mendukung koneksi ke beberapa mesin Spark. Mesin-mesin ini berbeda dalam metode koneksi, konteks eksekusi, dan manajemen sumber daya.

Hubungkan ke Lindorm Ray

Kelompok sumber daya RAY dari mesin komputasi Lindorm menyediakan layanan komputasi terdistribusi dan mendukung beban kerja AI end-to-end. Anda dapat menggunakan perintah magic untuk terhubung secara mulus ke sumber daya Lindorm Ray di notebook guna pengembangan dan debugging interaktif, lalu menerbitkan notebook tersebut sebagai tugas produksi terjadwal.

1. Buat koneksi: Jalankan perintah %lindorm_ray di sel Python. Pemilih sumber daya komputasi muncul di pojok kanan bawah sel. Pilih sumber daya komputasi Lindorm dan kelompok sumber daya RAY yang telah dibuat.

   # Hubungkan ke kelompok sumber daya Lindorm Ray yang ditentukan.
   %lindorm_ray

   Penting

   • Setelah terhubung ke sumber daya komputasi Lindorm Ray, Anda tidak dapat lagi menjalankan sel SQL di notebook yang sama. Mesin Lindorm Ray hanya mengeksekusi kode Python dan Ray.

   • Jika Anda menjalankan sel kode yang sama beberapa kali, sistem secara otomatis menghentikan pekerjaan Ray sebelumnya dan memulai yang baru. Hal ini membantu mencegah pemborosan sumber daya dan konflik tugas.

2. Eksekusi kode Ray: Setelah koneksi terbentuk, Anda dapat langsung menulis dan mengeksekusi kode Ray di sel Python baru. Log dialirkan kembali ke area output sel secara real time, yang memfasilitasi debugging interaktif.

   Contoh berikut mendefinisikan tugas remote sederhana (menggunakan dekorator @ray.remote) yang dieksekusi di kluster Ray dan mengembalikan log serta hasil akhir ke area output sel.

   import ray
   import time
   
   @ray.remote
   def hello_world():
     print("Hello from Lindorm Ray!")
     time.sleep(5)
     return "Task finished."
   # Kirim tugas remote
   result_ref = hello_world.remote()
   print(ray.get(result_ref))

3. (Opsional) Tentukan parameter startup kustom: Jika Anda perlu menentukan konfigurasi tambahan untuk lingkungan Ray, seperti menginstal paket Python pihak ketiga atau mengunggah file kode lokal, gunakan perintah %%lindorm_ray untuk membuat koneksi.

   • Contoh 1: Instal dependensi

     Gunakan parameter pip untuk menginstal paket jieba di lingkungan Ray.

     %%lindorm_ray
     {
       "runtime_env": {
         "pip": ["jieba"]
       }
     }

     Setelah lingkungan siap, impor dan gunakan paket tersebut di pekerjaan Ray berikutnya. Contoh berikut menunjukkan cara memanggil jieba dalam fungsi remote untuk melakukan segmentasi kata bahasa Tionghoa:

     import ray 
     
     @ray.remote
     def do_work(x):
         import jieba
     
         return "/".join(jieba.cut(x))
     
     print(ray.get(do_work.remote("Welcome to the DataWorks+LindormRay solution")))

   • Contoh 2: Unggah dan gunakan resource DataWorks

     Parameter working_dir digunakan untuk mengunggah resource dari Resource Management DataWorks ke kluster Ray sehingga dapat diimpor dan dipanggil dalam tugas.

     Penting

     • Saat menggunakan working_dir untuk mengunggah resource, file diunggah langsung dari lingkungan pengembangan Anda ke kluster Ray dan tunduk pada batas ukuran 100 MB. Jika paket resource terlalu besar, unggahan mungkin gagal atau node Ray menjadi tidak stabil.

     • Untuk file atau dependensi besar (>100 MB), unggah ke OSS dan akses dari kode Anda, atau kemas ke dalam custom image. Pendekatan ini memberikan stabilitas dan kinerja yang lebih baik.

     # Referensikan resource yang diunggah di Resource Management DataStudio dan deklarasikan path-nya.
     %%lindorm_ray
     {
         "runtime_env": {
             "working_dir": "/mnt/workspace/_dataworks/resource_references"
         }
     }

     Anggap Anda mengunggah file ray_resource.py ke Resource Management di DataStudio. Saat Anda menulis dan mengeksekusi sel berikut, sistem secara otomatis mengurai deklarasi ##@resource_reference di kode berikutnya dan mengunduh resource yang sesuai ke path /mnt/workspace/_dataworks/resource_references.

     Kode contoh untuk ray_resource.py:

     def fun():
         print("This is a test function in ray_resource.py")

     Penting

     Di lingkungan pengembangan, setelah Anda mengeksekusi sel yang berisi ##@resource_reference, Anda harus menjalankan ulang sel %%lindorm_ray di atas untuk mengunggah resource yang telah diunduh di working_dir ke kluster Ray. Di lingkungan produksi, Anda tidak perlu menjalankan ulang.

     import ray 
     
     ##@resource_reference{"ray_resource.py"}
     
     @ray.remote
     def do_work(x):
         print('Ray says:', x)
     
         from ray_resource import fun
         fun()
         return x
     
     worker = do_work.remote("Welcome to the DataWorks+LindormRay solution")
     print(ray.get(worker))

4. Penjadwalan produksi dan O&M: Setelah pengembangan dan debugging selesai, Anda dapat melakukan commit dan menerbitkan node notebook. Node tersebut kemudian akan dijadwalkan secara periodik sebagai node Lindorm Ray dalam DAG.

   • Parameterisasi: Kode Anda dapat menggunakan parameter penjadwalan DataWorks standar, seperti ${bizdate}.

   • Penampilan log: Di lingkungan produksi, untuk mencegah log berlebihan memengaruhi kinerja, sistem hanya memuat 1 MB log pertama secara default. Jika log terpotong, output mencakup tautan yang mengarahkan Anda ke konsol Lindorm untuk melihat log tugas lengkap.

   • Pelepasan sumber daya: Setelah tugas produksi terjadwal selesai, tugas Lindorm Ray memasuki status terminal dan tidak lagi menggunakan sumber daya. Selama pengembangan interaktif, Anda dapat menghentikan tugas Lindorm Ray dengan me-restart kernel atau menutup notebook.

Lampiran: Referensi cepat perintah magic