DataWorks：Pengembangan Notebook

Sebelum memulai, pastikan Anda memenuhi persyaratan berikut:

• Ruang kerja saat ini telah mengaktifkan Data Studio versi baru.

• Kelompok sumber daya serverless telah dibuat. Notebook memerlukan kelompok sumber daya Serverless untuk dijalankan di lingkungan produksi.

• Instans lingkungan pengembangan pribadi telah dibuat. Notebook memerlukan instans lingkungan pengembangan pribadi untuk dijalankan dan di-debug di lingkungan pengembangan.

  Jika belum membuatnya, lihat Buat instans lingkungan pengembangan pribadi.

Prosedur:

1. Buat node Notebook

   1. Di Data Studio, buat node Notebook di bawah Workspace Directories.

   2. Masukkan nama untuk Notebook, misalnya hello_notebook, lalu submit.

2. Pilih lingkungan pengembangan pribadi

   Di bilah navigasi atas, klik Personal Development Environment, lalu pilih instans lingkungan pengembangan pribadi Anda dari daftar drop-down.

3. Tulis sel Python untuk mendefinisikan parameter

   Tambahkan sel Python dan masukkan kode berikut. Langkah ini mendefinisikan variabel kota untuk kueri SQL berikutnya.

   # Definisikan variabel untuk kueri SQL berikutnya
   city = 'Beijing'
   print(f"Variabel kota didefinisikan city = {city}")

4. Tulis sel SQL untuk melakukan kueri data

   1. Di bawah sel pertama, tambahkan sel SQL.

   2. Di pojok kanan bawah sel, ubah tipe SQL menjadi MaxCompute SQL.

   3. Masukkan kode SQL berikut. Kode ini mereferensikan variabel city yang didefinisikan di sel Python sebelumnya menggunakan sintaks ${city}.

      -- Lakukan kueri menggunakan variabel yang didefinisikan di Python  
      SELECT '${city}' AS city;

5. Jalankan sel dan lihat hasilnya

   1. Klik tombol Run All pada bilah alat di bagian atas Notebook.

   2. Amati eksekusi setiap sel:

      • Output di bawah sel Python menampilkan Variabel kota didefinisikan city = Beijing.

      • Hasil kueri ditampilkan dalam bentuk tabel di bawah sel SQL.

Anda kini telah berhasil membuat dan menjalankan Notebook yang mencakup interaksi antara Python dan SQL.

Lingkungan pengembangan vs. lingkungan produksi

Sumber daya komputasi dan kernel

• Sumber daya komputasi: Mesin komputasi backend yang terhubung ke Notebook, seperti MaxCompute atau EMR Serverless Spark. Sel SQL harus diikat ke sumber daya komputasi agar dapat dieksekusi.

• Kernel Python: Lingkungan backend yang mengeksekusi kode Python. Di Notebook DataWorks, ini biasanya merupakan instans lingkungan pengembangan pribadi Anda. Anda dapat menggunakan Magic Commands, seperti %odps, dalam kode Python Anda untuk terhubung ke sumber daya komputasi guna mengirimkan tugas atau memanipulasi data.

Jenis folder dan skenario

Lokasi pembuatan Notebook menentukan model kolaborasi, izin, dan alur penerapannya.

Kelola sel

• Tambah sel: Arahkan kursor ke tepi atas atau bawah sel yang ada dan klik salah satu tombol yang muncul, seperti + SQL. Anda juga dapat menggunakan tombol di bilah alat atas.

• Ubah tipe sel: Klik indikator tipe di pojok kanan bawah sel, seperti Python, lalu pilih tipe baru dari menu, seperti SQL atau Markdown. Saat Anda mengubah tipe, kode dalam sel tetap dipertahankan. Anda harus memodifikasinya secara manual agar sesuai dengan tipe baru.

• Pindahkan sel: Arahkan kursor ke garis vertikal biru di sebelah kiri sel, lalu klik dan seret untuk mengubah urutannya.

• Jalankan sel:

  • Jalankan satu sel: Klik Run.

  • Jalankan semua sel: Klik Run All di bilah alat Notebook.

Melewatkan parameter

Pemrograman berbantuan Copilot

DataWorks Copilot adalah asisten pemrograman cerdas bawaan yang membantu Anda menghasilkan dan menjelaskan kode.

Pemanggilan:

• Klik ikon Copilot di pojok kiri atas sel yang dipilih.

• Klik kanan di dalam sel SQL dan pilih Copilot.

• Gunakan pintasan keyboard Cmd+I (Mac) atau Ctrl+I (Windows).

1. Konfigurasi parameter penjadwalan

Jika Anda memerlukan parameter dalam Notebook berubah secara dinamis untuk setiap eksekusi terjadwal—misalnya memproses data dari partisi berbeda setiap hari—Anda dapat mengatur penjadwalan berparameter.

1. Tandai sel parameter: Di sel Python yang berisi definisi parameter inti, klik menu ... di pojok kanan atas dan pilih Mark Cell as Parameters. Tag parameters kemudian ditambahkan ke sel tersebut, menandainya sebagai titik masuk parameter untuk tugas penjadwalan.

   

2. Konfigurasi parameter penjadwalan:

   1. Di panel kanan Notebook, klik Scheduling.

   2. Di area Scheduling Parameters, tetapkan nilai ke variabel (seperti var) yang didefinisikan dalam kode Anda.

      

Saat tugas dieksekusi secara otomatis oleh sistem penjadwalan, nilai aktual parameter var dalam kode secara dinamis diganti dengan nilai yang dikonfigurasi di parameter penjadwalan.

2. Konfigurasi lingkungan runtime dan sumber daya

1. Konfigurasi citra: Di Scheduling, pilih image yang berisi semua dependensi yang diperlukan agar Notebook dapat dijalankan. Hal ini sangat penting untuk memastikan eksekusi yang sukses di lingkungan produksi.

   Penting

   Jika Anda menginstal paket Python di instans lingkungan pengembangan pribadi menggunakan metode seperti pip install, Anda harus membuat citra DataWorks dari lingkungan pengembangan pribadi tersebut untuk memastikan lingkungan produksi memiliki dependensi yang sama. Kemudian, pilih citra kustom ini di Scheduling. Untuk informasi lebih lanjut, lihat Buat citra DataWorks dari lingkungan pengembangan pribadi.

2. Konfigurasi kelompok sumber daya: Pilih kelompok sumber daya yang akan digunakan untuk mengeksekusi tugas. Untuk kelompok sumber daya Serverless, kami menyarankan mengonfigurasi tidak lebih dari 16 CU untuk mencegah kegagalan startup tugas akibat sumber daya tidak mencukupi. Satu tugas mendukung maksimal 64 CU.

3. Konfigurasi peran terkait: Untuk kontrol izin detail halus, Anda dapat mengaitkan peran RAM tertentu dengan node tersebut. Node tersebut kemudian dijalankan dengan identitas peran tersebut. Untuk informasi lebih lanjut, lihat Konfigurasi peran terkait untuk node.

3. Publikasikan node

Hanya node di direktori ruang kerja yang dapat dipublikasikan dan dijadwalkan secara berkala.

• Untuk Notebook di direktori ruang kerja: Setelah menyelesaikan konfigurasi, klik tombol Publish di bilah alat atas.

• Untuk Notebook di direktori pribadi: Anda harus mengklik tombol Save lalu klik Commit to Workspace Directory sebelum penerapan.

Setelah Notebook dipublikasikan, Anda dapat memantau dan mengelola tugas Notebook Anda di halaman Auto Triggered Nodes di Operation Center.