DataWorks:Pengembangan Notebook Dasar

Prasyarat

Sebelum memulai, pastikan Anda telah:

• DataStudio baru yang diaktifkan di ruang kerja Anda

• Membuat kelompok sumber daya Serverless—diperlukan untuk menjalankan Notebook di lingkungan produksi.

• Membuat instans lingkungan pengembangan pribadi—diperlukan untuk menjalankan dan men-debug Notebook di lingkungan pengembangan. Jika belum membuatnya, lihat Buat instans lingkungan pengembangan pribadi.

Langkah-langkah

1. Buat node Notebook Di Data Studio, buat node Notebook di bawah Workspace Directories. Masukkan nama seperti hello_notebook, lalu kirimkan.

2. Personal Development Environment Di bilah navigasi atas, klik Personal Development Environment dan pilih instans lingkungan pengembangan pribadi Anda dari daftar drop-down.

3. Definisikan variabel Python Tambahkan sel Python dan masukkan kode berikut. Ini mendefinisikan variabel city untuk kueri SQL pada langkah berikutnya.

   # Definisikan variabel untuk kueri SQL berikutnya
   city = 'Beijing'
   print(f"Variabel city telah ditetapkan: city = {city}")

4. Tulis sel SQL yang mereferensikan variabel tersebut Di bawah sel Python, tambahkan sel SQL. Di pojok kanan bawah sel, ubah tipe SQL menjadi MaxCompute SQL, lalu masukkan:

   -- Kueri menggunakan variabel yang didefinisikan di Python
   SELECT '${city}' AS city;

   Sintaks ${city} secara otomatis mengambil nilai dari sel Python di atasnya.

5. Jalankan semua sel dan verifikasi output Klik Run All di bilah alat Notebook. Dua hal terjadi:

   • Sel Python mencetak Variabel city telah ditetapkan: city = Beijing.

   • Sel SQL menampilkan hasil kueri dalam bentuk tabel di bawahnya.

Anda telah membuat dan menjalankan Notebook yang meneruskan data antara Python dan SQL.

Lingkungan pengembangan vs. lingkungan produksi

Sumber daya komputasi dan kernel

• Sumber daya komputasi: Mesin komputasi backend yang terhubung ke Notebook—misalnya, MaxCompute atau EMR Serverless Spark. Sel SQL harus diikat ke sumber daya komputasi agar dapat dijalankan.

• Kernel Python: Lingkungan backend yang mengeksekusi kode Python—biasanya instans lingkungan pengembangan pribadi Anda. Gunakan Magic Commands seperti %odps di sel Python untuk terhubung ke sumber daya komputasi, mengirimkan tugas, atau memanipulasi data.

Jenis folder

Lokasi pembuatan Notebook menentukan model kolaborasi, izin, dan jalur penerapannya.

Atur sel

Teruskan parameter antar sel

# Sel Python
table_name = "dwd_user_info_d"
limit_num = 10

-- Sel SQL
SELECT * FROM ${table_name} LIMIT ${limit_num};

Dari SQL ke Python

Saat sel SQL mengeksekusi kueri SELECT, hasilnya secara otomatis disimpan sebagai variabel DataFrame. Akses variabel tersebut di sel Python berikutnya.

• Nama variabel: Secara default diawali dengan df_. Klik nama tersebut di pojok kiri bawah sel SQL untuk mengganti namanya.

• Tipe variabel: Bergantung pada mesin SQL. Klik label DataFrame di pojok kiri bawah untuk mengganti tipe jika beberapa tipe didukung.

Mesin SQL	Tipe yang didukung
MaxCompute SQL	Pandas DataFrame, MaxCompute MaxFrame
AnalyticDB for Spark SQL	Pandas DataFrame, PySpark MaxFrame
Tipe SQL lainnya	Pandas DataFrame

Penting

Jika sebuah sel berisi beberapa pernyataan SQL, hanya hasil dari pernyataan terakhir yang disimpan ke variabel DataFrame.

Contoh:

Gunakan DataWorks Copilot

DataWorks Copilot adalah asisten pemrograman AI bawaan yang menghasilkan dan menjelaskan kode. Untuk membukanya:

• Klik ikon Copilot di pojok kiri atas sel yang dipilih.

• Klik kanan di dalam sel SQL dan pilih Copilot.

• Tekan Cmd+I (Mac) atau Ctrl+I (Windows).

1. Siapkan penjadwalan berparameter

Penjadwalan berparameter memungkinkan Notebook menerima nilai berbeda pada setiap eksekusi—berguna untuk memproses data dari partisi harian berbeda tanpa mengubah kode.

Kapan menggunakan ini: Konfigurasikan penjadwalan berparameter ketika Notebook Anda perlu memproses irisan data berbeda tiap kali dijalankan, misalnya membaca partisi kemarin setiap hari.

1. Di sel Python yang berisi definisi parameter Anda, klik ... di pojok kanan atas sel dan pilih Mark Cell as Parameters. Tag parameters muncul, menandainya sebagai titik masuk parameter.

   

2. Di panel kanan, klik Scheduling, lalu perluas Scheduling Parameters. Tetapkan nilai untuk variabel (seperti var) yang didefinisikan dalam kode Anda.

   

Saat runtime, sistem penjadwalan mengganti variabel dalam kode Anda dengan nilai yang dikonfigurasi.

2. Konfigurasikan lingkungan runtime

1. Pilih gambar: Di Scheduling, pilih gambar yang mencakup semua dependensi Python yang dibutuhkan Notebook. Jika Anda menginstal paket di instans lingkungan pengembangan pribadi menggunakan pip install, buat gambar DataWorks dari lingkungan tersebut dan pilih di sini.

2. Pilih kelompok sumber daya: Pilih kelompok sumber daya untuk mengeksekusi tugas. Untuk kelompok sumber daya Serverless, konfigurasikan tidak lebih dari 16 CU untuk menghindari kegagalan startup. Satu tugas mendukung maksimal 64 CU.

3. Asosiasikan peran RAM (opsional): Untuk menerapkan kontrol izin detail halus, asosiasikan peran Resource Access Management (RAM) dengan node tersebut. Node akan dijalankan dengan identitas peran tersebut. Untuk detailnya, lihat Konfigurasikan peran terasosiasi untuk node.

3. Terapkan node

Hanya node di Workspace Directories yang dapat diterapkan dan dijadwalkan secara berkala.

• Notebook di Workspace Directory: Klik Deploy di bilah alat.

• Notebook di Personal Directory: Klik Save, lalu klik Commit to Workspace Directory, kemudian terapkan.

Setelah diterapkan, pantau dan kelola tugas Notebook di halaman Auto Triggered Nodes di Operation Center.