DataWorks：Kembangkan dengan Notebook

Sel SQL

Anda dapat menulis berbagai jenis skrip SQL di dalam sel. Setelah menjalankan skrip SQL, hasilnya akan ditampilkan di bawah sel tersebut.

• Skenario 1: Jika SQL tidak mengandung pernyataan SELECT, hanya log eksekusi yang ditampilkan secara default setelah sel dijalankan.

  CREATE TABLE IF NOT EXISTS product (
      product_id BIGINT,
      product_name STRING,
      product_type STRING,
      price DECIMAL(10, 2)
  )
  LIFECYCLE 30; -- Siklus hidup data adalah 30 hari. Data akan dihapus secara otomatis setelah periode ini. Pengaturan ini bersifat opsional.

• Skenario 2: Jika SQL mengandung pernyataan SELECT, log eksekusi akan ditampilkan, dan hasilnya dapat dilihat dalam dua cara: sebagai tabel atau sebagai grafik visual. Sistem juga secara otomatis membuat variabel DataFrame dari hasil kueri.

  SELECT 
  product_id,
  product_name,
  product_type,
  price 
  FROM product;

  • Buat objek data DataFrame:

    Sel SQL secara otomatis menghasilkan variabel return. Anda dapat mengklik nama variabel df_* di pojok kiri bawah sel SQL untuk mengganti nama variabel DataFrame yang dihasilkan.

    

  • Lihat tabel hasil kueri SQL: Setelah kueri SQL dijalankan, hasilnya ditampilkan dalam bentuk tabel secara default di area log.

    Hasil kueri SQL ditampilkan dalam bentuk tabel di area log secara default.

    

  • Lihat grafik visual untuk kueri SQL

    Setelah kueri SQL dijalankan, klik ikon di sebelah kiri area log untuk melihat grafik visual dari data yang dihasilkan oleh kueri tersebut.

    

Sel Python

Anda dapat menulis skrip Python di dalam sel. Setelah menjalankan skrip Python, hasilnya akan dicetak di bawah sel tersebut.

• Skenario 1: Cetak hanya keluaran teks.

  print("Hello World")

• Skenario 2: Gunakan Pandas DataFrame.

  import pandas as pd
  
  # Definisikan data produk, termasuk detail: nama produk, wilayah, dan frekuensi login.
  product_data = {
      'Product_Name': ['DataWorks', 'RDS MySQL', 'EMR Spark', 'MaxCompute'],
      'Product_Region': ['Tiongkok Timur 2 (Shanghai)', 'Tiongkok Utara 2 (Beijing)', 'Tiongkok Selatan 1 (Shenzhen)', 'Hong Kong'],
      'Login_Frequency': [33, 22, 11, 44]
  }
  
  # Buat DataFrame dari data yang diberikan.
  df_products = pd.DataFrame(product_data)
  
  # Cetak DataFrame untuk menampilkan informasi produk.
  print(df_products)

  

• Skenario 3: Buat grafik.

  import matplotlib.pyplot as plt
  
  # Data
  categories = ['DataWorks', 'RDS MySQL', 'MaxCompute', 'EMR Spark', 'Hologres']
  values = [23, 45, 56, 78, 30]
  
  # Buat grafik batang
  plt.figure(figsize=(10, 6))
  plt.bar(categories, values, color=['blue', 'green', 'red', 'purple', 'orange'])
  
  # Tambahkan judul dan label
  plt.title('Contoh Grafik Batang')
  plt.xlabel('kategori')
  plt.ylabel('nilai')
  
  # Tampilkan grafik
  plt.show()

  

Sel Markdown

• Setelah selesai menulis, klik ikon untuk menampilkan teks Markdown yang telah diformat.

  # Notebook DataWorks

Skenario 1: Membuat koneksi Sesi MaxCompute MaxFrame

Saat mengembangkan di sel Python, Anda dapat menggunakan Perintah Magic bawaan berikut untuk membuka pemilih sumber daya komputasi MaxCompute dan mengakses layanan MaxCompute MaxFrame.

• Gunakan Perintah Magic untuk menyambungkan dan mengakses Sesi MaxCompute MaxFrame.

  mf_session = %maxframe

• Gunakan Perintah Magic di sel Python untuk melepaskan koneksi MaxCompute MaxFrame:

  mf_session.destroy()

Skenario 2: Menyambungkan ke sumber daya komputasi MaxCompute

Saat mengembangkan di sel Python, Anda dapat menggunakan Perintah Magic bawaan berikut untuk membuka pemilih sumber daya komputasi MaxCompute. Hal ini memungkinkan Anda berinteraksi dengan MaxCompute menggunakan Python untuk operasi seperti pemuatan data, kueri, dan operasi DDL.

1. Gunakan Perintah Magic untuk membuat koneksi MaxCompute.

   Memasukkan perintah berikut di dalam sel akan membuka pemilih sumber daya komputasi MaxCompute.

   o=%odps 

2. Gunakan sumber daya komputasi MaxCompute yang diperoleh untuk menjalankan skrip PyODPS.

   Sebagai contoh, untuk mengambil semua tabel di proyek saat ini:

   with o.execute_sql('show tables').open_reader() as reader:
       print(reader.raw)

Buat sumber daya Python baru

1. Tambahkan file sumber daya Python.

   1. Buka halaman Ruang Kerja DataWorks. Di bilah navigasi atas, alihkan ke wilayah tujuan. Temukan ruang kerja yang telah dibuat dan klik Quick Access > Data Studio di kolom Actions untuk membuka DataStudio.

   2. Di panel navigasi sebelah kiri, klik untuk membuka Manajemen Sumber Daya.

   3. Di halaman Resource Management, klik tombol New atau . Anda juga dapat terlebih dahulu Create a Folder untuk mengorganisasi sumber daya Anda, lalu klik kanan folder tersebut dan pilih New untuk memilih jenis sumber daya atau fungsi spesifik yang akan dibuat.

   4. Buat sumber daya Python MaxCompute.

      Dalam contoh ini, sumber daya Python diberi nama hello.py.

2. Edit konten file sumber daya Python. Berikut adalah contoh kodenya:

   # your_script.py
   def greet(name):
       print(f"Hello, {name}!")

   Setelah mengedit, klik Save untuk menyimpan kode Python.

3. Setelah mengedit dan menyimpan kode, klik ikon untuk meng-commit sumber daya hello.py.

4. Setelah sumber daya di-commit, klik ikon untuk mempublikasikan sumber daya hello.py ke lingkungan pengembangan dan produksi.

Referensikan sumber daya Python

1. Tambahkan node Notebook. Untuk informasi lebih lanjut, lihat Buat node Notebook.

2. Tambahkan sel Python ke Notebook. Untuk informasi lebih lanjut, lihat Tambahkan sel.

   Di sel Python, tulis ##@resource_reference{"hello.py"} untuk mereferensikan sumber daya Python MaxCompute baru. Berikut adalah contoh kodenya:

   # Komentar ini mereferensikan sumber daya Python bernama hello.py selama penjadwalan.
   ##@resource_reference{"hello.py"}
   
   import sys
   import os
   
   # Tambahkan direktori kerja saat ini ke path.
   sys.path.append(os.path.abspath('./hello.py'))  # Atau gunakan path relatif, sesuaikan jika diperlukan.
   from hello import greet  # Ganti dengan nama fungsi yang sebenarnya.
   greet('DataWorks')
   

3. Setelah menulis kode di sel Python dan mengonfigurasi penjadwalan node, simpan dan publikasikan node Notebook.

4. Buka Operation Center (Workflow). Di halaman Recurring Task O&M > Auto Triggered Tasks, temukan node Notebook yang telah dipublikasikan. Di kolom Aksi, klik Isi Ulang Data untuk melakukan pengisian ulang data untuk node Notebook tersebut. Untuk informasi lebih lanjut tentang pengisian ulang data, lihat Lakukan pengisian ulang data dan lihat instans pengisian ulang data (versi baru).

5. Setelah pengisian ulang data selesai, Anda dapat melihat log eksekusi node Notebook untuk memastikan apakah sel Python berhasil dieksekusi.

Menyambungkan ke sumber daya komputasi menggunakan Python

Di sel Python Notebook, Anda dapat menggunakan perintah berikut untuk membuat, menyambungkan, atau melepaskan layanan Livy pada sumber daya komputasi target secara cepat.

Kirim dan eksekusi kode Spark menggunakan Python

Anda dapat menambahkan sel Python di Notebook untuk mengedit dan mengeksekusi kode PySpark.

1. Pastikan Anda telah tersambung ke sumber daya komputasi target. Di sel Python sebelumnya, Anda harus telah menggunakan Perintah Magic (seperti %emr_serverless_spark atau %maxcompute_spark) untuk menyambungkan ke sumber daya komputasi target. Untuk informasi lebih lanjut, lihat Menyambungkan ke sumber daya komputasi menggunakan Python.

2. Tulis kode PySpark.

   Di sel Python baru, tambahkan perintah %%spark untuk menggunakan sumber daya komputasi Spark yang telah disambungkan pada langkah sebelumnya, lalu edit kode PySpark Anda. Contohnya:

   %%spark
   spark.sql("DROP TABLE IF EXISTS dwd_user_info_d")
   spark.sql("CREATE TABLE dwd_user_info_d(id STRING, name STRING, age BIGINT, city STRING)")
   spark.sql("INSERT INTO dwd_user_info_d SELECT '001', 'Jack', 30, 'Beijing'")
   spark.sql("SELECT * FROM dwd_user_info_d").show()
   spark.sql("SELECT COUNT(*) FROM dwd_user_info_d").show()

   Catatan

   • Jika sel Python menyertakan perintah %%spark, sel tersebut dapat tersambung dan berjalan pada mesin Spark sumber daya komputasi target.

   • Jika sel Python tidak menyertakan perintah %%spark, sel tersebut hanya dapat berjalan di lingkungan lokal.