DataWorks:Node SQL MaxCompute

Batasan

Batasan berikut berlaku untuk pengembangan SQL di node SQL MaxCompute:

Catatan

• Pastikan akun yang digunakan untuk menjalankan tugas SQL MaxCompute memiliki izin yang diperlukan pada proyek MaxCompute terkait. Untuk informasi lebih lanjut, lihat Kontrol akses DataWorks On MaxCompute dan Otorisasi MaxCompute.

• Eksekusi tugas SQL MaxCompute bergantung pada kuota resource. Jika tugas Anda memerlukan waktu lama untuk dijalankan, buka konsol MaxCompute untuk memeriksa konsumsi kuota resource dan pastikan tersedia resource yang cukup untuk eksekusi tugas. Untuk informasi lebih lanjut, lihat Lihat konsumsi kuota resource.

• Saat mengembangkan tugas node SQL MaxCompute, parameter khusus seperti path OSS harus diapit tanda kutip ganda. Kurangnya tanda kutip dapat menyebabkan exception parsing tugas, yang mengakibatkan kegagalan eksekusi tugas.

• Saat menjalankan pernyataan terkait kata kunci (SET, USE) di lingkungan berbeda pada DataWorks, urutan eksekusi berbeda-beda. Untuk informasi lebih lanjut, lihat Lampiran 1: Urutan eksekusi SQL di lingkungan berbeda.

• Dalam beberapa kasus ekstrem, seperti mati listrik server atau alih bencana primary/secondary, DataWorks mungkin tidak dapat sepenuhnya menghentikan tugas MaxCompute terkait. Dalam situasi ini, buka proyek MaxCompute terkait untuk menghentikan pekerjaan.

• Saat tujuan utama tugas adalah membuat tabel baru (misalnya, DROP TABLE diikuti oleh CREATE TABLE AS SELECT), mesin MaxCompute melakukan pemeriksaan metadata sebelum eksekusi. Jika tabel sudah ada, error langsung dikembalikan. Untuk pembuatan tabel awal, gunakan CREATE TABLE IF NOT EXISTS. Untuk penulisan data selanjutnya, gunakan INSERT OVERWRITE TABLE ... SELECT ... sebagai gantinya.

• Anda dapat mengontrol mode eksekusi SQL dengan mengatur parameter odps.task.sql.realtime. Tetapkan nilai ke true untuk mengaktifkan mode Online guna eksekusi real-time, atau tetapkan nilai ke false untuk memaksa mode Offline. Tempatkan parameter ini di awal kode SQL Anda, sebelum pernyataan SQL bisnis. Contoh:

  SET odps.task.sql.realtime=true;
  -- Pernyataan SQL bisnis Anda
  SELECT * FROM my_table;

• Modifikasi langsung tipe data kolom dari STRING ke tipe kompleks seperti STRUCT tidak didukung. Jika error ODPS-0130071 dikembalikan, periksa apakah konversi tipe bidang mematuhi aturan semantik dan hindari operasi konversi tipe yang tidak didukung.

Buat node SQL MaxCompute

Untuk informasi tentang cara membuat node, lihat Buat node SQL MaxCompute.

Kembangkan node SQL MaxCompute

Di halaman pengeditan node SQL MaxCompute, lakukan operasi berikut.

-- Buat tabel partisi bernama students
CREATE TABLE IF NOT EXISTS students
( id BIGINT,
  name STRING,
  age BIGINT,
  birth DATE)
partitioned BY (gender STRING); 

-- Masukkan data
INSERT OVERWRITE students PARTITION(gender='boy') VALUES (1,'ZhangSan',15,DATE '2008-05-15') ;

-- Bandingkan kolom DDL
INSERT OVERWRITE TABLE dws_user_info_all_di PARTITION (dt='${workflow.var}')
SELECT COALESCE(a.uid, b.uid) AS uid
    , b.gender
    , b.age_range
    , b.zodiac
    , a.region
    , a.device
    , a.identity
    , a.method
    , a.url
    , a.referer
    , a.time
-- ...Klausa FROM/JOIN dan lainnya dihilangkan di sini. Lengkapi sesuai kebutuhan bisnis aktual Anda.
;

-- (Opsional) Aktifkan pemindaian tabel penuh di tingkat proyek. Operasi ini memerlukan izin tingkat tinggi.
-- SETPROJECT odps.sql.allow.fullscan=true;  
-- Aktifkan pemindaian tabel penuh di tingkat sesi. Pengaturan ini hanya berlaku untuk sesi saat ini.
SET odps.sql.allow.fullscan=true; 
-- Kueri informasi semua siswa laki-laki dan urutkan hasil berdasarkan ID secara ascending.
SELECT * FROM students WHERE gender='boy' ORDER BY id;

Debug node SQL MaxCompute

1. Konfigurasikan parameter terkait di panel Run Configuration di sisi kanan halaman pengeditan node.

   Parameter	Deskripsi
   Resource komputasi	Pilih resource komputasi MaxCompute yang telah Anda asosiasikan dengan ruang kerja.
   Kuota komputasi	Pilih kuota komputasi untuk menyediakan resource komputasi (CPU dan memori) yang diperlukan bagi pekerjaan komputasi. Jika tidak tersedia kuota komputasi, klik Create Compute Quota dalam daftar drop-down dan buat kuota di konsol MaxCompute. Untuk informasi lebih lanjut, lihat Buat kuota komputasi.
   Kelompok sumber daya	Pilih kelompok sumber daya penjadwalan yang telah lulus uji konektivitas dengan resource komputasi. Untuk informasi lebih lanjut, lihat Kelompok sumber daya untuk penjadwalan.

2. Di dialog parameter pada bilah alat, pilih sumber data MaxCompute yang telah Anda buat, lalu klik Run untuk menjalankan tugas SQL MaxCompute.

Lihat hasil

• Hasil ditampilkan dalam format spreadsheet. Anda dapat melakukan operasi di DataWorks, membuka hasil di spreadsheet, atau menyalin dan menempel konten ke file Excel lokal.

  Catatan

  Karena perubahan informasi zona waktu Tiongkok yang dirilis oleh Organisasi Internasional untuk Standardisasi (ISO), perbedaan tampilan tanggal dapat terjadi untuk periode waktu tertentu saat Anda menjalankan pernyataan SQL terkait melalui DataWorks: perbedaan 5 menit 52 detik untuk tanggal antara 1900 dan 1928, dan perbedaan 9 detik untuk tanggal sebelum 1900.

• Log runtime: Di tab hasil, klik tautan Logview untuk melihat log. Untuk informasi lebih lanjut, lihat LogView.

• Urutkan hasil: Di halaman hasil, klik menu drop-down pada header kolom terkait, pilih urutan ascending atau descending di bagian Sort, lalu klik konfirmasi untuk mengurutkan hasil.

• Lihat kolom BLOB: MaxCompute mendukung tipe data BLOB untuk menyimpan objek biner seperti gambar dan file audio. Di hasil, klik ganda sel dengan tipe data ini untuk melihat pratinjau konten di dialog Current Field Value (gambar dirender langsung; teks ditampilkan dalam mode read-only). Anda dapat beralih antara Blob View, Text View, dan JSON View menggunakan tombol di bagian bawah dialog.

• Tampilan notasi ilmiah: Di lingkungan pengembangan data DataWorks, nilai numerik dalam hasil kueri mungkin ditampilkan dalam notasi ilmiah. Ini merupakan masalah tampilan frontend dan tidak memengaruhi nilai data aktual. Untuk memastikan nilai numerik ditampilkan sesuai harapan, gunakan fungsi CAST dalam SQL Anda untuk mengonversi tipe data secara manual. Misalnya, gunakan CAST(column_name AS STRING) untuk mengonversi nilai numerik ke string untuk tampilan. Anda juga dapat memverifikasi akurasi data di modul DataAnalysis.

Langkah selanjutnya

• Konfigurasikan pengaturan jadwal: Jika node dalam direktori proyek perlu dijadwalkan secara berkala, konfigurasikan Scheduling Policy dan properti penjadwalan terkait di panel Scheduling Settings di sisi kanan node.

• Deploy node: Jika tugas perlu diterapkan ke lingkungan produksi, klik ikon di halaman untuk memulai proses deployment. Node dalam direktori proyek hanya dijadwalkan secara berkala setelah diterapkan ke lingkungan produksi.

Lampiran 1: Urutan eksekusi SQL di lingkungan berbeda

Saat Anda menjalankan pernyataan terkait kata kunci (SET, USE) di lingkungan DataWorks berbeda untuk node SQL MaxCompute, urutan eksekusi berbeda-beda.

• Menjalankan di Data Studio: Semua pernyataan kata kunci (SET, USE) dalam kode tugas saat ini digabung dan ditempatkan di awal semua pernyataan SQL.

• Menjalankan di lingkungan penjadwalan: Pernyataan dieksekusi sesuai urutan penulisannya.

Asumsikan kode berikut didefinisikan dalam sebuah node.

SET a=b;
CREATE TABLE name1(id string);
SET c=d;
CREATE TABLE name2(id string);

Urutan eksekusi berbeda-beda berdasarkan lingkungan sebagai berikut:

SET a=b;
SET c=d;
CREATE TABLE name1(id string);

SET a=b;
CREATE TABLE name1(id string);

SET a=b;
SET c=d;
CREATE TABLE name2(id string);

SET c=d;
CREATE TABLE name2(id string);

Lampiran 2: Praktik Lakehouse

Untuk membaca dan menulis ke tabel data DLF dalam tugas SQL MaxCompute, gunakan proyek eksternal MaxCompute (External Project). Proyek eksternal memungkinkan akses real-time ke metadata dan data dengan memetakan katalog DLF. Fitur ini mendelegasikan pengelolaan izin ke DLF dan mendukung akses metadata serta operasi baca/tulis pada data yang dikelola DLF yang disimpan di OSS. Untuk informasi lebih lanjut, lihat Proyek eksternal MaxCompute.

FAQ

T: Apakah tabel tujuan dari tugas yang dipicu otomatis harus berupa tabel partisi?

J: Tidak. Tabel tujuan dari tugas yang dipicu otomatis tidak harus berupa tabel partisi. Jika Anda tidak menentukan bidang partisi saat membuat tabel, setiap eksekusi INSERT OVERWRITE akan menimpa seluruh tabel non-partisi.

T: Bagaimana cara menangani error MaxCompute ODPS-0429311?

J: Error ini mungkin terkait dengan parameter input dan cara penulisan SQL node. Penyebab umum adalah beberapa tugas secara konkuren mengeksekusi operasi DDL pada tabel yang sama, menyebabkan konflik metadata. Coba sesuaikan pengaturan terkait (misalnya, atur parameter konkurensi ke false) dan verifikasi apakah masalah telah teratasi.

Referensi

Untuk contoh tugas SQL MaxCompute lebih lanjut, lihat topik berikut:

• Operasi JOIN dalam SQL MaxCompute

• Migrasikan data JSON dari OSS ke MaxCompute

• Analitik batch dan real-time terpadu pada event GitHub

• Konversi alamat IP ke lokasi geografis dengan UDF MaxCompute

• Bangun danau data terpadu MaxCompute menggunakan DataWorks dan DLF

• Optimasi kueri SQL

• Pengelolaan izin berbasis kebijakan untuk pengguna dengan peran bawaan

• Implementasikan kemampuan yang disediakan fungsi GROUP_CONCAT

• Gabungkan file kecil