DataWorks:node MaxCompute SQL

Batasan

Node MaxCompute SQL memiliki batasan berikut untuk pengembangan SQL:

Catatan penggunaan

• Pastikan akun yang digunakan untuk menjalankan tugas MaxCompute SQL memiliki izin yang diperlukan pada proyek MaxCompute terkait. Untuk detailnya, lihat Kontrol akses DataWorks On MaxCompute dan Izin MaxCompute.

• Tugas MaxCompute SQL mengonsumsi kuota komputasi. Jika tugas berjalan lama, buka konsol MaxCompute untuk memantau konsumsi kuota dan pastikan sumber daya yang cukup tersedia untuk menjalankan tugas tersebut. Untuk informasi lebih lanjut, lihat Sumber daya komputasi—manajemen kuota.

• Saat mengembangkan tugas node MaxCompute SQL, parameter khusus seperti alamat Object Storage Service (OSS) harus diapit tanda kutip ganda (""). Jika tidak ditambahkan tanda kutip, tugas mungkin gagal mengurai dan menjalankan.

• Urutan eksekusi pernyataan yang mengandung kata kunci seperti SET dan USE bervariasi tergantung lingkungan DataWorks. Untuk informasi lebih lanjut, lihat Lampiran 1: Urutan eksekusi SQL di lingkungan berbeda.

• Dalam beberapa kasus ekstrem, seperti mati listrik server atau alih bencana primary/secondary, DataWorks mungkin tidak dapat sepenuhnya menghentikan tugas MaxCompute terkait. Dalam situasi ini, buka proyek MaxCompute terkait untuk menghentikan pekerjaan.

Buat node MaxCompute SQL

Untuk petunjuknya, lihat Membuat node MaxCompute SQL.

Mengembangkan node MaxCompute SQL

Di halaman pengeditan node, lakukan operasi pengembangan berikut.

-- Buat tabel partisi bernama students.
CREATE TABLE IF NOT EXISTS students
( id BIGINT,
  name STRING,
  age BIGINT,
  birth DATE)
partitioned BY (gender STRING); 

-- Masukkan data.
INSERT OVERWRITE students PARTITION(gender='boy') VALUES (1,'ZhangSan',15,DATE '2008-05-15') ;

-- Bandingkan bidang DDL.
INSERT OVERWRITE TABLE dws_user_info_all_di PARTITION (dt='${workflow.var}')
SELECT COALESCE(a.uid, b.uid) AS uid
    , b.gender
    , b.age_range
    , b.zodiac
    , a.region
    , a.device
    , a.identity
    , a.method
    , a.url
    , a.referer
    , a.time
-- Klausul FROM/JOIN dihilangkan di sini. Tambahkan sesuai logika bisnis Anda.
;

-- (Opsional) Aktifkan pemindaian tabel penuh di tingkat proyek. Operasi ini memerlukan hak istimewa tinggi.
-- SETPROJECT odps.sql.allow.fullscan=true;  
-- Aktifkan pemindaian tabel penuh di tingkat sesi. Ini hanya berlaku untuk sesi saat ini.
SET odps.sql.allow.fullscan=true; 
-- Kueri informasi semua siswa laki-laki dan urutkan hasil berdasarkan ID secara ascending.
SELECT * FROM students WHERE gender='boy' ORDER BY id;

Debug node MaxCompute SQL

1. Di editor node, konfigurasikan parameter di panel Run Configuration di sebelah kanan.

   Parameter	Deskripsi
   Compute Engine	Pilih mesin komputasi MaxCompute yang telah diikat ke ruang kerja Anda.
   Kuota komputasi	Pilih kuota komputasi yang telah Anda buat. Kuota ini menyediakan sumber daya komputasi yang diperlukan, seperti CPU dan memori, untuk pekerjaan komputasi. Jika tidak tersedia kuota komputasi, klik Create Computing Quota dalam daftar drop-down untuk membuka konsol MaxCompute dan mengonfigurasi kuota.
   Kelompok sumber daya	Pilih kelompok sumber daya penjadwalan yang dapat terhubung ke mesin komputasi. Untuk informasi lebih lanjut, lihat Solusi koneksi jaringan.

2. Di kotak dialog parameter pada bilah alat, pilih sumber data MaxCompute yang telah dibuat dan klik Run untuk menjalankan tugas MaxCompute SQL.

Lihat hasil

• Anda dapat membuka hasil dalam spreadsheet atau menyalin kontennya ke file lokal.

  Catatan

  Karena penyesuaian zona waktu historis untuk Tiongkok, kueri SQL di DataWorks mungkin mengembalikan hasil dengan offset waktu untuk periode tertentu. Offset-nya adalah 5 menit 52 detik untuk tanggal dan waktu dari tahun 1900 hingga 1928, dan 9 detik untuk tanggal dan waktu sebelum tahun 1900.

• Untuk melihat log eksekusi, klik tautan LogView di tab . Untuk informasi lebih lanjut, lihat Melihat informasi pekerjaan menggunakan Logview 2.0.

• Untuk mengurutkan hasil, klik panah drop-down di header kolom, pilih urutan ascending atau descending dari daftar Sort, lalu klik OK.

• Untuk melihat bidang BLOB, klik ganda sel BLOB di hasil eksekusi. MaxCompute mendukung tipe data BLOB untuk menyimpan objek biner seperti gambar dan file audio. Di jendela Current Field Value yang muncul, Anda dapat melihat pratinjau kontennya. Gambar ditampilkan langsung, sedangkan teks ditampilkan dalam format read-only. Anda dapat beralih antara Blob View, Text View, dan JSON View menggunakan tombol di bagian bawah jendela.

Langkah berikutnya

• Konfigurasi penjadwalan node: Jika node dalam direktori proyek perlu dijalankan secara berkala, Anda perlu mengatur Scheduling Policy dan mengonfigurasi properti penjadwalan terkait di bagian Scheduling Settings di sisi kanan node.

• Menerbitkan node: Jika Anda perlu menerbitkan tugas ke lingkungan produksi untuk dieksekusi, klik ikon untuk memulai proses penerbitan. Node dalam direktori proyek hanya dijadwalkan secara berkala setelah diterbitkan ke lingkungan produksi.

Lampiran 1: Urutan eksekusi SQL di lingkungan berbeda

Urutan eksekusi pernyataan yang mengandung kata kunci seperti SET dan USE dalam node MaxCompute SQL bervariasi tergantung lingkungan DataWorks.

• Di Data Studio: Semua pernyataan SET dan USE dalam kode Anda digabungkan dan dieksekusi sebelum pernyataan SQL lainnya.

• Di Operation Center (untuk penjadwalan dan O&M): Pernyataan dieksekusi sesuai urutan penulisannya.

Asumsikan kode berikut didefinisikan dalam node.

SET a=b;
CREATE TABLE name1(id string);
SET c=d;
CREATE TABLE name2(id string);

Urutan eksekusi di lingkungan berbeda adalah sebagai berikut:

SET a=b;
SET c=d;
CREATE TABLE name1(id string);

SET a=b;
CREATE TABLE name1(id string);

SET a=b;
SET c=d;
CREATE TABLE name2(id string);

SET c=d;
CREATE TABLE name2(id string);

Lampiran 2: Praktik danau data terpadu

Untuk membaca data dari atau menulis data ke tabel Data Lake Formation (DLF) dalam tugas MaxCompute SQL, Anda dapat menggunakan MaxCompute External Project. External Project memungkinkan akses real-time ke metadata dan data dengan memetakan katalog DLF. Fitur ini mendelegasikan pengelolaan izin ke DLF dan mendukung akses serta manipulasi metadata untuk data yang disimpan di OSS yang dikelola DLF. Untuk informasi lebih lanjut, lihat Paimon DLF External Project.

Topik terkait

Untuk contoh tambahan tugas MaxCompute SQL, lihat topik-topik berikut:

• Operasi JOIN dalam MaxCompute SQL

• Migrasi data JSON dari OSS ke MaxCompute

• Pemrosesan data offline dan real-time terintegrasi berdasarkan dataset event GitHub publik

• Mengonversi alamat IPv4 atau IPv6 ke lokasi menggunakan UDF MaxCompute

• Praktik danau data terpadu MaxCompute berdasarkan ingesti data ke DLF

• Penyetelan SQL

• Mengelola izin pengguna dengan peran bawaan berdasarkan kebijakan

• Mengimplementasikan fungsi GROUP_CONCAT

• Menggabungkan file kecil