DataWorks：Node SQL MaxCompute

Batasan

Batasan berikut berlaku saat Anda menggunakan node SQL MaxCompute:

Catatan

• Pastikan akun yang digunakan untuk menjalankan tugas SQL MaxCompute memiliki izin yang diperlukan untuk proyek MaxCompute terkait. Untuk informasi lebih lanjut, lihat Kontrol akses DataWorks pada MaxCompute dan Izin MaxCompute.

• Eksekusi tugas SQL MaxCompute bergantung pada kuota resource. Jika tugas berjalan lama, buka konsol MaxCompute untuk memeriksa konsumsi kuota dan pastikan tersedia resource yang cukup untuk menjalankan tugas tersebut. Untuk informasi lebih lanjut, lihat Resource komputasi - Manajemen kuota.

• Saat mengembangkan tugas node SQL MaxCompute, jika tugas melibatkan parameter khusus seperti alamat OSS, Anda harus membungkusnya dengan tanda kutip ganda (""). Jika tidak, tugas mungkin gagal diurai dan dijalankan.

• Urutan eksekusi pernyataan yang mengandung kata kunci seperti SET dan USE bervariasi tergantung lingkungan di DataWorks. Untuk informasi lebih lanjut, lihat Lampiran: Urutan eksekusi SQL di lingkungan berbeda.

• Dalam kasus ekstrem tertentu, seperti pemadaman listrik server yang tidak normal atau alih bencana primary/secondary, DataWorks mungkin tidak dapat sepenuhnya menghentikan proses tugas MaxCompute terkait. Dalam hal ini, buka proyek MaxCompute yang sesuai dengan resource komputasi MaxCompute yang diinginkan untuk menghentikan tugas.

Buat node MaxCompute SQL

Untuk informasi tentang cara membuat node SQL MaxCompute, lihat Buat node SQL MaxCompute.

Kembangkan node MaxCompute SQL

Pada halaman pengeditan node, ikuti langkah-langkah berikut untuk mengembangkan node.

-- Buat tabel partisi bernama students.
CREATE TABLE IF NOT EXISTS students
( id BIGINT,
  name STRING,
  age BIGINT,
  birth DATE)
partitioned BY (gender STRING); 

-- Masukkan data.
INSERT OVERWRITE students PARTITION(gender='boy') VALUES (1,'ZhangSan',15,DATE '2008-05-15') ;

-- (Opsional) Aktifkan pemindaian tabel penuh di tingkat proyek. Operasi ini memerlukan hak istimewa tinggi.
-- SETPROJECT odps.sql.allow.fullscan=true;

-- Aktifkan pemindaian tabel penuh di tingkat sesi. Ini hanya berlaku untuk sesi saat ini.
SET odps.sql.allow.fullscan=true;

-- Kueri informasi semua siswa laki-laki dan urutkan berdasarkan ID secara ascending.
SELECT * FROM students WHERE gender='boy' ORDER BY id;

Debug node SQL MaxCompute

1. Di sisi kanan halaman pengeditan node, konfigurasikan parameter di bagian Debuging Configurations.

   Parameter	Deskripsi
   Resource komputasi	Pilih resource komputasi MaxCompute yang telah Anda sambungkan.
   Kuota komputasi	Pilih kuota yang telah Anda buat. Kuota ini menyediakan resource komputasi (CPU dan memori) yang diperlukan untuk pekerjaan komputasi. Jika tidak tersedia kuota komputasi, klik Create Computing Quota dalam daftar drop-down untuk membuka Konsol MaxCompute dan konfigurasikan kuota.
   Kelompok sumber daya	Pilih kelompok sumber daya penjadwalan yang telah lulus uji konektivitas dengan resource komputasi. Untuk informasi lebih lanjut, lihat Solusi koneksi jaringan.

2. Pada kotak dialog parameter di bilah alat, pilih sumber data MaxCompute yang telah Anda buat dan klik Run untuk mengeksekusi tugas SQL MaxCompute.

Lihat hasil

• Hasil eksekusi ditampilkan dalam buku kerja. Anda dapat membuka hasil di buku kerja, melakukan operasi lain di DataWorks, atau menyalin dan menempelkan konten ke file Excel lokal.

  Catatan

  Karena penyesuaian informasi zona waktu Tiongkok yang dirilis oleh Organisasi Internasional untuk Standardisasi, Anda mungkin mengalami selisih waktu untuk periode tertentu saat menjalankan pernyataan SQL terkait di DataWorks. Selisihnya adalah 5 menit 52 detik untuk tanggal dan waktu antara tahun 1900 hingga 1928, dan 9 detik untuk tanggal dan waktu sebelum tahun 1900.

• Untuk melihat log berjalan, klik tautan LogView pada tab di hasil berjalan. Untuk informasi lebih lanjut, lihat Gunakan Logview V2.0 untuk melihat informasi berjalan pekerjaan.

• Untuk mengurutkan hasil di halaman hasil, klik panah drop-down pada suatu bidang, pilih urutan ascending atau descending dari daftar Sort, lalu klik OK.

Langkah selanjutnya

• Jadwalkan node: Untuk menjadwalkan node di folder proyek, atur Scheduling Policies dan konfigurasikan properti penjadwalannya di bagian Schedule di sisi kanan node.

• Publikasikan node: Jika tugas perlu dijalankan di lingkungan produksi, klik ikon untuk mempublikasikan tugas ke lingkungan produksi. Node di folder proyek hanya dapat dijalankan sesuai jadwal setelah dipublikasikan ke lingkungan produksi.

Lampiran: Urutan eksekusi SQL di lingkungan berbeda

Urutan eksekusi pernyataan yang mengandung kata kunci seperti SET dan USE dalam node SQL MaxCompute bervariasi tergantung lingkungan eksekusi di DataWorks.

• Di DataStudio: Semua pernyataan yang mengandung kata kunci seperti SET dan USE dalam kode tugas saat ini digabung dan dieksekusi sebelum semua pernyataan SQL lainnya.

• Di lingkungan penjadwalan: Pernyataan dieksekusi sesuai urutan penulisannya.

Asumsikan kode berikut didefinisikan dalam node.

SET a=b;
CREATE TABLE name1(id string);
SET c=d;
CREATE TABLE name2(id string);

Urutan eksekusi di lingkungan berbeda adalah sebagai berikut:

SET a=b;
SET c=d;
CREATE TABLE name1(id string);

SET a=b;
CREATE TABLE name1(id string);

SET a=b;
SET c=d;
CREATE TABLE name2(id string);

SET c=d;
CREATE TABLE name2(id string);

Referensi

Untuk contoh tambahan tugas SQL MaxCompute, lihat topik berikut:

• Operasi JOIN dalam SQL MaxCompute

• Migrasikan data JSON dari OSS ke MaxCompute

• Contoh pemrosesan data offline dan real-time terintegrasi berdasarkan dataset event GitHub publik

• Konversi alamat IPv4 atau IPv6 ke lokasi menggunakan UDF MaxCompute

• Penyetelan SQL

• Kelola izin pengguna dengan peran bawaan berdasarkan kebijakan

• Implementasikan fungsi GROUP_CONCAT

• Gabungkan file kecil