DataWorks：Node SQL MaxCompute

Batasan

Batasan berikut berlaku saat Anda menggunakan node SQL MaxCompute:

Catatan

• Pastikan akun yang digunakan untuk menjalankan tugas SQL MaxCompute memiliki izin yang diperlukan untuk proyek MaxCompute terkait. Untuk informasi lebih lanjut, lihat Kontrol akses DataWorks pada MaxCompute dan Izin MaxCompute.

• Eksekusi tugas SQL MaxCompute bergantung pada sumber daya kuota. Jika suatu tugas berjalan lama, buka konsol MaxCompute untuk memeriksa konsumsi kuota dan pastikan tersedia sumber daya yang cukup untuk menjalankan tugas tersebut. Untuk informasi lebih lanjut, lihat Sumber daya komputasi - Manajemen kuota.

• Saat mengembangkan tugas node SQL MaxCompute, jika tugas tersebut melibatkan parameter khusus seperti alamat OSS, Anda harus membungkusnya dengan tanda kutip ganda (""). Jika tidak, tugas mungkin gagal diurai dan dijalankan.

• Urutan eksekusi pernyataan yang berisi kata kunci seperti SET dan USE bervariasi tergantung pada lingkungan di DataWorks. Untuk informasi lebih lanjut, lihat Lampiran: Urutan eksekusi SQL di lingkungan berbeda.

Buat MaxCompute SQL node

Untuk informasi tentang cara membuat node SQL MaxCompute, lihat Membuat node SQL MaxCompute.

Mengembangkan node MaxCompute SQL

Di halaman pengeditan node, ikuti langkah-langkah berikut untuk mengembangkan node tersebut.

-- Buat tabel partisi bernama siswa.
CREATE TABLE IF NOT EXISTS siswa
( id BIGINT,
  nama STRING,
  usia BIGINT,
  tanggal_lahir DATE)
partitioned BY (jenis_kelamin STRING); 

-- Memasukkan data.
INSERT OVERWRITE students PARTITION(gender='boy') VALUES (1,'ZhangSan',15,DATE '2008-05-15') ;

-- Mengaktifkan pemindaian tabel penuh. Pengaturan ini hanya berlaku untuk sesi saat ini.
SET odps.sql.allow.fullscan=true; 

-- Mengkueri informasi semua siswa laki-laki dan mengurutkan hasil berdasarkan ID secara menaik.
SELECT * FROM students WHERE gender='boy' ORDER BY id;

Men-debug node SQL MaxCompute

1. Di sisi kanan halaman pengeditan node, konfigurasikan parameter di bagian Debug Configuration.

   Parameter	Deskripsi
   Sumber daya komputasi	Pilih sumber daya komputasi MaxCompute yang telah Anda sambungkan.
   Kuota komputasi	Pilih kuota yang telah Anda buat. Kuota ini menyediakan sumber daya komputasi (CPU dan memori) yang diperlukan untuk pekerjaan komputasi. Jika tidak ada kuota komputasi yang tersedia, klik Create Computing Quota dalam daftar drop-down untuk membuka Konsol MaxCompute dan mengonfigurasi kuota.
   Kelompok sumber daya	Pilih kelompok sumber daya penjadwalan yang telah lulus uji konektivitas dengan sumber daya komputasi. Untuk informasi lebih lanjut, lihat Solusi koneksi jaringan.

2. Di kotak dialog parameter pada bilah alat, pilih sumber data MaxCompute yang telah Anda buat dan klik Run untuk mengeksekusi tugas SQL MaxCompute.

Menampilkan hasil

• Hasil eksekusi ditampilkan dalam Buku kerja. Anda dapat membuka hasil di Buku kerja, melakukan operasi lain di DataWorks, atau menyalin dan menempel kontennya ke file Excel lokal.

  Catatan

  Karena penyesuaian informasi zona waktu Tiongkok yang dirilis oleh Organisasi Internasional untuk Standardisasi, Anda mungkin mengalami selisih waktu untuk periode tertentu saat menjalankan pernyataan SQL terkait di DataWorks. Selisihnya adalah 5 menit 52 detik untuk tanggal dan waktu dari tahun 1900 hingga 1928, dan 9 detik untuk tanggal dan waktu sebelum tahun 1900.

• Untuk melihat log berjalan, klik tautan LogView pada tab di hasil berjalan. Untuk informasi lebih lanjut, lihat Menggunakan Logview V2.0 untuk melihat informasi berjalan pekerjaan.

• Untuk mengurutkan hasil di halaman hasil, klik panah drop-down untuk suatu bidang, pilih urutan menaik atau menurun dari daftar Sort, lalu klik OK.

Apa yang harus dilakukan selanjutnya

• Menjadwalkan node: Untuk menjadwalkan node di folder proyek, atur Scheduling Policy dan konfigurasikan properti penjadwalannya di bagian Schedule di sisi kanan node.

• Menerbitkan node: Jika tugas perlu dijalankan di lingkungan produksi, klik ikon untuk menerbitkan tugas ke lingkungan produksi. Node di folder proyek hanya dapat dijalankan sesuai jadwal setelah diterbitkan ke lingkungan produksi.

Lampiran: Urutan eksekusi SQL di lingkungan berbeda

Urutan eksekusi pernyataan yang berisi kata kunci seperti SET dan USE dalam node SQL MaxCompute bervariasi tergantung pada lingkungan eksekusi di DataWorks.

• Di DataStudio: Semua pernyataan yang berisi kata kunci seperti SET dan USE dalam kode tugas saat ini digabungkan dan dieksekusi sebelum semua pernyataan SQL lainnya.

• Di lingkungan penjadwalan: Pernyataan dieksekusi sesuai urutan penulisannya.

Asumsikan kode berikut didefinisikan dalam node.

SET a=b;
CREATE TABLE name1(id string);
SET c=d;
CREATE TABLE name2(id string);

Urutan eksekusi di lingkungan berbeda adalah sebagai berikut:

SET a=b;
SET c=d;
CREATE TABLE name1(id string);

SET a=b;
CREATE TABLE name1(id string);

SET a=b;
SET c=d;
CREATE TABLE name2(id string);

SET c=d;
CREATE TABLE name2(id string);

Referensi

Untuk contoh tambahan tugas SQL MaxCompute, lihat topik-topik berikut:

• Operasi JOIN dalam SQL MaxCompute

• Migrasi data JSON dari OSS ke MaxCompute

• Contoh pemrosesan data offline dan real-time terintegrasi berdasarkan dataset event GitHub publik

• Mengonversi alamat IPv4 atau IPv6 menjadi lokasi menggunakan UDF MaxCompute

• Penyetelan SQL

• Mengelola izin pengguna dengan peran bawaan berdasarkan kebijakan

• Mengimplementasikan fungsi GROUP_CONCAT

• Gabungkan File Kecil