DataWorks:Node SQL MaxCompute

Batasan

Batasan berikut berlaku saat Anda menggunakan node SQL MaxCompute untuk mengembangkan tugas SQL:

Catatan penggunaan

• Pastikan akun yang menjalankan tugas SQL MaxCompute memiliki izin yang diperlukan pada proyek MaxCompute terkait. Untuk informasi lebih lanjut, lihat Kontrol akses izin DataWorks On MaxCompute dan Izin MaxCompute.

• Eksekusi tugas SQL MaxCompute mengonsumsi resource kuota. Jika tugas berjalan lama, buka konsol MaxCompute untuk memantau konsumsi resource dan pastikan kuota yang cukup tersedia. Untuk informasi lebih lanjut, lihat Resource Komputasi - Manajemen Kuota.

• Apit parameter khusus, seperti alamat OSS, dengan tanda kutip ganda (""). Jika tidak, penguraian dapat gagal dan menyebabkan tugas gagal.

• Urutan eksekusi pernyataan yang berisi kata kunci, seperti SET dan USE, berbeda tergantung pada lingkungan DataWorks tempatnya dijalankan. Untuk informasi lebih lanjut, lihat Lampiran: Urutan eksekusi SQL di lingkungan berbeda.

Buat node MaxCompute SQL

Untuk informasi lebih lanjut tentang cara membuat node SQL MaxCompute, lihat Buat node SQL MaxCompute.

Mengembangkan node MaxCompute SQL

Pada halaman pengeditan node, lakukan tugas pengembangan berikut.

-- Buat tabel partisi bernama students.
CREATE TABLE IF NOT EXISTS students
( id BIGINT,
  name STRING,
  age BIGINT,
  birth DATE)
partitioned BY (gender STRING); 

-- Masukkan data.
INSERT OVERWRITE students PARTITION(gender='boy') VALUES (1,'ZhangSan',15,DATE '2008-05-15') ;

-- (Opsional) Aktifkan pemindaian tabel penuh di tingkat proyek. Operasi ini memerlukan hak istimewa tinggi. 
-- SETPROJECT odps.sql.allow.fullscan=true;  

-- Aktifkan pemindaian tabel penuh di tingkat sesi. Ini hanya berlaku untuk sesi saat ini.
SET odps.sql.allow.fullscan=true; 
-- Kueri informasi semua siswa laki-laki dan urutkan hasil berdasarkan ID secara ascending.
SELECT * FROM students WHERE gender='boy' ORDER BY id;

Debug node SQL MaxCompute

1. Di sisi kanan halaman pengeditan node, konfigurasikan parameter di panel Run Configuration.

   Parameter	Deskripsi
   Resource komputasi	Pilih resource komputasi MaxCompute yang telah Anda tautkan.
   Kuota komputasi	Pilih kuota komputasi yang telah Anda buat. Kuota ini menyediakan resource komputasi seperti CPU dan memori yang diperlukan untuk pekerjaan komputasi. Jika tidak ada kuota komputasi yang tersedia, klik Create Computing Quota dalam daftar drop-down untuk membuka konsol MaxCompute dan konfigurasikan kuota.
   Kelompok sumber daya	Pilih kelompok sumber daya penjadwalan yang telah lulus uji konektivitas dengan resource komputasi. Untuk informasi lebih lanjut, lihat Solusi koneksi jaringan.

2. Di kotak dialog parameter pada bilah alat, pilih sumber data MaxCompute yang telah dibuat dan klik Run untuk menjalankan tugas SQL MaxCompute.

Lihat hasil

• Hasil eksekusi ditampilkan dalam buku kerja di dalam DataWorks. Dari sana, Anda dapat membuka hasilnya atau menyalin dan menempel kontennya ke spreadsheet lokal.

  Catatan

  Karena penyesuaian informasi zona waktu Tiongkok yang dirilis oleh Organisasi Internasional untuk Standardisasi, Anda mungkin mengalami selisih waktu untuk periode tertentu saat menjalankan pernyataan SQL terkait di DataWorks. Selisihnya adalah 5 menit 52 detik untuk tanggal dan waktu dari tahun 1900 hingga 1928, dan 9 detik untuk tanggal dan waktu sebelum tahun 1900.

• Lihat log berjalan: Pada tab hasil berjalan , klik tautan LogView. Untuk informasi lebih lanjut, lihat Gunakan Logview 2.0 untuk melihat informasi jalannya pekerjaan.

• Urutkan hasil: Pada halaman hasil, klik panah drop-down untuk suatu bidang, pilih urutan ascending atau descending dari daftar Sort, lalu klik OK.

Langkah berikutnya

• Konfigurasikan properti penjadwalan untuk node: Untuk menjalankan node secara berkala, konfigurasikan properti penjadwalannya, termasuk Scheduling Policies, di panel Schedule.

• Penerbitan Node: Untuk men-deploy tugas ke lingkungan produksi, klik ikon untuk memulai proses penerbitan. Node dalam direktori proyek hanya dijadwalkan secara berkala setelah diterbitkan ke lingkungan produksi.

Lampiran: Eksekusi SQL di lingkungan berbeda

Urutan eksekusi pernyataan yang berisi kata kunci, seperti SET dan USE, dalam node SQL MaxCompute berbeda tergantung pada lingkungan DataWorks tempatnya dijalankan.

• Saat dijalankan di Data Studio: Semua pernyataan kata kunci seperti SET dan USE dalam kode tugas saat ini digabung dan dieksekusi sebelum semua pernyataan SQL lainnya.

• Di lingkungan penjadwalan: Pernyataan dieksekusi sesuai urutan penulisannya.

Asumsikan kode berikut didefinisikan dalam node.

SET a=b;
CREATE TABLE name1(id string);
SET c=d;
CREATE TABLE name2(id string);

Urutan eksekusi di lingkungan berbeda adalah sebagai berikut:

SET a=b;
SET c=d;
CREATE TABLE name1(id string);

SET a=b;
CREATE TABLE name1(id string);

SET a=b;
SET c=d;
CREATE TABLE name2(id string);

SET c=d;
CREATE TABLE name2(id string);

Dokumen terkait

Untuk contoh tambahan tugas SQL MaxCompute, lihat topik berikut:

• Operasi JOIN dalam SQL MaxCompute

• Migrasikan data JSON dari OSS ke MaxCompute

• Contoh pemrosesan data offline dan real-time terintegrasi berdasarkan dataset event GitHub publik

• Konversi alamat IPv4 atau IPv6 ke lokasi menggunakan UDF MaxCompute

• Penyetelan SQL

• Kelola izin pengguna dengan peran bawaan berdasarkan kebijakan

• Implementasikan fungsi GROUP_CONCAT

• Gabungkan file kecil