MaxCompute:Kembangkan node ODPS SQL

Prasyarat

Sebelum memulai, pastikan Anda telah:

• Membuat node ODPS SQL. Untuk informasi selengkapnya, lihat Buat dan kelola node ODPS.

Batasan

Batasan komentar:

• Jangan tambahkan komentar pada pernyataan SET atau USE yang berdiri sendiri.

• Jangan gunakan titik koma (;) di dalam komentar.

• Jangan tambahkan komentar di akhir pernyataan SQL lengkap. Titik koma menandai akhir pernyataan.

Batasan pernyataan SET dan USE:

• Jangan gunakan pernyataan SET atau USE secara terpisah dalam node ODPS SQL. Jalankan bersama dengan pernyataan SQL lainnya.

• Hanya pernyataan SELECT atau WITH yang mengembalikan set hasil terformat.

Cara eksekusi pernyataan SET dan USE

Pernyataan SET dan USE berperilaku berbeda tergantung lingkungan.

Kode contoh node:

SET a=b;
CREATE TABLE name1(id STRING);
SET c=d;
CREATE TABLE name2(id STRING);

Tabel berikut menunjukkan cara pengelompokan dan eksekusi pernyataan tersebut di masing-masing lingkungan:

• DataStudio: Semua pernyataan SET dan USE dalam node digabungkan dan dijalankan sebelum pernyataan SQL lainnya.

• Lingkungan penjadwalan: Semua pernyataan dijalankan secara berurutan sesuai urutan kemunculannya.

Tulis pernyataan SQL

MaxCompute SQL mendukung pernyataan DDL, DML, dan DQL serta sintaks khusus MaxCompute. Pernyataan SQL umum seperti SELECT, INSERT, UPDATE, dan DELETE didukung. Untuk referensi sintaks lengkap, lihat Ikhtisar MaxCompute SQL.

-- Buat tabel partisi.
CREATE TABLE IF NOT EXISTS students
  (id BIGINT, name STRING, age BIGINT, birth DATE)
PARTITIONED BY (gender STRING);

INSERT INTO students PARTITION(gender='boy')  VALUES (1, 'John',  15, DATE '2008-05-15');
INSERT INTO students PARTITION(gender='boy')  VALUES (2, 'Jack',  17, DATE '2006-07-20');
INSERT INTO students PARTITION(gender='girl') VALUES (3, 'Alice', 20, DATE '2003-04-20');
INSERT INTO students PARTITION(gender='girl') VALUES (4, 'Lily',  21, DATE '2002-01-08');
INSERT INTO students PARTITION(gender='boy')  VALUES (5, 'Bob',   17, DATE '2006-09-12');

-- Aktifkan pemindaian tabel penuh untuk sesi ini.
SET odps.sql.allow.fullscan=true;

-- Kueri semua siswa dalam partisi 'boy', diurutkan berdasarkan ID.
SELECT * FROM students WHERE gender='boy' ORDER BY id;

Gunakan fungsi SQL

MaxCompute mendukung fungsi bawaan dan user-defined function (UDF) untuk pemrosesan dan analisis data.

-- Aktifkan pemindaian tabel penuh untuk sesi ini.
SET odps.sql.allow.fullscan=true;

SELECT id, name, age, birth, dateadd(birth, 1, 'mm') AS birth_dateadd
FROM students;

Lihat hasil eksekusi dan log

Setelah menjalankan kueri, hasilnya muncul di buku kerja. Maksimal 10.000 baris dan 10 MB data hasil dapat dikembalikan.

Contoh output — siswa dalam partisi 'boy', diurutkan berdasarkan ID:

+----+------+-----+------------+--------+
| id | name | age | birth      | gender |
+----+------+-----+------------+--------+
| 1  | John | 15  | 2008-05-15 | boy    |
| 2  | Jack | 17  | 2006-07-20 | boy    |
| 5  | Bob  | 17  | 2006-09-12 | boy    |
+----+------+-----+------------+--------+

Contoh output — kolom birth dengan fungsi `dateadd` diterapkan:

+----+-------+-----+------------+---------------+
| id | name  | age | birth      | birth_dateadd |
+----+-------+-----+------------+---------------+
| 4  | Lily  | 21  | 2002-01-08 | 2002-02-08    |
| 3  | Alice | 20  | 2003-04-20 | 2003-05-20    |
| 2  | Jack  | 17  | 2006-07-20 | 2006-08-20    |
| 1  | John  | 15  | 2008-05-15 | 2008-06-15    |
| 5  | Bob   | 17  | 2006-09-12 | 2006-10-12    |
+----+-------+-----+------------+---------------+

Pada tab Result, urutkan hasil berdasarkan kolom atau unduh hasilnya. Untuk detailnya, lihat Proses hasil kueri.

Untuk melihat log operasi, klik tab Runtime Log. Log akan dibuka di LogView. Untuk detailnya, lihat Gunakan LogView V2.0 untuk melihat informasi pekerjaan.

Karena penyesuaian oleh International Organization for Standardization (ISO) terhadap zona waktu UTC+8, stempel waktu untuk tahun antara 1900 dan 1928 berbeda dari waktu aktual sebesar 352 detik, dan stempel waktu sebelum tahun 1900 berbeda sebesar 9 detik.

Langkah berikutnya

Jelajahi kasus penggunaan lanjutan lainnya dengan node ODPS SQL:

• Operasi JOIN dalam MaxCompute SQL

• Migrasikan data berformat JSON dari OSS ke MaxCompute

• Integrasi pemrosesan offline dan real-time dataset event publik GitHub

• Gunakan UDF MaxCompute untuk mengonversi alamat IPv4 atau IPv6 menjadi geolokasi

• Optimalkan pernyataan SQL

• Pengelolaan izin berbasis kebijakan untuk pengguna yang diberi peran bawaan

• Implementasikan kemampuan yang disediakan oleh fungsi GROUP_CONCAT

• Gabungkan file kecil