MaxCompute:Script mode SQL

Script mode mendukung dua mode eksekusi.

Batasan pernyataan

• Pernyataan yang menampilkan hasil: Skrip hanya boleh berisi satu pernyataan yang menghasilkan output layar, seperti pernyataan SELECT mandiri. Memasukkan lebih dari satu akan menyebabkan error. Hindari penggunaan jenis pernyataan ini dalam skrip.

• CREATE TABLE AS: Anda hanya dapat menggunakan pernyataan ini sekali per skrip, dan harus menjadi pernyataan eksekusi terakhir. Kami menyarankan membuat tabel terlebih dahulu lalu memasukkan data.

• Mode tulis campuran: Anda tidak dapat menggunakan OVERWRITE dan INTO pada tabel yang sama dalam satu skrip. Operasi DML pada tabel transaksional dan tabel standar tidak boleh dicampur.

• read-after-write: Dalam mode normal, menulis ke lalu membaca dari tabel dalam skrip yang sama menyebabkan error. Untuk mengatasi masalah ini, gunakan variabel tabel atau beralih ke mode eksekusi langkah demi langkah. Mode eksekusi langkah demi langkah mendukung operasi read-after-write, tetapi tidak untuk tabel transaksional atau tabel partisi. Untuk contoh lengkap, lihat Contoh 3: Read-after-write dalam mode normal.

Variabel

-- Deklarasikan variabel dengan menggunakan @. Jenis yang didukung meliputi TABLE dan semua tipe data MaxCompute.
@var1 <type>
-- Tetapkan nilai dengan menggunakan :=
@var1 := <select_statement>

Pernyataan IF

Dalam script mode, gunakan pernyataan IF untuk mengontrol alur eksekusi berdasarkan kondisi.

-- Cabang tunggal
IF (condition) BEGIN
  statements
END
-- Cabang ganda
IF (condition) BEGIN
  statements
END ELSE IF (condition2) BEGIN
  statements
END ELSE BEGIN
  statements
END

@date := '20190101';
@row TABLE(id STRING);
IF (CAST(@date AS BIGINT) % 2 == 0) BEGIN
  @row := SELECT id FROM src1;
END ELSE BEGIN
  @row := SELECT id FROM src2;
END
INSERT OVERWRITE TABLE dest SELECT * FROM @row;

@i BIGINT;
@t TABLE(id BIGINT, value BIGINT);
IF ((SELECT COUNT(*) FROM src WHERE a = '5') > 1) BEGIN
  @i := 1;
  @t := SELECT @i, @i*2;
END ELSE BEGIN
  @i := 2;
  @t := SELECT @i, @i*2;
END
SELECT id, value FROM @t;

Contoh 1: Contoh dasar

Skrip berikut melakukan join dan union data dari tiga tabel sumber, lalu memasukkan hasilnya ke dua tabel tujuan. Semua pernyataan dikompilasi menjadi satu DAG dan dieksekusi secara atomik.

CREATE TABLE IF NOT EXISTS dest(key STRING, value BIGINT) PARTITIONED BY (d STRING);
CREATE TABLE IF NOT EXISTS dest2(key STRING, value BIGINT) PARTITIONED BY (d STRING);
@a := SELECT * FROM src  WHERE value > 0;
@b := SELECT * FROM src2 WHERE key IS NOT NULL;
@c := SELECT * FROM src3 WHERE value IS NOT NULL;
@d := SELECT a.key, b.value FROM @a LEFT OUTER JOIN @b ON a.key = b.key AND b.value > 0;
@e := SELECT a.key, c.value FROM @a INNER JOIN @c ON a.key = c.key;
@f := SELECT * FROM @d UNION SELECT * FROM @e UNION SELECT * FROM @a;
INSERT OVERWRITE TABLE dest  PARTITION (d='20171111') SELECT * FROM @f;
@g := SELECT e.key, c.value FROM @e JOIN @c ON e.key = c.key;
INSERT OVERWRITE TABLE dest2 PARTITION (d='20171111') SELECT * FROM @g;

Contoh 2: Read-after-write dalam mode langkah demi langkah

Skrip berikut mengaktifkan mode eksekusi langkah demi langkah untuk melakukan operasi read-after-write dalam skrip yang sama.

SET odps.sql.step.script.mode=true;
DROP TABLE IF EXISTS foo_t1;
DROP TABLE IF EXISTS foo_t2;
CREATE TABLE foo_t1(a STRING) LIFECYCLE 1;
CREATE TABLE foo_t2(a STRING) LIFECYCLE 1;
@x := SELECT 'hello, world' AS a;
INSERT OVERWRITE TABLE foo_t1 SELECT * FROM @x;
INSERT INTO foo_t2 SELECT * FROM foo_t1 UNION ALL SELECT * FROM foo_t1;
SELECT * FROM foo_t2;

Contoh 3: Read-after-write dalam mode normal

Dalam mode normal, menulis ke lalu membaca dari tabel yang sama dalam skrip menyebabkan error. Contoh ini menunjukkan error tersebut dan dua solusi yang mungkin.

Persiapan data

CREATE TABLE src(key BIGINT, value BIGINT) LIFECYCLE 1;
CREATE TABLE src2(key BIGINT, value BIGINT) LIFECYCLE 1;
INSERT INTO src VALUES(1, 2), (3, 3);

Contoh error (read-after-write dalam mode normal)

INSERT OVERWRITE TABLE src2 SELECT * FROM src WHERE key > 0;
@a := SELECT * FROM src2;   -- Error: src2 ditulis lalu dibaca dalam skrip yang sama.
SELECT * FROM @a;

Solusi 1: Aktifkan mode eksekusi langkah demi langkah

SET odps.sql.step.script.mode=true;
INSERT OVERWRITE TABLE src2 SELECT * FROM src WHERE key > 0;
@a := SELECT * FROM src2;
SELECT * FROM @a;

Solusi 2: Tulis ulang SQL untuk menggunakan variabel tabel

@a := SELECT * FROM src WHERE key > 0;
INSERT OVERWRITE TABLE src2 SELECT * FROM @a;
SELECT * FROM @a;

Contoh 4: Buat dan hapus tabel temporary

Skrip berikut membuat tabel temporary untuk menyimpan cache hasil antara dari operasi JOIN, membacanya dua kali, lalu menghapusnya.

-- Aktifkan mode eksekusi langkah demi langkah (diperlukan untuk tabel temporary).
SET odps.sql.step.script.mode=true;
DROP TABLE IF EXISTS foo_t1;
CREATE TABLE foo_t1(a BIGINT, b BIGINT);
-- Buat tabel temporary dengan menggunakan JOIN.
CREATE TEMPORARY TABLE t AS
SELECT t1.a AS a, t2.d AS b FROM
  (SELECT 1 a, 2 b) t1
JOIN
  (SELECT 1 c, 10 d) t2
ON t1.a = t2.c;
INSERT INTO foo_t1 SELECT * FROM t UNION ALL SELECT * FROM t;
SELECT * FROM foo_t1;
-- Hapus tabel temporary (harus menjadi pernyataan terakhir dalam skrip).
DROP TABLE t;