MaxCompute:スクリプトモード SQL

スクリプトモードは 2 つの実行モードをサポートします。

ステートメントの制限

• 結果表示ステートメント：スクリプトには、スタンドアロンのSELECT ステートメントなど、画面出力を生成するステートメントを 1 つしか含めることができません。複数含めるとエラーが発生します。このようなステートメントはスクリプトでは使用しないでください。

• CREATE TABLE AS：このステートメントはスクリプトごとに 1 回しか使用できず、最後の実行可能なステートメントでなければなりません。最初にテーブルを作成してからデータを挿入することを推奨します。

• 混合書き込みモード：同じスクリプト内で同じテーブルに対して OVERWRITE と INTO の両方を使用することはできません。トランザクションテーブルと標準テーブルに対する DML 操作を混在させることはできません。

• 書き込み後の読み取り：通常モードでは、同じスクリプト内でテーブルに書き込んだ後に読み取りを行うとエラーが発生します。この問題を解決するには、テーブル変数を使用するか、ステップバイステップ実行モードに切り替えます。ステップバイステップ実行モードは書き込み後の読み取り操作をサポートしますが、トランザクションテーブルまたはパーティションテーブルには対応していません。詳細な例については、「使用例 3：通常モードでの書き込み後の読み取り」をご参照ください。

変数

-- @を使用して変数を宣言します。サポートされる型には、TABLE および任意の MaxCompute データ型が含まれます。
@var1 <type>
-- := を使用して値を代入します。
@var1 := <select_statement>

IF ステートメント

スクリプトモードでは、IF ステートメントを使用して、条件に基づいて実行フローを制御します。

-- 単一分岐
IF (condition) BEGIN
  statements
END
-- 複数分岐
IF (condition) BEGIN
  statements
END ELSE IF (condition2) BEGIN
  statements
END ELSE BEGIN
  statements
END

@date := '20190101';
@row TABLE(id STRING);
IF (CAST(@date AS BIGINT) % 2 == 0) BEGIN
  @row := SELECT id FROM src1;
END ELSE BEGIN
  @row := SELECT id FROM src2;
END
INSERT OVERWRITE TABLE dest SELECT * FROM @row;

@i BIGINT;
@t TABLE(id BIGINT, value BIGINT);
IF ((SELECT COUNT(*) FROM src WHERE a = '5') > 1) BEGIN
  @i := 1;
  @t := SELECT @i, @i*2;
END ELSE BEGIN
  @i := 2;
  @t := SELECT @i, @i*2;
END
SELECT id, value FROM @t;

使用例 1：基本的な例

次のスクリプトは、3 つのソーステーブルのデータを結合および和集合し、その結果を 2 つの宛先テーブルに挿入します。すべてのステートメントは単一の DAG にコンパイルされ、アトミックに実行されます。

CREATE TABLE IF NOT EXISTS dest(key STRING, value BIGINT) PARTITIONED BY (d STRING);
CREATE TABLE IF NOT EXISTS dest2(key STRING, value BIGINT) PARTITIONED BY (d STRING);
@a := SELECT * FROM src  WHERE value > 0;
@b := SELECT * FROM src2 WHERE key IS NOT NULL;
@c := SELECT * FROM src3 WHERE value IS NOT NULL;
@d := SELECT a.key, b.value FROM @a LEFT OUTER JOIN @b ON a.key = b.key AND b.value > 0;
@e := SELECT a.key, c.value FROM @a INNER JOIN @c ON a.key = c.key;
@f := SELECT * FROM @d UNION SELECT * FROM @e UNION SELECT * FROM @a;
INSERT OVERWRITE TABLE dest  PARTITION (d='20171111') SELECT * FROM @f;
@g := SELECT e.key, c.value FROM @e JOIN @c ON e.key = c.key;
INSERT OVERWRITE TABLE dest2 PARTITION (d='20171111') SELECT * FROM @g;

使用例 2：ステップバイステップモードでの書き込み後の読み取り

次のスクリプトは、ステップバイステップ実行モードを有効にして、同じスクリプト内で書き込み後の読み取り操作を実行します。

SET odps.sql.step.script.mode=true;
DROP TABLE IF EXISTS foo_t1;
DROP TABLE IF EXISTS foo_t2;
CREATE TABLE foo_t1(a STRING) LIFECYCLE 1;
CREATE TABLE foo_t2(a STRING) LIFECYCLE 1;
@x := SELECT 'hello, world' AS a;
INSERT OVERWRITE TABLE foo_t1 SELECT * FROM @x;
INSERT INTO foo_t2 SELECT * FROM foo_t1 UNION ALL SELECT * FROM foo_t1;
SELECT * FROM foo_t2;

使用例 3：通常モードでの書き込み後の読み取り

通常モードでは、同じスクリプト内でテーブルに書き込んだ後に読み取りを行うとエラーが発生します。この例では、エラーと 2 つの可能な解決策を示します。

データ準備

CREATE TABLE src(key BIGINT, value BIGINT) LIFECYCLE 1;
CREATE TABLE src2(key BIGINT, value BIGINT) LIFECYCLE 1;
INSERT INTO src VALUES(1, 2), (3, 3);

エラーの例 (通常モードでの書き込み後の読み取り)

INSERT OVERWRITE TABLE src2 SELECT * FROM src WHERE key > 0;
@a := SELECT * FROM src2;   -- エラー：src2に書き込んだ後に同じスクリプト内で読み取っています。
SELECT * FROM @a;

解決策 1： ステップバイステップ実行モードを有効にする

SET odps.sql.step.script.mode=true;
INSERT OVERWRITE TABLE src2 SELECT * FROM src WHERE key > 0;
@a := SELECT * FROM src2;
SELECT * FROM @a;

解決策 2： テーブル変数を使用するように SQL を書き換える

@a := SELECT * FROM src WHERE key > 0;
INSERT OVERWRITE TABLE src2 SELECT * FROM @a;
SELECT * FROM @a;

使用例 4：一時テーブルの作成と削除

次のスクリプトは、一時テーブルを作成して JOIN の中間結果をキャッシュし、それを 2 回読み取ってから削除します。

-- ステップバイステップ実行モードを有効化します (一時テーブルで必須)。
SET odps.sql.step.script.mode=true;
DROP TABLE IF EXISTS foo_t1;
CREATE TABLE foo_t1(a BIGINT, b BIGINT);
-- JOINを使用して一時テーブルを作成します。
CREATE TEMPORARY TABLE t AS
SELECT t1.a AS a, t2.d AS b FROM
  (SELECT 1 a, 2 b) t1
JOIN
  (SELECT 1 c, 10 d) t2
ON t1.a = t2.c;
INSERT INTO foo_t1 SELECT * FROM t UNION ALL SELECT * FROM t;
SELECT * FROM foo_t1;
-- 一時テーブルを削除します (スクリプトの最後のステートメントである必要があります)。
DROP TABLE t;