MaxCompute:SQL em modo script

O modo script oferece suporte a dois modos de execução.

Limitações de instruções

• Instruções de exibição de resultados: Um script pode conter apenas uma instrução que produza saída na tela, como uma instrução SELECT isolada. Incluir mais de uma causa um erro. Evite usar esses tipos de instrução em scripts.

• CREATE TABLE AS: Use esta instrução apenas uma vez por script, e ela deve ser a última instrução executável. Recomendamos criar a tabela primeiro e depois inserir os dados.

• Modos de gravação mistos: Não é possível usar OVERWRITE e INTO na mesma tabela dentro do mesmo script. Operações DML em tabelas transacionais e tabelas padrão não podem ser misturadas.

• Leitura após escrita: No modo normal, gravar e depois ler de uma tabela no mesmo script causa um erro. Para resolver esse problema, use uma variável de tabela ou mude para o modo de execução passo a passo. O modo passo a passo suporta a operação de leitura após escrita, mas não para tabelas transacionais ou particionadas. Para um exemplo detalhado, consulte Example 3: Read-after-write in normal mode.

Variáveis

-- Declare a variable by using @. Supported types include TABLE and any MaxCompute data type.
@var1 <type>
-- Assign a value by using :=
@var1 := <select_statement>

Instruções IF

Utilize instruções IF para controlar o fluxo de execução com base em condições.

-- Single branch
IF (condition) BEGIN
  statements
END
-- Multi-branch
IF (condition) BEGIN
  statements
END ELSE IF (condition2) BEGIN
  statements
END ELSE BEGIN
  statements
END

@date := '20190101';
@row TABLE(id STRING);
IF (CAST(@date AS BIGINT) % 2 == 0) BEGIN
  @row := SELECT id FROM src1;
END ELSE BEGIN
  @row := SELECT id FROM src2;
END
INSERT OVERWRITE TABLE dest SELECT * FROM @row;

@i BIGINT;
@t TABLE(id BIGINT, value BIGINT);
IF ((SELECT COUNT(*) FROM src WHERE a = '5') > 1) BEGIN
  @i := 1;
  @t := SELECT @i, @i*2;
END ELSE BEGIN
  @i := 2;
  @t := SELECT @i, @i*2;
END
SELECT id, value FROM @t;

Exemplo 1: Exemplo básico

O script a seguir faz join e união de dados de três tabelas de origem e, em seguida, insere os resultados em duas tabelas de destino. Todas as instruções são compiladas em um único DAG e executadas atomicamente.

CREATE TABLE IF NOT EXISTS dest(key STRING, value BIGINT) PARTITIONED BY (d STRING);
CREATE TABLE IF NOT EXISTS dest2(key STRING, value BIGINT) PARTITIONED BY (d STRING);
@a := SELECT * FROM src  WHERE value > 0;
@b := SELECT * FROM src2 WHERE key IS NOT NULL;
@c := SELECT * FROM src3 WHERE value IS NOT NULL;
@d := SELECT a.key, b.value FROM @a LEFT OUTER JOIN @b ON a.key = b.key AND b.value > 0;
@e := SELECT a.key, c.value FROM @a INNER JOIN @c ON a.key = c.key;
@f := SELECT * FROM @d UNION SELECT * FROM @e UNION SELECT * FROM @a;
INSERT OVERWRITE TABLE dest  PARTITION (d='20171111') SELECT * FROM @f;
@g := SELECT e.key, c.value FROM @e JOIN @c ON e.key = c.key;
INSERT OVERWRITE TABLE dest2 PARTITION (d='20171111') SELECT * FROM @g;

Exemplo 2: Leitura após escrita no modo passo a passo

O script a seguir ativa o modo de execução passo a passo para realizar uma operação de leitura após escrita no mesmo script.

SET odps.sql.step.script.mode=true;
DROP TABLE IF EXISTS foo_t1;
DROP TABLE IF EXISTS foo_t2;
CREATE TABLE foo_t1(a STRING) LIFECYCLE 1;
CREATE TABLE foo_t2(a STRING) LIFECYCLE 1;
@x := SELECT 'hello, world' AS a;
INSERT OVERWRITE TABLE foo_t1 SELECT * FROM @x;
INSERT INTO foo_t2 SELECT * FROM foo_t1 UNION ALL SELECT * FROM foo_t1;
SELECT * FROM foo_t2;

Exemplo 3: Leitura após escrita no modo normal

No modo normal, gravar e depois ler da mesma tabela em um script causa um erro. Este exemplo demonstra o erro e duas soluções possíveis.

Preparação de dados

CREATE TABLE src(key BIGINT, value BIGINT) LIFECYCLE 1;
CREATE TABLE src2(key BIGINT, value BIGINT) LIFECYCLE 1;
INSERT INTO src VALUES(1, 2), (3, 3);

Exemplo de erro (leitura após escrita no modo normal)

INSERT OVERWRITE TABLE src2 SELECT * FROM src WHERE key > 0;
@a := SELECT * FROM src2;   -- Error: src2 is written to and then read from in the same script.
SELECT * FROM @a;

Solução 1: Ativar o modo de execução passo a passo

SET odps.sql.step.script.mode=true;
INSERT OVERWRITE TABLE src2 SELECT * FROM src WHERE key > 0;
@a := SELECT * FROM src2;
SELECT * FROM @a;

Solução 2: Reescrever o SQL para usar uma variável de tabela

@a := SELECT * FROM src WHERE key > 0;
INSERT OVERWRITE TABLE src2 SELECT * FROM @a;
SELECT * FROM @a;

Exemplo 4: Criar e excluir uma tabela temporária

O script a seguir cria uma tabela temporária para armazenar em cache os resultados intermediários de um JOIN, lê dela duas vezes e, em seguida, a remove.

-- Enable step-by-step execution mode (required for temporary tables).
SET odps.sql.step.script.mode=true;
DROP TABLE IF EXISTS foo_t1;
CREATE TABLE foo_t1(a BIGINT, b BIGINT);
-- Create a temporary table by using a JOIN.
CREATE TEMPORARY TABLE t AS
SELECT t1.a AS a, t2.d AS b FROM
  (SELECT 1 a, 2 b) t1
JOIN
  (SELECT 1 c, 10 d) t2
ON t1.a = t2.c;
INSERT INTO foo_t1 SELECT * FROM t UNION ALL SELECT * FROM t;
SELECT * FROM foo_t1;
-- Drop the temporary table (must be the last statement in the script).
DROP TABLE t;