MaxCompute:Desenvolver uma tarefa de script do MaxCompute

-- SET statements
set odps.sql.type.system.odps2=true;
[set odps.stage.reducer.num=***;]
[...]
-- DDL statements
create table table1 xxx;
[create table table2 xxx;]
[...]
-- DML statements
@var1 := SELECT [ALL | DISTINCT] select_expr, select_expr, ...
    FROM table3
    [WHERE where_condition];
@var2 := SELECT [ALL | DISTINCT] select_expr, select_expr, ...
    FROM table4
    [WHERE where_condition];
@var3 := SELECT [ALL | DISTINCT] var1.select_expr, var2.select_expr, ...
    FROM @var1 join @var2 on ...;
INSERT OVERWRITE|INTO TABLE [PARTITION (partcol1=val1, partcol2=val2 ...)]
    SELECT [ALL | DISTINCT] select_expr, select_expr, ...
    FROM @var3;
[@var4 := SELECT [ALL | DISTINCT] var1.select_expr, var.select_expr, ... FROM @var1
    UNION ALL | UNION
    SELECT [ALL | DISTINCT] var1.select_expr, var.select_expr, ... FROM @var2;
CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name
    AS
    SELECT [ALL | DISTINCT] select_expr, select_expr, ...
    FROM var4;]

Sintaxe de variáveis

Atribua resultados de consulta a uma variável usando o operador :=:

@<variable_name> := <SELECT statement>;

Para atribuir uma constante a uma variável e usá-la como valor escalar, combine SELECT <constant> com um SELECT * FROM @variable subsequente. Por exemplo:

@a := SELECT 10; -- Assign the constant 10 to @a. You can also use SELECT col1 FROM t1 to assign a value from a single-row table.
@b := SELECT key, value + (SELECT * FROM @a) FROM t2 WHERE key > 10000;
SELECT * FROM @b;

Para obter mais informações sobre essa sintaxe, consulte Subconsultas.

Tipos de instrução suportados

Os nós ODPS Script suportam instruções SET, DML e um subconjunto de instruções DDL. Instruções DDL que exibem resultados — como DESC e SHOW — não são suportadas.

Instruções de exibição de resultados

Escreva no máximo uma instrução de exibição de resultados (como uma instrução SELECT) por script. Incluir múltiplas instruções desse tipo causa erro.

Erro:

SELECT * FROM src1;
SELECT * FROM src2; -- Second result-displaying statement causes an error.

Correção: Mantenha apenas um SELECT de exibição de resultados ou evite totalmente o uso de instruções SELECT de exibição em scripts de produção.

CREATE TABLE AS

Inclua no máximo uma instrução CREATE TABLE AS por script e posicione-a como a última instrução. Para manter a manutenibilidade dos scripts, escreva instruções CREATE TABLE e INSERT em seções separadas.

Comportamento em caso de falha do script

Se qualquer instrução dentro de um script falhar, todo o script falhará.

Geração de jobs

O MaxCompute gera um job para o script somente após todos os dados de entrada estarem prontos.

Escrita e leitura subsequente no mesmo script

Gravar dados em uma tabela e depois lê-los no mesmo script causa erro.

Erro:

insert overwrite table src2 select * from src where key > 0;
@a := select * from src2; -- Reading from the table written above causes an error.
select * from @a;

Correção: Use uma variável para armazenar o resultado intermediário em vez de gravar e ler a mesma tabela:

@a := select * from src where key > 0;
insert overwrite table src2 select * from @a;
select * from @a;

create table if not exists dest(key string, value bigint);
create table if not exists dest2(key string, value bigint);
@a := select * from src where value > 0;
@b := select * from src2 where key is not null;
@c := select * from src3 where value is not null;
@d := select a.key, b.value from @a left outer join @b on a.key = b.key and b.value > 0;
@e := select a.key, c.value from @a inner join @c on a.key = c.key;
@f := select * from @d union select * from @e union select * from @a;
insert overwrite table dest select * from @f;
@g := select e.key, c.value from @e join @c on e.key = c.key;
insert overwrite table dest2 SELECT * from @g;

create table if not exists src(key string, value BIGINT);
insert into src values ('1', 11);
insert into src values ('1', 11);
create table if not exists src2(key string, value BIGINT);
insert into src2 values ('1', 22);
insert into src2 values ('2', 22);
create table if not exists src3(key string, value BIGINT);
insert into src3 values ('1', 33);
insert into src3 values ('3', 33);

Instrução IF com expressão BOOLEAN

Quando a condição IF é uma expressão do tipo BOOLEAN, o ramo é determinado no momento da compilação do código. O MaxCompute avalia a condição durante a compilação e seleciona o ramo antes do envio do job.

set odps.sql.allow.fullscan=true;
set odps.optimizer.cbo.rule.filter.black=LM;
@date := '${var}';
@row TABLE(key int, value bigint); -- Declare a table variable with schema (key int, value bigint).
IF (cast(@date as bigint) % 2 == 0) BEGIN
@row := SELECT key, value from src1;
END ELSE BEGIN
@row := SELECT key, value from src2;
END
INSERT OVERWRITE TABLE dest1 partition(p='${var}') SELECT key, value FROM @row;

A variável var usada no script deve receber um valor na seção Scheduling Parameter da aba Properties .

Quando var é 2 (um número par), o MaxCompute seleciona o ramo src1 em tempo de compilação e insere linhas de src1 em dest1. Quando var é 3 (um número ímpar), ele insere linhas de src2 em seu lugar.

Instrução IF com subconsulta escalar do tipo BOOLEAN

Quando a condição IF é uma subconsulta escalar do tipo BOOLEAN, o ramo é determinado no tempo de execução do job, e não na compilação. O MaxCompute precisa enviar múltiplos jobs para avaliar a condição.

@i bigint;
@t table(id bigint, value bigint);
IF ((SELECT count(*) FROM src WHERE a = '5') > 1) BEGIN
@i := 1;
@t := select @i, @i*2;
END ELSE
BEGIN
@i := 2;
@t := select @i, @i*2;
END
select id, value from @t;

Se src contiver mais de uma linha onde a = '5', o script define @i como 1 e @t como (1, 2). Caso contrário, define @i como 2 e @t como (2, 4).

UDFs embutidas no código

O modo script suporta a incorporação de código Java ou Python diretamente em um script SQL para implementar funções definidas pelo usuário (UDFs). Para mais detalhes, consulte UDFs embutidas no código.