MaxCompute:Develop a MaxCompute script task

-- SET statements
set odps.sql.type.system.odps2=true;
[set odps.stage.reducer.num=***;]
[...]
-- DDL statements
create table table1 xxx;
[create table table2 xxx;]
[...]
-- DML statements
@var1 := SELECT [ALL | DISTINCT] select_expr, select_expr, ...
    FROM table3
    [WHERE where_condition];
@var2 := SELECT [ALL | DISTINCT] select_expr, select_expr, ...
    FROM table4
    [WHERE where_condition];
@var3 := SELECT [ALL | DISTINCT] var1.select_expr, var2.select_expr, ...
    FROM @var1 join @var2 on ...;
INSERT OVERWRITE|INTO TABLE [PARTITION (partcol1=val1, partcol2=val2 ...)]
    SELECT [ALL | DISTINCT] select_expr, select_expr, ...
    FROM @var3;
[@var4 := SELECT [ALL | DISTINCT] var1.select_expr, var.select_expr, ... FROM @var1
    UNION ALL | UNION
    SELECT [ALL | DISTINCT] var1.select_expr, var.select_expr, ... FROM @var2;
CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name
    AS
    SELECT [ALL | DISTINCT] select_expr, select_expr, ...
    FROM var4;]

Syntaxe des variables

Assignez les résultats d'une requête à une variable à l'aide de l'opérateur := :

@<variable_name> := <SELECT statement>;

Pour assigner une constante à une variable et l'utiliser comme valeur scalaire, combinez SELECT <constant> avec une instruction SELECT * FROM @variable ultérieure. Par exemple :

@a := SELECT 10; -- Assign the constant 10 to @a. You can also use SELECT col1 FROM t1 to assign a value from a single-row table.
@b := SELECT key, value + (SELECT * FROM @a) FROM t2 WHERE key > 10000;
SELECT * FROM @b;

Pour plus d'informations sur cette syntaxe, consultez la rubrique Sous-requêtes.

Types d'instructions pris en charge

Les nœuds ODPS Script prennent en charge les instructions SET, DML et un sous-ensemble d'instructions DDL. Les instructions DDL qui affichent des résultats, telles que DESC et SHOW, ne sont pas prises en charge.

Instructions affichant des résultats

N'écrivez qu'une seule instruction affichant des résultats (comme une instruction SELECT) par script. L'écriture de plusieurs instructions de ce type génère une erreur.

Erreur :

SELECT * FROM src1;
SELECT * FROM src2; -- Second result-displaying statement causes an error.

Solution : Conservez une seule instruction SELECT affichant des résultats, ou évitez totalement d'utiliser ce type d'instruction dans les scripts de production.

CREATE TABLE AS

N'écrivez qu'une seule instruction CREATE TABLE AS par script, et placez-la en dernière position. Pour maintenir la lisibilité des scripts, écrivez les instructions CREATE TABLE et INSERT dans des sections distinctes.

Comportement en cas d'échec du script

Si une instruction du script échoue, l'intégralité du script échoue.

Génération de job

MaxCompute génère un job pour le script uniquement lorsque toutes les données d'entrée sont prêtes.

Écriture puis lecture dans le même script

L'écriture de données dans une table suivie d'une lecture depuis cette même table au sein du même script provoque une erreur.

Erreur :

insert overwrite table src2 select * from src where key > 0;
@a := select * from src2; -- Reading from the table written above causes an error.
select * from @a;

Solution : Utilisez une variable pour stocker le résultat intermédiaire au lieu d'écrire et de lire la même table :

@a := select * from src where key > 0;
insert overwrite table src2 select * from @a;
select * from @a;

create table if not exists dest(key string, value bigint);
create table if not exists dest2(key string, value bigint);
@a := select * from src where value > 0;
@b := select * from src2 where key is not null;
@c := select * from src3 where value is not null;
@d := select a.key, b.value from @a left outer join @b on a.key = b.key and b.value > 0;
@e := select a.key, c.value from @a inner join @c on a.key = c.key;
@f := select * from @d union select * from @e union select * from @a;
insert overwrite table dest select * from @f;
@g := select e.key, c.value from @e join @c on e.key = c.key;
insert overwrite table dest2 SELECT * from @g;

create table if not exists src(key string, value BIGINT);
insert into src values ('1', 11);
insert into src values ('1', 11);
create table if not exists src2(key string, value BIGINT);
insert into src2 values ('1', 22);
insert into src2 values ('2', 22);
create table if not exists src3(key string, value BIGINT);
insert into src3 values ('1', 33);
insert into src3 values ('3', 33);

Instruction IF avec une expression BOOLEAN

Lorsque la condition IF est une expression de type BOOLEAN, la branche est déterminée au moment de la compilation du code. MaxCompute évalue la condition durant la compilation et sélectionne la branche avant la soumission du job.

set odps.sql.allow.fullscan=true;
set odps.optimizer.cbo.rule.filter.black=LM;
@date := '${var}';
@row TABLE(key int, value bigint); -- Declare a table variable with schema (key int, value bigint).
IF (cast(@date as bigint) % 2 == 0) BEGIN
@row := SELECT key, value from src1;
END ELSE BEGIN
@row := SELECT key, value from src2;
END
INSERT OVERWRITE TABLE dest1 partition(p='${var}') SELECT key, value FROM @row;

La variable var utilisée dans le script doit recevoir une valeur dans la section Scheduling Parameter de l'onglet Properties.

Lorsque var vaut 2 (un nombre pair), MaxCompute sélectionne la branche src1 au moment de la compilation et insère les lignes de src1 dans dest1. Lorsque var vaut 3 (un nombre impair), il insère plutôt les lignes de src2.

Instruction IF avec une sous-requête scalaire de type BOOLEAN

Lorsque la condition IF est une sous-requête scalaire de type BOOLEAN, la branche est déterminée à l'exécution du job plutôt qu'au moment de la compilation. MaxCompute doit soumettre plusieurs jobs pour évaluer la condition.

@i bigint;
@t table(id bigint, value bigint);
IF ((SELECT count(*) FROM src WHERE a = '5') > 1) BEGIN
@i := 1;
@t := select @i, @i*2;
END ELSE
BEGIN
@i := 2;
@t := select @i, @i*2;
END
select id, value from @t;

Si la table src contient plus d'une ligne où a = '5', le script définit @i sur 1 et @t sur (1, 2). Sinon, il définit @i sur 2 et @t sur (2, 4).

UDF intégrées au code

Le mode script permet d'intégrer directement du code Java ou Python dans un script SQL pour implémenter des fonctions définies par l'utilisateur (UDF). Pour plus d'informations, consultez la rubrique UDF intégrées au code.