MaxCompute:Paramètres de type Flag

Catégorie

Portée

Paramètre

Description

Valeur

Commandes concernées

Écosystème

Session

console.sql.result.instancetunnel

Active ou désactive InstanceTunnel. Pour plus d'informations sur les commandes Tunnel, consultez la rubrique Instructions d'utilisation.

• True : activé.

• False : désactivé.

SELECT

Planification

Session

odps.job.workers.limit

Nombre maximal de workers simultanés pour l'ensemble du job.

Plage : 1 à 1 000 000

ALL

Planification

Session

odps.stage.mapper.mem

Définit la taille de la mémoire allouée à chaque worker map.

Plage : 256 MiB à 12 288 MiB. Valeur par défaut : 1 024 MiB.

ALL

Planification

Session

odps.stage.reducer.mem

Définit la taille de la mémoire allouée à chaque worker reduce.

Plage : 256 MiB à 12 288 MiB. Valeur par défaut : 1 024 MiB.

ALL

Planification

Session

odps.stage.joiner.mem

Définit la taille de la mémoire allouée à chaque worker join.

Plage : 256 MiB à 12 288 MiB. Valeur par défaut : 1 024 MiB.

ALL

Planification

Session

odps.stage.mem

Définit la taille de la mémoire pour tous les workers d'une tâche MaxCompute spécifiée. Cette propriété possède une priorité inférieure à celle des paramètres odps.stage.mapper.mem, odps.stage.reducer.mem et odps.stage.joiner.mem.

Plage : 256 MiB à 12 288 MiB. Aucune valeur par défaut.

ALL

Planification

Session

odps.stage.mapper.split.size

Définit la taille des données d'entrée pour chaque worker map, ce qui correspond à la taille de découpage (split) du fichier d'entrée. Ce paramètre contrôle indirectement le nombre de workers dans chaque étape map.

Unité : MiB. Valeur par défaut : 256 MiB.

ALL

Planification

Session

odps.sql.split.size

Définit la taille d'un seul découpage de données pour le traitement parallèle au niveau de la table.

Unité : MiB.

Exemple : {"table1": 1024, "table2": 512}.

ALL

Planification

Session

odps.sql.split.row.count

Définit le nombre de lignes dans un seul découpage pour le traitement parallèle au niveau de la table.

Un entier supérieur à 0.

Exemple : {"table1": 100, "table2": 500}.

ALL

Planification

Session

odps.sql.split.dop

Définit le degré de parallélisme au niveau de la table.

Un entier supérieur à 0.

Exemple : {"table1": 1, "table2": 5}.

ALL

Planification

Session

odps.stage.reducer.num

Définit le nombre de workers pour chaque étape reduce.

-

ALL

Planification

Session

odps.stage.joiner.num

Définit le nombre de workers pour chaque étape join.

-

ALL

Planification

Session

odps.stage.num

Définit la simultanéité (nombre de workers) par étape dans un job MaxCompute. Cette propriété possède une priorité inférieure à celle des paramètres odps.stage.mapper.split.size, odps.stage.reducer.num et odps.stage.joiner.num.

1 à 10 000

ALL

Planification

Projet

odps.instance.priority.enable

Active ou désactive la priorité des jobs pour les projets utilisant des ressources en abonnement. Pour plus d'informations sur la fonctionnalité de priorité des jobs, consultez la rubrique Priorité des jobs.

• True : activé.

• False : désactivé.

ALL

SQL

Session

odps.sql.reshuffle.dynamicpt

Active ou désactive le rééquilibrage (reshuffling) pour les partitions dynamiques afin d'éviter la création d'un trop grand nombre de petits fichiers.

• True : activé.

• False : désactivé.

• INSERT INTO

• INSERT OVERWRITE

SQL

Session

odps.sql.udf.getjsonobj.new

Indique si la fonction GET_JSON_OBJECT renvoie la chaîne d'origine sans échapper les caractères spéciaux.

• True : activé.

• False : désactivé.

UDF

SQL

Session

odps.sql.udf.jvm.memory

Une erreur d'épuisement de la mémoire (OOM) peut survenir si une UDF traite de grandes quantités de données pour des calculs ou des tris en mémoire. Dans ce cas, vous pouvez augmenter la valeur de cette propriété. Toutefois, il s'agit uniquement d'une solution temporaire ; l'optimisation du code de la UDF constitue la correction recommandée à long terme.

Plage : 256 MiB à 12 288 MiB. Valeur par défaut : 1 024 MiB.

UDF

SQL

Session

odps.function.timeout

Définit la durée d'expiration pour une UDF.

Plage : 0 s à 3 600 s. Valeur par défaut : 600 s.

UDF

SQL

Session

odps.sql.session.resources

Spécifie les ressources référencées par une UDT. Vous pouvez spécifier plusieurs ressources, séparées par des virgules (,).

Pour plus d'informations sur les ressources référencées, consultez la rubrique Présentation des UDT.

Ressources téléchargées.

UDT

SQL

Session

odps.sql.udt.display.tostring

Indique s'il faut encapsuler toutes les colonnes dont le type de sortie final est une UDT avec java.util.Objects.toString(...).

• True : activé.

• False : désactivé.

UDT

SQL

Session

odps.sql.session.java.imports

Spécifie les packages Java référencés par une UDT. Vous pouvez spécifier plusieurs packages, séparés par des virgules (,). Pour plus d'informations sur les packages Java, consultez la rubrique Présentation des UDT.

Packages Java téléchargés.

UDT

SQL

Session

odps.sql.skewjoin

Active ou désactive la fonctionnalité SKEWJOIN pour atténuer les déséquilibres de données (data skew).

• True : activé.

• False : désactivé.

• SELECT

• JOIN

SQL

Session

odps.sql.skewinfo

Spécifie les clés déséquilibrées et leurs valeurs correspondantes pour une opération SKEWJOIN. Pour plus d'informations, consultez la rubrique Optimisation des déséquilibres de données.

-

• SELECT

• JOIN

SQL

Session

odps.sql.udf.ppr.deterministic

Indique s'il faut activer l'élimination des partitions (partition pruning) dans les UDF. Pour plus d'informations sur l'élimination des partitions, consultez la rubrique Clause WHERE (WHERE_condition).

• True : activé.

• False : désactivé.

UDF

SQL

Session

odps.sql.udf.ppr.to.subquery

Indique s'il faut ignorer les erreurs lorsque les informations d'élimination des partitions ne peuvent pas être complétées a posteriori. Pour plus d'informations sur l'élimination des partitions, consultez la rubrique Clause WHERE (WHERE_condition).

• True : activé.

• False : désactivé.

UDF

SQL

Session

odps.optimizer.enable.range.partial.repartitioning

Indique s'il faut activer le mécanisme de suppression du shuffle pour les tables clusterisées par plage (range-clustered).

• True : activé.

• False : désactivé.

• INSERT OVERWRITE

• CREATE TABLE

SQL

Session

odps.optimizer.merge.partitioned.table

Lorsqu'une requête utilise plusieurs fois la même table partitionnée, activez cette propriété pour fusionner les partitions. Cette action minimise les E/S sur la table et améliore les performances.

• True : activé.

• False : désactivé.

SELECT

SQL

Session

odps.optimizer.skew.join.topk.num

Définit le nombre de clés chaudes collectées par l'optimiseur lors de l'exécution d'une opération d'agrégation. Pour plus d'informations, consultez la rubrique Indice SKEWJOIN.

-

SKEWJOIN HINT

SQL

Session

odps.optimizer.stat.collect.auto

Indique s'il faut activer la fonctionnalité Freeride, qui collecte automatiquement les statistiques de colonne pour les tables. Pour plus d'informations sur la collecte des statistiques de l'optimiseur, consultez la rubrique Optimiseur.

• True : activé.

• False : désactivé.

• CREATE TABLE

• INSERT INTO

• INSERT OVERWRITE

SQL

Session

odps.optimizer.stat.collect.plan

Spécifie un plan de collecte pour recueillir des statistiques sur des colonnes spécifiques. Pour plus d'informations sur la collecte des statistiques de l'optimiseur, consultez la rubrique Optimiseur.

-

• CREATE TABLE

• INSERT INTO

• INSERT OVERWRITE

SQL

Session

odps.sql.external.net.vpc

Indique s'il faut activer la prise en charge du VPC pour les tables externes. Pour plus d'informations, consultez les rubriques Tables externes Hologres.

• True : activé.

• False : désactivé.

CREATE TABLE

SQL

Session

odps.sql.groupby.position.alias

Indique s'il faut traiter les constantes entières dans une clause GROUP BY comme des ordinaux de colonne issus de la liste SELECT.

• True : activé.

• False : désactivé.

• SELECT

• GROUP BY

SQL

Session

odps.sql.groupby.skewindata

Indique s'il faut activer le mécanisme anti-déséquilibre pour les opérations GROUP BY.

• True : activé.

• False : désactivé.

GROUP BY

SQL

Session

odps.sql.orderby.position.alias

Indique s'il faut traiter les constantes entières dans une clause ORDER BY comme des ordinaux de colonne issus de la liste SELECT.

• True : activé.

• False : désactivé.

• ORDER BY

• SELECT

SQL

Session

odps.sql.mapjoin.memory.max

Définit la taille de la mémoire pour une petite table chargée en mémoire lors d'une opération MAPJOIN. Unité : MiB.

Plage de valeurs : 0 MiB à 8 192 MiB

JOIN

SQL

Session

odps.sql.distributed.map.join.memory.max

Définit la taille de la mémoire pour chaque instance HashTableBuilder lors d'une opération MAPJOIN. La valeur par défaut est 2 048. Unité : MiB.

Plage : 0 MiB à 8 192 MiB

JOIN

SQL

Session

odps.sql.python.version

Définit la version de Python pour l'exécution des instructions SQL.

• cp27

• cp37

• UDTF

• UDAF

SQL

Session

odps.sql.select.output.format

Indique s'il faut afficher la ligne d'en-tête dans les résultats du client MaxCompute. Pour plus d'informations sur l'utilisation du client MaxCompute, consultez la rubrique Connexion via le client (odpscmd).

• {""needHeader"":false,""fieldDelim"":""""} : n'affiche pas les informations d'en-tête.

• {""needHeader"":true,""fieldDelim"":""""} : affiche les informations d'en-tête.

ALL

SQL

Session

odps.sql.unstructured.data.oss.use.https

Indique s'il faut récupérer les données via HTTPS lors de l'accès à une table externe. Pour plus d'informations sur les tables externes OSS, consultez la rubrique Tables externes ORC.

• True : activé.

• False : désactivé.

ALL

SQL

Session

odps.sql.decimal.tostring.trimzero

Indique s'il faut supprimer les zéros de fin après la virgule décimale pour le type de données Decimal. La valeur par défaut est True, ce qui signifie que les zéros de fin sont supprimés par défaut.

• True : supprime les zéros de fin après la virgule décimale.

• False : conserve les zéros de fin après la virgule décimale.

CAST

SQL

Session

odps.sql.unstructured.tablestore.put.row

Indique s'il faut utiliser le mode d'écriture PutRow pour les tables externes Tablestore.

• True : activé.

• False : désactivé.

ALL

SQL

Session

odps.sql.unstructured.external.max.dop

Définit la simultanéité maximale pour les workers accédant aux tables externes.

Un entier supérieur à 0.

Requêtes et écritures sur les tables externes

SQL

Session/Projet

odps.sql.unstructured.file.pattern.black.list

Lorsque MaxCompute SQL lit une table externe depuis un emplacement OSS ou HDFS, il peut ignorer automatiquement le fichier _SUCCESS écrit par Spark pour éviter les échecs de lecture. Par exemple, au niveau de la session :

CREATE EXTERNAL TABLE IF NOT EXISTS test_oss_pt( 
      t_id INT,
      t_string STRING)
    PARTITIONED BY (pt1 INT,pt2 INT)
    STORED BY 'com.aliyun.odps.CsvStorageHandler' 
    WITH serdeproperties (
     'odps.properties.rolearn'='acs:ram::xxxxxx:role/aliyunodpsdefaultrole'
    ) 
    LOCATION 'oss://oss-cn-hangzhou-internal.aliyuncs.com/oss-mc-test/Demo3/';

    SET odps.sql.unstructured.file.pattern.black.list=.*_SUCCESS$;
    INSERT INTO test_oss_pt PARTITION (pt1=8,pt2=8) VALUES (1,'tree');
    SELECT t_id, t_string FROM test_oss_pt WHERE pt1=8 AND pt2=8;

Valeur : .*_SUCCESS$.

Requêtes sur les tables externes

SQL

Session

odps.meta.exttable.stats.onlinecollect

Les données des tables externes résident dans des lacs de données. Étant donné qu'il s'agit de systèmes ouverts, MaxCompute ne peut pas gérer leurs métadonnées localement. Sans statistiques, l'optimiseur génère souvent un plan d'exécution conservateur, ce qui entraîne de mauvaises performances.

Lorsque cette fonctionnalité est activée, l'optimiseur peut collecter des statistiques de table pendant l'exécution de la requête pour identifier les petites tables. Cela permet à l'optimiseur d'améliorer le plan de requête en utilisant des techniques telles que les jointures par hachage, l'optimisation de l'ordre des jointures, la réduction du shuffle et des pipelines d'exécution plus courts.

True : activé.

False (par défaut) : désactivé.

Requêtes sur les tables externes

SQL

Projet

odps.sql.allow.fullscan

Indique s'il faut autoriser les analyses complètes de table (full table scans) dans un projet. Les analyses complètes de table consomment beaucoup de ressources. Il est recommandé de désactiver cette fonctionnalité pour de meilleures performances.

• True : autorise les analyses complètes de table.

• False : interdit les analyses complètes de table.

SELECT

SQL

Projet

odps.table.lifecycle

Indique si les tables d'un projet doivent avoir un cycle de vie configuré.

• Optional : la clause Lifecycle est facultative lors de la création d'une table. Si vous ne configurez pas de cycle de vie pour la table, celle-ci n'expire jamais.

• Mandatory : la clause Lifecycle est obligatoire. Vous devez configurer un cycle de vie pour la table.

• Inherit : si une table est créée sans cycle de vie spécifié, son cycle de vie correspond à la valeur du paramètre odps.table.lifecycle.value.

CREATE TABLE

SQL

Projet

odps.table.lifecycle.value

Définit le cycle de vie d'une table en jours.

Plage : 1 à 37 231. Valeur par défaut : 37 231.

CREATE TABLE

SQL

Projet

READ_TABLE_MAX_ROW

Définit le nombre de lignes renvoyées par une instruction SELECT.

Plage : 1 à 10000. Valeur par défaut : 10000.

SELECT

SQL

Projet

odps.output.field.formatter

Configure les règles de masquage dynamique des données pour les résultats des requêtes SQL. Pour plus d'informations sur le masquage dynamique des données dans MaxCompute, consultez la rubrique Masquage dynamique des données.

Règles personnalisées de masquage dynamique des données.

SELECT

SQL

Projet

odps.sql.acid.table.enable

Indique si le mécanisme ACID est activé. Pour en savoir plus sur ACID, reportez-vous à la section Sémantique ACID.

• True : Activé.

• False : Désactivé.

ALL

SQL

Session/Projet

odps.io.oss.use.vipserver

Indique s'il faut utiliser VIPServer pour accéder à OSS lors de l'utilisation de tables externes. Si cette propriété n'est pas activée, SLB est utilisé. VIPServer offre des limites de trafic plus élevées et prend en charge le contrôle du trafic, mais introduit des risques de stabilité, tels que des échecs de requête. Évaluez ces risques avant d'activer cette propriété.

• True : Activé

• False (par défaut) : Désactivé

Requêtes de table externe

SQL

Session/Projet

odps.sql.executionengine.enable.string.to.date.full.format

Pour convertir une chaîne de date incluant les heures, minutes et secondes, définissez cette propriété sur True. La valeur par défaut est False.

• True : Activé.

• False : Désactivé.

CAST

SQL

Session/Projet

odps.sql.executionengine.enable.rand.time.seed

Si cette propriété est définie sur False, la fonction Rand utilise l'ID de l'instance actuelle comme graine pour initialiser les nombres aléatoires. Cela garantit l'idempotence de la fonction.

Si cette propriété est définie sur True, la fonction Rand utilise l'heure système actuelle comme graine. Dans ce cas, la fonction Rand n'est pas idempotente et ne peut pas être utilisée comme clé de brassage. Une nouvelle exécution de la tâche produira des résultats différents.

La valeur par défaut est False.

• True : Activé.

• False : Désactivé.

RAND

SQL

Session/Projet

odps.sql.type.system.odps2

Active ou désactive le type de données 2,0. Pour plus d'informations sur le type de données 2,0, consultez la rubrique Version 2.0 des types de données.

• True : Activé.

• False : Désactivé.

Fonctions étendues MaxCompute 2.0

SQL

Session/Projet

odps.sql.type.json.enable

Active ou désactive le type de données JSON. Pour plus d'informations sur le type de données JSON, consultez la rubrique Type de données JSON.

• True : Activé.

• False : Désactivé.

Type de données JSON MaxCompute

SQL

Session/Projet

odps.sql.hive.compatible

Active ou désactive le mode compatible Hive. Lorsqu'il est activé, MaxCompute prend en charge diverses syntaxes spécifiques à Hive, telles que inputRecordReader, outputRecordReader et Serde. Pour plus d'informations sur les types de données compatibles, consultez la rubrique Version des types de données compatibles avec Hive.

• True : Activé.

• False : Désactivé.

ALL

SQL

Session/Projet

odps.sql.metering.value.max

Définit une limite de consommation pour une seule requête SQL. Pour plus d'informations sur la surveillance de la consommation, consultez la rubrique Surveillance, alertes et contrôle de la consommation.

-

ALL

SQL

Session/Projet

odps.sql.timezone

Définit le fuseau horaire d'un projet MaxCompute. Pour plus d'informations sur les fuseaux horaires, consultez la rubrique Opérations de configuration du fuseau horaire.

-

ALL

SQL

Session/Projet

odps.sql.unstructured.oss.commit.mode

Indique s'il faut activer le téléchargement multipart pour écrire des données dans une table externe OSS. Pour plus d'informations, consultez la rubrique Écrire des données dans OSS.

• True : Activé.

• False : Désactivé.

INSERT OVERWRITE

SQL

Session/Projet

odps.sql.groupby.orderby.position.alias

Indique si les constantes entières dans les clauses GROUP BY et ORDER BY doivent être traitées comme des ordinaux de colonne provenant de la liste SELECT.

• True : Activé.

• False : Désactivé.

• GROUP BY

• ORDER BY

• SELECT

SQL

Session/Projet

odps.ext.oss.orc.native

Indique s'il faut utiliser le lecteur ORC natif pour lire les tables.

• True : Activé.

• False : Désactivé.

SELECT

SQL

Session/Projet

odps.sql.job.max.time.hours

Définit la durée d'exécution maximale d'une seule tâche.

Plage : 1 à 72. Valeur par défaut : 24.

Tâches SQL

Facturation

Session

odps.task.quota.preference.tag

Dans les projets utilisant des ressources par abonnement, cette propriété assigne une tâche à un groupe de quotas secondaire spécifique. Si le tag de quota d'une tâche correspond au tag d'un groupe de quotas, la tâche est planifiée vers ce groupe en priorité. Sinon, la tâche est planifiée vers le groupe de quotas par défaut du projet.

set odps.task.quota.preference.tag = payasyougo

tag_name est le tag d'un groupe de quotas dans MaxCompute Housekeeper. Le groupe de quotas doit se trouver dans la même région que le propriétaire du projet auquel appartient la tâche. tag_name ne peut contenir que des lettres, des chiffres et des traits de soulignement (_).

ALL

Facturation

Session

odps.task.wlm.quota

Spécifie le groupe de quotas (par nom) à utiliser pour l'exécution des tâches dans la session actuelle.

-

ALL

Sécurité

Projet

odps.forbid.fetch.result.by.bearertoken

Indique s'il faut empêcher l'onglet Result dans Logview d'afficher les résultats des tâches. Utilisez cette propriété pour protéger les données.

• True : Empêche l'affichage des résultats des tâches.

• False : Autorise l'affichage des résultats des tâches.

ALL

Sécurité

Projet

LabelSecurity

Indique s'il faut activer le mécanisme LabelSecurity. Pour plus d'informations sur le mécanisme LabelSecurity, consultez la rubrique Contrôle d'accès basé sur les libellés.

• True : Activé.

• False : Désactivé.

ALL

Sécurité

Projet

CheckPermissionUsingACL

Indique s'il faut activer le mécanisme d'autorisation par liste de contrôle d'accès (ACL). Pour plus d'informations sur l'autorisation basée sur les ACL, consultez la rubrique Autorisations MaxCompute.

• True : Activé.

• False : Désactivé.

ALL

Sécurité

Projet

CheckPermissionUsingPolicy

Indique s'il faut activer le mécanisme d'autorisation basé sur les politiques. Pour plus d'informations sur l'autorisation basée sur les politiques, consultez la rubrique Contrôle d'accès basé sur les politiques.

• True : Activé.

• False : Désactivé.

ALL

Sécurité

Projet

ObjectCreatorHasAccessPermission

Indique si le créateur d'un objet dispose par défaut des autorisations d'accès à cet objet.

• True : Le créateur de l'objet dispose par défaut des autorisations d'accès.

• False : Le créateur de l'objet ne dispose pas par défaut des autorisations d'accès.

ALL

Sécurité

Projet

ObjectCreatorHasGrantPermission

Indique si le créateur d'un objet dispose par défaut des autorisations de délégation sur cet objet.

• True : Le créateur de l'objet dispose par défaut des autorisations de délégation.

• False : Le créateur de l'objet ne dispose pas par défaut des autorisations de délégation.

ALL

Sécurité

Projet

ProjectProtection

Indique s'il faut activer le mécanisme de protection des données. Pour plus d'informations sur le mécanisme de protection des données, consultez la rubrique Mécanisme de protection des données.

• True : Activé.

• False : Désactivé.

ALL

Sécurité

Projet

odps.output.field.formatter

Configure les règles de masquage dynamique des données pour les résultats des requêtes SQL. Pour plus d'informations sur le masquage dynamique des données, consultez la rubrique Masquage dynamique des données.

Règles personnalisées de masquage dynamique des données.

SELECT

Sécurité

Projet

odps.security.ip.whitelist

Définit la liste d'autorisation IP pour les clients qui accèdent au projet via Internet public, généralement utilisée pour les intégrations de services cloud. Pour plus d'informations sur les listes d'autorisation IP, consultez la rubrique Gérer les listes d'autorisation IP.

Une liste d'adresses IP, séparées par des virgules (,).

ALL

Sécurité

Projet

odps.security.vpc.whitelist

Spécifie la liste d'autorisation IP pour accéder à un projet depuis un VPC. Pour plus d'informations sur les listes d'autorisation IP, consultez la rubrique Gérer les listes d'autorisation IP.

Format : RegionID_VPCID[Adresse IP]

ALL

Types de données

Projet

odps.sql.decimal.odps2

Active ou désactive le type de données DECIMAL(précision, échelle) de la version 2.0 des types de données. Pour plus d'informations sur les types de données, consultez la rubrique Version 2.0 des types de données.

• True : Activé.

• False : Désactivé.

ALL

Stockage des données

Projet

odps.timemachine.retention.days

Définit la période de rétention des données de sauvegarde. Pour plus d'informations sur la sauvegarde des données, consultez la rubrique Sauvegarde locale.

Plage en jours : 0 à 30. Valeur par défaut : 1.

ALL

Métadonnées

Projet

odps.schema.evolution.enable

Active l'évolution du schéma.

• True : Activé.

• False (par défaut) : Désactivé.

Évolution du schéma.