MaxCompute:Paramètres de type Flag

Catégorie

Portée

Paramètre

Description

Valeur

Commandes concernées

Écosystème

Session

console.sql.result.instancetunnel

Active ou désactive InstanceTunnel. Pour plus d'informations sur les commandes Tunnel, consultez la rubrique Instructions d'utilisation.

• True : activé.

• False : désactivé.

SELECT

Ordonnancement

Session

odps.job.workers.limit

Nombre maximal de workers simultanés pour l'ensemble d'un job.

Plage : 1 à 1 000 000

ALL

Ordonnancement

Session

odps.stage.mapper.mem

Définit la taille de mémoire allouée à chaque worker map.

Plage : 256 Mio à 12 288 Mio. Valeur par défaut : 1 024 Mio.

ALL

Ordonnancement

Session

odps.stage.reducer.mem

Définit la taille de mémoire allouée à chaque worker reduce.

Plage : 256 Mio à 12 288 Mio. Valeur par défaut : 1 024 Mio.

ALL

Ordonnancement

Session

odps.stage.joiner.mem

Définit la taille de mémoire allouée à chaque worker join.

Plage : 256 Mio à 12 288 Mio. Valeur par défaut : 1 024 Mio.

ALL

Ordonnancement

Session

odps.stage.mem

Définit la taille de mémoire pour tous les workers d'une tâche MaxCompute donnée. Cette propriété est moins prioritaire que odps.stage.mapper.mem, odps.stage.reducer.mem et odps.stage.joiner.mem.

Plage : 256 Mio à 12 288 Mio. Aucune valeur par défaut.

ALL

Ordonnancement

Session

odps.stage.mapper.split.size

Définit la taille des données d'entrée pour chaque worker map, ce qui correspond à la taille de split du fichier d'entrée. Ce paramètre contrôle indirectement le nombre de workers à chaque étape map.

Unité : Mio. Valeur par défaut : 256 Mio.

ALL

Ordonnancement

Session

odps.sql.split.size

Définit la taille d'un split de données unique pour le traitement parallèle au niveau de la table.

Unité : Mio.

Exemple : {"table1": 1024, "table2": 512}.

ALL

Ordonnancement

Session

odps.sql.split.row.count

Définit le nombre de lignes d'un split unique pour le traitement parallèle au niveau de la table.

Un entier supérieur à 0.

Exemple : {"table1": 100, "table2": 500}.

ALL

Ordonnancement

Session

odps.sql.split.dop

Définit le degré de parallélisme au niveau de la table.

Un entier supérieur à 0.

Exemple : {"table1": 1, "table2": 5}.

ALL

Ordonnancement

Session

odps.stage.reducer.num

Définit le nombre de workers pour chaque étape reduce.

-

ALL

Ordonnancement

Session

odps.stage.joiner.num

Définit le nombre de workers pour chaque étape join.

-

ALL

Ordonnancement

Session

odps.stage.num

Définit le parallélisme (nombre de workers) par étape dans un job MaxCompute. Cette propriété est moins prioritaire que odps.stage.mapper.split.size, odps.stage.reducer.num et odps.stage.joiner.num.

1 à 10 000

ALL

Ordonnancement

Projet

odps.instance.priority.enable

Active ou désactive la priorité des jobs pour les projets utilisant des ressources par abonnement. Pour plus d'informations sur cette fonctionnalité, consultez la rubrique Priorité des jobs.

• True : activé.

• False : désactivé.

ALL

SQL

Session

odps.sql.reshuffle.dynamicpt

Active ou désactive le remaniement (reshuffle) des partitions dynamiques afin d'éviter la création d'un trop grand nombre de petits fichiers.

• True : activé.

• False : désactivé.

• INSERT INTO

• INSERT OVERWRITE

SQL

Session

odps.sql.udf.getjsonobj.new

Indique si la fonction GET_JSON_OBJECT renvoie la chaîne d'origine sans échapper les caractères spéciaux.

• True : activé.

• False : désactivé.

UDF

SQL

Session

odps.sql.udf.jvm.memory

Une erreur de dépassement de mémoire (OOM) peut survenir lorsqu'une UDF traite de grands volumes de données pour des calculs ou des tris en mémoire. Le cas échéant, augmentez la valeur de cette propriété. Il s'agit toutefois d'une solution temporaire ; l'optimisation du code de l'UDF reste la correction recommandée à long terme.

Plage : 256 Mio à 12 288 Mio. Valeur par défaut : 1 024 Mio.

UDF

SQL

Session

odps.function.timeout

Définit le délai d'expiration d'une UDF.

Plage : 0 s à 3 600 s. Valeur par défaut : 600 s.

UDF

SQL

Session

odps.sql.session.resources

Spécifie les ressources référencées par un UDT. Vous pouvez indiquer plusieurs ressources, séparées par des virgules (,).

Pour plus d'informations sur les ressources référencées, consultez la rubrique Présentation des UDT.

Ressources importées.

UDT

SQL

Session

odps.sql.udt.display.tostring

Indique s'il faut encapsuler toutes les colonnes dont le type de sortie final est un UDT avec java.util.Objects.toString(...).

• True : activé.

• False : désactivé.

UDT

SQL

Session

odps.sql.session.java.imports

Spécifie les packages Java référencés par un UDT. Vous pouvez indiquer plusieurs packages, séparés par des virgules (,). Pour plus d'informations sur les packages Java, consultez la rubrique Présentation des UDT.

Packages Java importés.

UDT

SQL

Session

odps.sql.skewjoin

Active ou désactive la fonctionnalité SKEWJOIN afin d'atténuer l'asymétrie des données.

• True : activé.

• False : désactivé.

• SELECT

• JOIN

SQL

Session

odps.sql.skewinfo

Spécifie les clés asymétriques et leurs valeurs correspondantes pour une opération SKEWJOIN. Pour plus d'informations, consultez la rubrique Optimiser l'asymétrie des données.

-

• SELECT

• JOIN

SQL

Session

odps.sql.udf.ppr.deterministic

Indique s'il faut activer l'élagage des partitions dans les UDF. Pour plus d'informations sur l'élagage des partitions, consultez la rubrique Clause WHERE (WHERE_condition).

• True : activé.

• False : désactivé.

UDF

SQL

Session

odps.sql.udf.ppr.to.subquery

Indique s'il faut ignorer les erreurs lorsque les informations d'élagage des partitions ne peuvent pas être réinjectées. Pour plus d'informations sur l'élagage des partitions, consultez la rubrique Clause WHERE (WHERE_condition).

• True : activé.

• False : désactivé.

UDF

SQL

Session

odps.optimizer.enable.range.partial.repartitioning

Indique s'il faut activer le mécanisme de suppression du shuffle pour les tables clusterisées par plage.

• True : activé.

• False : désactivé.

• INSERT OVERWRITE

• CREATE TABLE

SQL

Session

odps.optimizer.merge.partitioned.table

Lorsqu'une requête utilise plusieurs fois la même table partitionnée, activez cette propriété pour fusionner les partitions. Cette action réduit les E/S sur la table et améliore les performances.

• True : activé.

• False : désactivé.

SELECT

SQL

Session

odps.optimizer.skew.join.topk.num

Définit le nombre de clés chaudes collectées par l'optimiseur lors de l'exécution d'une opération d'agrégation. Pour plus d'informations, consultez la rubrique SKEWJOIN HINT.

-

SKEWJOIN HINT

SQL

Session

odps.optimizer.stat.collect.auto

Indique s'il faut activer la fonctionnalité Freeride, qui collecte automatiquement les statistiques de colonnes des tables. Pour plus d'informations sur la collecte des statistiques de l'optimiseur, consultez la rubrique Optimiseur.

• True : activé.

• False : désactivé.

• CREATE TABLE

• INSERT INTO

• INSERT OVERWRITE

SQL

Session

odps.optimizer.stat.collect.plan

Spécifie un plan de collecte permettant de recueillir des statistiques sur des colonnes précises. Pour plus d'informations sur la collecte des statistiques de l'optimiseur, consultez la rubrique Optimiseur.

-

• CREATE TABLE

• INSERT INTO

• INSERT OVERWRITE

SQL

Session

odps.sql.external.net.vpc

Indique s'il faut activer la prise en charge du VPC pour les tables externes. Pour plus d'informations, consultez les rubriques Tables externes Hologres.

• True : activé.

• False : désactivé.

CREATE TABLE

SQL

Session

odps.sql.groupby.position.alias

Indique s'il faut interpréter les constantes entières d'une clause GROUP BY comme des positions de colonnes issues de la liste SELECT.

• True : activé.

• False : désactivé.

• SELECT

• GROUP BY

SQL

Session

odps.sql.groupby.skewindata

Indique s'il faut activer le mécanisme anti-asymétrie pour les opérations GROUP BY.

• True : activé.

• False : désactivé.

GROUP BY

SQL

Session

odps.sql.orderby.position.alias

Indique s'il faut interpréter les constantes entières d'une clause ORDER BY comme des positions de colonnes issues de la liste SELECT.

• True : activé.

• False : désactivé.

• ORDER BY

• SELECT

SQL

Session

odps.sql.mapjoin.memory.max

Définit la taille de mémoire allouée à une petite table chargée en mémoire lors d'une opération MAPJOIN. Unité : Mio.

Plage de valeurs : 0 Mio à 8 192 Mio

JOIN

SQL

Session

odps.sql.distributed.map.join.memory.max

Définit la taille de mémoire allouée à chaque instance HashTableBuilder lors d'une opération MAPJOIN. La valeur par défaut est 2048. Unité : Mio.

Plage : 0 Mio à 8 192 Mio

JOIN

SQL

Session

odps.sql.python.version

Définit la version de Python utilisée pour exécuter les instructions SQL.

• cp27

• cp37

• UDTF

• UDAF

SQL

Session

odps.sql.select.output.format

Indique s'il faut afficher la ligne d'en-tête dans les résultats du client MaxCompute. Pour plus d'informations sur l'utilisation du client MaxCompute, consultez la rubrique Connexion via le client (odpscmd).

• {""needHeader"":false,""fieldDelim"":""""} : n'affiche pas les informations d'en-tête.

• {""needHeader"":true,""fieldDelim"":""""} : affiche les informations d'en-tête.

ALL

SQL

Session

odps.sql.unstructured.data.oss.use.https

Indique s'il faut récupérer les données via HTTPS lors de l'accès à une table externe. Pour plus d'informations sur les tables externes OSS, consultez la rubrique Tables externes ORC.

• True : activé.

• False : désactivé.

ALL

SQL

Session

odps.sql.decimal.tostring.trimzero

Indique s'il faut supprimer les zéros finaux après la virgule décimale pour le type de données Decimal. La valeur par défaut est True, ce qui signifie que les zéros finaux sont supprimés par défaut.

• True : supprime les zéros finaux après la virgule décimale.

• False : conserve les zéros finaux après la virgule décimale.

CAST

SQL

Session

odps.sql.unstructured.tablestore.put.row

Indique s'il faut utiliser le mode d'écriture PutRow pour les tables externes Tablestore.

• True : activé.

• False : désactivé.

ALL

SQL

Session

odps.sql.unstructured.external.max.dop

Définit le parallélisme maximal des workers accédant aux tables externes.

Un entier supérieur à 0.

Requêtes et écritures sur les tables externes

SQL

Session/Projet

odps.sql.unstructured.file.pattern.black.list

Lorsque MaxCompute SQL lit une table externe depuis un emplacement OSS ou HDFS, il peut ignorer automatiquement le fichier _SUCCESS écrit par Spark afin d'éviter les échecs de lecture. Par exemple, au niveau de la session :

CREATE EXTERNAL TABLE IF NOT EXISTS test_oss_pt( 
      t_id INT,
      t_string STRING)
    PARTITIONED BY (pt1 INT,pt2 INT)
    STORED BY 'com.aliyun.odps.CsvStorageHandler' 
    WITH serdeproperties (
     'odps.properties.rolearn'='acs:ram::xxxxxx:role/aliyunodpsdefaultrole'
    ) 
    LOCATION 'oss://oss-cn-hangzhou-internal.aliyuncs.com/oss-mc-test/Demo3/';

    SET odps.sql.unstructured.file.pattern.black.list=.*_SUCCESS$;
    INSERT INTO test_oss_pt PARTITION (pt1=8,pt2=8) VALUES (1,'tree');
    SELECT t_id, t_string FROM test_oss_pt WHERE pt1=8 AND pt2=8;

Valeur : .*_SUCCESS$.

Requêtes sur les tables externes

SQL

Session

odps.meta.exttable.stats.onlinecollect

Les données des tables externes résident dans des lacs de données. Ces environnements étant ouverts, MaxCompute ne peut pas gérer leurs métadonnées localement. Sans statistiques, l'optimiseur génère souvent un plan d'exécution conservateur, ce qui dégrade les performances.

Lorsque cette fonctionnalité est activée, l'optimiseur peut collecter les statistiques des tables pendant l'exécution de la requête afin d'identifier les petites tables. Il améliore ainsi le plan de requête grâce à des techniques telles que les jointures hachées, l'optimisation de l'ordre des jointures, la réduction du shuffle et le raccourcissement des pipelines d'exécution.

True : activé.

False (par défaut) : désactivé.

Requêtes sur les tables externes

SQL

Projet

odps.sql.allow.fullscan

Indique s'il faut autoriser les analyses complètes de table dans un projet. Ces opérations consommant beaucoup de ressources, il est recommandé de désactiver cette fonctionnalité pour obtenir de meilleures performances.

• True : autorise les analyses complètes de table.

• False : interdit les analyses complètes de table.

SELECT

SQL

Projet

odps.table.lifecycle

Indique si les tables d'un projet doivent obligatoirement avoir un cycle de vie configuré.

• Optional : la clause Lifecycle est facultative lors de la création d'une table. Si aucun cycle de vie n'est configuré, la table n'expire jamais.

• Mandatory : la clause Lifecycle est obligatoire. Vous devez configurer un cycle de vie pour la table.

• Inherit : si une table est créée sans cycle de vie spécifié, celui-ci prend la valeur de odps.table.lifecycle.value.

CREATE TABLE

SQL

Projet

odps.table.lifecycle.value

Définit le cycle de vie d'une table, exprimé en jours.

Plage : 1 à 37 231. Valeur par défaut : 37 231.

CREATE TABLE

SQL

Projet

READ_TABLE_MAX_ROW

Définit le nombre de lignes renvoyées par une instruction SELECT.

Plage : de 1 à 10000. Valeur par défaut : 10000.

SELECT

SQL

Projet

odps.output.field.formatter

Configure les règles de masquage dynamique des données pour les résultats des requêtes SQL. Pour plus d'informations sur le masquage dynamique des données dans MaxCompute, consultez la rubrique Masquage dynamique des données.

Règles personnalisées de masquage dynamique des données.

SELECT

SQL

Projet

odps.sql.acid.table.enable

Indique s'il faut activer le mécanisme ACID. Pour en savoir plus sur ce mécanisme, reportez-vous à la rubrique Sémantique ACID.

• True : activé.

• False : désactivé.

ALL

SQL

Session/Projet

odps.io.oss.use.vipserver

Détermine si VIPServer est utilisé pour accéder à OSS depuis les tables externes. Sans cette propriété, SLB prend le relais. VIPServer offre des limites de trafic plus élevées et permet le contrôle du trafic, mais il introduit des risques de stabilité, comme des échecs de requête. Évaluez ces risques avant d'activer cette propriété.

• True : activé

• False (par défaut) : désactivé

Requêtes sur les tables externes

SQL

Session/Projet

odps.sql.executionengine.enable.string.to.date.full.format

Pour convertir une chaîne de date contenant des heures, des minutes et des secondes, définissez cette propriété sur True. La valeur par défaut est False.

• True : activé.

• False : désactivé.

CAST

SQL

Session/Projet

odps.sql.executionengine.enable.rand.time.seed

Lorsque cette propriété vaut False, la fonction Rand utilise l'ID de l'instance actuelle comme graine pour initialiser les nombres aléatoires. Cela garantit l'idempotence de la fonction.

Si elle vaut True, la fonction Rand se base sur l'heure système courante comme graine. Dans ce cas, la fonction perd son caractère idempotent et ne peut plus servir de clé de shuffle. Une nouvelle exécution du job produira des résultats différents.

La valeur par défaut est False.

• True : activé.

• False : désactivé.

RAND

SQL

Session/Projet

odps.sql.type.system.odps2

Active ou désactive les types de données 2,0. Pour plus de détails, consultez la rubrique Types de données version 2.0.

• True : activé.

• False : désactivé.

Fonctions étendues de MaxCompute 2.0

SQL

Session/Projet

odps.sql.type.json.enable

Active ou désactive le type de données JSON. Pour en savoir plus, reportez-vous à la rubrique Type de données JSON.

• True : activé.

• False : désactivé.

Type de données JSON de MaxCompute

SQL

Session/Projet

odps.sql.hive.compatible

Active ou désactive le mode compatible Hive. Une fois activé, MaxCompute prend en charge diverses syntaxes propres à Hive, telles que inputRecordReader, outputRecordReader et Serde. Pour plus d'informations sur les types de données compatibles, consultez la rubrique Version des types de données compatible Hive.

• True : activé.

• False : désactivé.

ALL

SQL

Session/Projet

odps.sql.metering.value.max

Fixe une limite de consommation pour une requête SQL unique. Pour en savoir plus sur la surveillance de la consommation, consultez la rubrique Surveillance, alertes et contrôle de la consommation.

-

ALL

SQL

Session/Projet

odps.sql.timezone

Définit le fuseau horaire d'un projet MaxCompute. Pour plus d'informations sur les fuseaux horaires, consultez la rubrique Opérations de configuration du fuseau horaire.

-

ALL

SQL

Session/Projet

odps.sql.unstructured.oss.commit.mode

Indique s'il faut activer le chargement multipart pour écrire des données dans une table externe OSS. Pour plus d'informations, consultez la rubrique Écrire des données dans OSS.

• True : activé.

• False : désactivé.

INSERT OVERWRITE

SQL

Session/Projet

odps.sql.groupby.orderby.position.alias

Détermine si les constantes entières des clauses GROUP BY et ORDER BY sont interprétées comme des numéros de colonne de la liste SELECT.

• True : activé.

• False : désactivé.

• GROUP BY

• ORDER BY

• SELECT

SQL

Session/Projet

odps.ext.oss.orc.native

Précise si le lecteur ORC natif doit être utilisé pour lire les tables.

• True : activé.

• False : désactivé.

SELECT

SQL

Session

odps.sql.job.max.time.hours

Définit la durée d'exécution maximale autorisée pour un job unique.

Plage : de 1 à 72. Valeur par défaut : 24.

Jobs SQL

Facturation

Session

odps.task.quota.preference.tag

Dans les projets utilisant des ressources par abonnement, cette propriété affecte un job à un groupe de quotas secondaire spécifique. Si le tag de quota du job correspond à celui d'un groupe, le job y est planifié en priorité. Dans le cas contraire, il est dirigé vers le groupe de quotas par défaut du projet.

set odps.task.quota.preference.tag = payasyougo

tag_name correspond au tag d'un groupe de quotas dans MaxCompute Housekeeper. Ce groupe doit se trouver dans la même région que le propriétaire du projet auquel appartient le job. tag_name n'accepte que des lettres, des chiffres et des traits de soulignement (_).

ALL

Facturation

Session

odps.task.wlm.quota

Spécifie le groupe de quotas (par son nom) à utiliser pour l'exécution des tâches de la session en cours.

-

ALL

Sécurité

Projet

odps.forbid.fetch.result.by.bearertoken

Empêche l'onglet Result de Logview d'afficher les résultats des jobs. Utilisez cette propriété pour protéger vos données.

• True : masque les résultats des jobs.

• False : autorise l'affichage des résultats.

ALL

Sécurité

Projet

LabelSecurity

Indique s'il faut activer le mécanisme LabelSecurity. Pour en savoir plus, consultez la rubrique Contrôle d'accès basé sur les libellés.

• True : activé.

• False : désactivé.

ALL

Sécurité

Projet

CheckPermissionUsingACL

Active ou désactive le mécanisme d'autorisation par liste de contrôle d'accès (ACL). Pour plus d'informations, reportez-vous à la rubrique Autorisations MaxCompute.

• True : activé.

• False : désactivé.

ALL

Sécurité

Projet

CheckPermissionUsingPolicy

Active ou désactive le mécanisme d'autorisation par politique. Pour en savoir plus, consultez la rubrique Contrôle d'accès basé sur les politiques.

• True : activé.

• False : désactivé.

ALL

Sécurité

Projet

ObjectCreatorHasAccessPermission

Définit si le créateur d'un objet obtient automatiquement les permissions d'accès à cet objet.

• True : le créateur dispose des permissions d'accès par défaut.

• False : aucun accès n'est accordé par défaut au créateur.

ALL

Sécurité

Projet

ObjectCreatorHasGrantPermission

Détermine si le créateur d'un objet reçoit par défaut les permissions nécessaires pour accorder des droits sur cet objet.

• True : le créateur possède les permissions d'octroi par défaut.

• False : le créateur ne peut pas octroyer de permissions par défaut.

ALL

Sécurité

Projet

ProjectProtection

Active ou désactive le mécanisme de protection des données. Pour plus d'informations, consultez la rubrique Mécanisme de protection des données.

• True : activé.

• False : désactivé.

ALL

Sécurité

Projet

odps.output.field.formatter

Configure les règles de masquage dynamique des données pour les résultats des requêtes SQL. Pour en savoir plus, reportez-vous à la rubrique Masquage dynamique des données.

Règles personnalisées de masquage dynamique des données.

SELECT

Sécurité

Projet

odps.security.ip.whitelist

Définit la liste d'autorisation IP pour les clients qui accèdent au projet via Internet public, généralement utilisée lors d'intégrations avec des services cloud. Pour plus d'informations, consultez la rubrique Gérer les listes d'autorisation IP.

Liste d'adresses IP séparées par des virgules (,).

ALL

Sécurité

Projet

odps.security.vpc.whitelist

Spécifie la liste d'autorisation IP permettant d'accéder à un projet depuis un VPC. Pour plus d'informations, consultez la rubrique Gérer les listes d'autorisation IP.

Format : RegionID_VPCID[IP Address]

ALL

Types de données

Projet

odps.sql.decimal.odps2

Active ou désactive le type de données DECIMAL(precision, scale) propre à la version 2.0. Pour plus de détails sur les types de données, consultez la rubrique Types de données version 2.0.

• True : activé.

• False : désactivé.

ALL

Stockage des données

Projet

odps.timemachine.retention.days

Définit la durée de conservation des données de sauvegarde. Pour en savoir plus sur la sauvegarde des données, consultez la rubrique Sauvegarde locale.

Plage en jours : de 0 à 30. Valeur par défaut : 1.

ALL

Métadonnées

Projet

odps.schema.evolution.enable

Active l'évolution du schéma.

• True : activé.

• False (par défaut) : désactivé.

Évolution du schéma.