Parameter settings for EMR FE, BE, Broker, and system - E-MapReduce

Cette rubrique décrit les paramètres Frontend (FE), Backend (BE) et système pour les clusters StarRocks sur E-MapReduce (EMR), ainsi que la procédure de modification.

Les paramètres se divisent en deux catégories :

Paramètres dynamiques : ils sont appliqués immédiatement sans redémarrage du service. Tous les paramètres dynamiques du FE peuvent être modifiés en ligne.
Paramètres statiques : ils ne sont pris en compte qu'après un redémarrage du service.

Consulter la configuration actuelle

Pour afficher la configuration actuelle du FE, exécutez la commande suivante dans un client MySQL connecté au FE :

ADMIN SHOW FRONTEND CONFIG;

La sortie inclut le nom du paramètre, sa valeur actuelle et indique si le paramètre est modifiable (peut être modifié en ligne).

Modifier les paramètres dynamiques du FE

Exécutez la commande suivante dans un client MySQL connecté au FE :

ADMIN SET FRONTEND CONFIG ("key" = "value");

Paramètres dynamiques du FE

Journalisation

Paramètre	Valeur par défaut	Description
`qe_slow_log_ms`	`5000`	Seuil de détection des requêtes lentes. Les requêtes dont la durée d'exécution dépasse cette valeur sont enregistrées comme lentes. Unité : millisecondes.

Gestion des métadonnées et du cluster

Paramètre	Valeur par défaut	Description
`catalog_try_lock_timeout_ms`	`5000`	Délai d'attente pour l'acquisition d'un verrou de catalogue. Unité : millisecondes.
`edit_log_roll_num`	`50000`	Nombre maximal d'entrées de journal d'image écrites avant la création d'un nouveau fichier journal.
`ignore_unknown_log_id`	`FALSE`	Indique s'il faut ignorer les ID de journal inconnus. Définissez ce paramètre sur `TRUE` pour les ignorer, ou sur `FALSE` pour arrêter le FE lorsque des ID inconnus sont rencontrés. Des ID de journal inconnus peuvent apparaître lorsqu'un FE est restauré vers une version antérieure que les BE ne reconnaissent pas.
`ignore_meta_check`	`FALSE`	Indique s'il faut ignorer l'écart de métadonnées. Définissez ce paramètre sur `TRUE` pour ignorer l'écart, ou sur `FALSE` pour appliquer la vérification.
`max_backend_down_time_second`	`3600`	Durée maximale pendant laquelle un BE peut rejoindre le cluster après une déconnexion du FE. Si le BE ne se reconnecte pas dans ce délai, il est considéré comme définitivement hors service. Unité : secondes.
`drop_backend_after_decommission`	`TRUE`	Indique s'il faut supprimer automatiquement un nœud BE après sa mise hors service. Définissez ce paramètre sur `TRUE` pour le supprimer, ou sur `FALSE` pour le conserver.

Moteur de requête

Paramètre	Valeur par défaut	Description
`expr_children_limit`	`10000`	Nombre maximal d'éléments autorisés dans un prédicat IN au sein d'une requête.
`expr_depth_limit`	`3000`	Profondeur maximale d'imbrication des expressions dans une requête.
`max_allowed_in_element_num_of_delete`	`10000`	Nombre maximal d'éléments dans le prédicat IN d'une instruction DELETE.
`max_layout_length_per_row`	`2147483647`	Longueur maximale d'une seule ligne.
`disable_cluster_feature`	`TRUE`	Indique s'il faut désactiver la fonctionnalité de cluster logique. Définissez ce paramètre sur `TRUE` pour la désactiver, ou sur `FALSE` pour l'activer.
`enable_materialized_view`	`TRUE`	Indique s'il faut activer les vues matérialisées. Définissez ce paramètre sur `TRUE` pour les activer, ou sur `FALSE` pour les désactiver.
`enable_decimal_v3`	`TRUE`	Indique s'il faut prendre en charge le type de données DECIMAL V3. Définissez ce paramètre sur `TRUE` pour l'activer, ou sur `FALSE` pour le désactiver.
`enable_sql_blacklist`	`FALSE`	Indique s'il faut appliquer la liste noire des requêtes SQL. Lorsqu'elle est activée, les requêtes correspondant aux motifs de la liste noire ne peuvent pas être exécutées. Définissez ce paramètre sur `TRUE` pour l'activer, ou sur `FALSE` pour le désactiver.
`dynamic_partition_check_interval_seconds`	`600`	Intervalle auquel le FE vérifie la présence de nouvelles données et crée automatiquement des partitions. Unité : secondes.
`dynamic_partition_enable`	`TRUE`	Indique s'il faut activer le partitionnement dynamique. Définissez ce paramètre sur `TRUE` pour l'activer, ou sur `FALSE` pour le désactiver.
`max_partitions_in_one_batch`	`4096`	Nombre maximal de partitions pouvant être créées en un seul lot.
`max_query_retry_time`	`2`	Nombre maximal de tentatives de réexécution d'une requête sur le FE.
`max_create_table_timeout_second`	`60`	Délai d'attente maximal pour la création d'une table. Unité : secondes.
`max_running_rollup_job_num_per_table`	`1`	Nombre maximal de tâches Rollup concurrentes par table.
`max_planner_scalar_rewrite_num`	`100000`	Nombre maximal de réécritures d'un opérateur scalaire par l'optimiseur.
`statistics_manager_sleep_time_sec`	`600`	Intervalle de création des tables de statistiques. Unité : secondes.
`statistic_collect_interval_sec`	`7200`	Intervalle de collecte des statistiques. Unité : secondes.
`statistic_update_interval_sec`	`86400`	Intervalle par défaut de mise à jour des statistiques. Unité : secondes.
`statistic_sample_collect_rows`	`200000`	Nombre de lignes échantillonnées lors de la collecte des statistiques.
`enable_statistic_collect`	`TRUE`	Indique s'il faut activer la collecte des statistiques. Définissez ce paramètre sur `TRUE` pour l'activer, ou sur `FALSE` pour la désactiver.
`enable_local_replica_selection`	`FALSE`	Indique si l'optimiseur sélectionne prioritairement les réplicas de tablettes situés sur des BE partageant la même adresse IP que le FE. Définissez ce paramètre sur `TRUE` pour privilégier les réplicas locaux, ou sur `FALSE` pour conserver le comportement de sélection par défaut.
`max_distribution_pruner_recursion_depth`	`100`	Profondeur maximale de récursivité pour l'élagage des partitions.
`max_scalar_operator_flat_children`	Veuillez vous reporter à la version open source.	Nombre maximal de nœuds enfants autorisés lorsque l'optimiseur réécrit un ScalarOperator (expression). Utilisez ce paramètre pour limiter la complexité des expressions et résoudre l'erreur `Expression too complex` qui survient lors de l'exécution d'instructions SQL complexes.

Remarque

Tenez compte des points suivants lors de la configuration du paramètre max_scalar_operator_flat_children :

Définissez la valeur du paramètre max_scalar_operator_flat_children entre 10 000 et 50 000. Si le nombre de nœuds d'expression dans votre instruction SQL dépasse largement cette limite (par exemple, plus de 120 000), augmentez la valeur à 150 000 ou plus.
Ce paramètre peut ne pas être directement consultable dans la console EMR. Ajoutez manuellement cet élément de configuration sur la page de configuration des paramètres avant de le définir.

Chargement et déchargement

Paramètre	Valeur par défaut	description
`load_straggler_wait_second`	`300`	Lag de chargement maximal toléré pour un réplica BE avant que les données ne soient clonées depuis d'autres réplicas. Unité : secondes.
`desired_max_waiting_jobs`	`100`	Nombre maximal de tâches en attente tous types confondus, y compris la création de table, le chargement et les modifications de schéma.
`max_running_txn_num_per_db`	`100`	Nombre maximal de tâches de chargement simultanées par base de données.
`max_load_timeout_second`	`259200`	Délai d'attente maximal pour toute tâche de chargement. Unité : secondes.
`min_load_timeout_second`	`1`	Délai d'attente minimal pour toute tâche de chargement. Unité : secondes.
`load_parallel_instance_num`	`1`	Nombre d'instances de chargement simultanées sur un seul nœud BE.
`disable_hadoop_load`	`FALSE`	Indique s'il faut désactiver le chargement des données depuis Hadoop. Définissez la valeur sur `TRUE` pour désactiver ; définissez-la sur `FALSE` pour activer.
`disable_load_job`	`FALSE`	Indique s'il faut rejeter les nouvelles tâches de chargement lorsque le cluster rencontre une erreur. Définissez la valeur sur `TRUE` pour rejeter ; définissez-la sur `FALSE` pour accepter.
`db_used_data_quota_update_interval_secs`	`300`	Intervalle auquel le FE met à jour l'utilisation du quota de données pour chaque base de données. Unité : secondes.
`history_job_keep_max_second`	`604800`	Période de rétention maximale des tâches historiques. Unité : secondes.
`label_keep_max_num`	`1000`	Nombre maximal de tâches de chargement conservées durant la période définie par `label_keep_max_second`.
`label_keep_max_second`	`259200`	Période de rétention des libellés de tâches de chargement. Unité : secondes.
`max_routine_load_job_num`	`100`	Nombre maximal de tâches Routine Load.
`max_routine_load_task_concurrent_num`	`5`	Nombre maximal de tâches simultanées au sein d'une seule tâche Routine Load.
`max_routine_load_task_num_per_be`	`5`	Nombre maximal de tâches Routine Load simultanées sur un seul nœud BE. Cette valeur doit être inférieure ou égale à `routine_load_thread_pool_size`.
`max_routine_load_batch_size`	`524288000`	Volume de données maximal chargé par une seule tâche Routine Load. Unité : octets.
`routine_load_task_consume_second`	`3`	Durée maximale qu'une tâche Routine Load consacre à la consommation de données. Unité : secondes.
`routine_load_task_timeout_second`	`15`	Délai d'attente pour une tâche Routine Load. Unité : secondes.
`max_tolerable_backend_down_num`	`0`	Nombre maximal de nœuds BE défaillants autorisés avant que les tâches Routine Load ne puissent plus être récupérées automatiquement.
`period_of_auto_resume_min`	`5`	Intervalle auquel le FE tente de récupérer automatiquement les tâches Routine Load. Unité : minutes.
`spark_load_default_timeout_second`	`86400`	Délai d'attente pour une tâche Spark Load. Unité : secondes.
`spark_home_default_dir`	`STARROCKS_HOME_DIR/lib/spark2x`	Répertoire racine du client Spark.
`stream_load_default_timeout_second`	`600`	Délai d'attente par défaut pour une tâche Stream Load. Unité : secondes.
`max_stream_load_timeout_second`	`259200`	Délai d'attente maximal pour une tâche Stream Load. Unité : secondes.
`insert_load_default_timeout_second`	`3600`	Délai d'attente pour une opération de chargement INSERT INTO. Unité : secondes.
`broker_load_default_timeout_second`	`14400`	Délai d'attente pour une tâche Broker Load. Unité : secondes.
`min_bytes_per_broker_scanner`	`67108864`	Volume de données minimal traité par une seule instance Broker Load. Par défaut : 64 Mo.
`max_broker_concurrency`	`100`	Nombre maximal d'instances Broker Load simultanées.
`export_max_bytes_per_be_per_task`	`268435456`	Volume de données maximal exporté depuis un seul nœud BE par une seule tâche de déchargement. Par défaut : 256 Mo.
`export_running_job_num_limit`	`5`	Nombre maximal de tâches de déchargement de données simultanées.
`export_task_default_timeout_second`	`7200`	Délai d'attente pour une tâche de déchargement de données. Par défaut : 2 heures. Unité : secondes.

Storage

Parameter	Default value	Description
`enable_strict_storage_medium_check`	`FALSE`	Indique si le FE vérifie l'espace de stockage disponible sur les BE lors de la création d'une table. Définissez ce paramètre sur `TRUE` pour activer la vérification, ou sur `FALSE` pour l'ignorer.
`capacity_used_percent_high_water`	`0.75`	Seuil supérieur d'utilisation du disque pour un BE. Lorsque l'utilisation du disque dépasse 75 %, le FE cesse d'envoyer des tâches de création de table et de clonage à ce BE jusqu'à ce que l'utilisation redescende en dessous du seuil.
`storage_high_watermark_usage_percent`	`85`	Pourcentage maximal d'utilisation du stockage autorisé dans le répertoire de stockage d'un BE.
`storage_min_left_capacity_bytes`	`2147483648`	Espace libre minimal requis dans le répertoire de stockage d'un BE. Valeur par défaut : 2 Go.
`storage_flood_stage_left_capacity_bytes`	`1073741824`	Seuil d'espace libre dans le répertoire de stockage d'un BE en dessous duquel les tâches de chargement et de restauration sont rejetées. Valeur par défaut : 1 Go.
`storage_flood_stage_usage_percent`	`95`	Seuil d'utilisation du stockage au-delà duquel les tâches de chargement et de restauration sont rejetées.
`catalog_trash_expire_second`	`86400`	Durée de conservation des métadonnées dans la corbeille après la suppression d'une table ou d'une base de données. Les données ne peuvent pas être restaurées une fois cette période expirée. Valeur par défaut : 1 jour. Unité : secondes.
`alter_table_timeout_second`	`86400`	Délai d'expiration pour une tâche de modification de schéma. Valeur par défaut : 1 jour. Unité : secondes.
`balance_load_disk_safe_threshold`	`0.5`	Seuil de sécurité d'utilisation du disque pour la politique d'équilibrage `disk_and_tablet`. Si tous les disques des BE présentent une utilisation inférieure à 50 %, l'utilisation du disque est considérée comme équilibrée.
`balance_load_score_threshold`	`0.1`	Seuil de déséquilibre de charge. Pour la politique `be_load_score` : un BE est considéré en état de faible charge si sa charge est inférieure de plus de 10 % à la moyenne, et en état de forte charge si elle est supérieure de plus de 10 % à la moyenne. Pour la politique `disk_and_tablet` : si la différence entre l'utilisation maximale et minimale des disques des BE dépasse 10 %, le cluster lance le rééquilibrage des tablettes.
`disable_balance`	`true`	Indique s'il faut désactiver l'équilibrage des tablettes. Définissez ce paramètre sur `TRUE` pour le désactiver, ou sur `FALSE` pour l'activer.
`max_scheduling_tablets`	`2000`	Nombre maximal de tablettes en cours de planification simultanée. Si ce seuil est dépassé, l'équilibrage de charge des tablettes est ignoré.
`max_balancing_tablets`	`100`	Nombre maximal de tablettes en cours de rééquilibrage simultané. Si ce seuil est dépassé, le rééquilibrage est ignoré.
`disable_colocate_balance`	`FALSE`	Indique s'il faut désactiver l'équilibrage des réplicas pour les tables colocalisées. Définissez ce paramètre sur `TRUE` pour le désactiver, ou sur `FALSE` pour l'activer.
`recover_with_empty_tablet`	`FALSE`	Indique s'il faut substituer un réplica de tablette vide lorsqu'un réplica est perdu ou corrompu. Définissez ce paramètre sur `TRUE` pour autoriser la substitution (les requêtes peuvent toujours s'exécuter, mais peuvent renvoyer des résultats incomplets), ou sur `FALSE` pour désactiver la substitution.
`min_clone_task_timeout_sec`	`180`	Délai d'expiration minimal pour une tâche de clonage de tablette. Valeur par défaut : 3 minutes. Unité : secondes.
`max_clone_task_timeout_sec`	`7200`	Délai d'expiration maximal pour une tâche de clonage de tablette. Valeur par défaut : 2 heures. Unité : secondes.
`tablet_create_timeout_second`	`1`	Délai d'expiration pour la création d'une tablette. Unité : secondes.
`tablet_delete_timeout_second`	`2`	Délai d'expiration pour la suppression d'une tablette. Unité : secondes.
`tablet_repair_delay_factor_second`	`60`	Intervalle entre les tentatives de réparation des réplicas de tablettes. Unité : secondes.
`consistency_check_start_time`	`23`	Heure à laquelle le FE démarre les vérifications de cohérence des réplicas. Valeur par défaut : 23:00.
`consistency_check_end_time`	`4`	Heure à laquelle le FE arrête les vérifications de cohérence des réplicas. Valeur par défaut : 04:00.
`check_consistency_default_timeout_second`	`600`	Délai d'expiration pour une vérification de cohérence des réplicas. Unité : secondes.

Others

Parameter	Default value	Description
`plugin_enable`	`TRUE`	Indique s'il faut activer la fonctionnalité de plug-in. Les plug-ins ne peuvent être installés ou désinstallés que sur le nœud FE maître. Définissez ce paramètre sur `TRUE` pour l'activer, ou sur `FALSE` pour le désactiver.
`max_small_file_number`	`100`	Nombre maximal de petits fichiers pouvant être stockés.
`max_small_file_size_bytes`	`1048576`	Taille maximale d'un seul petit fichier. Valeur par défaut : 1 Mo.
`backup_job_default_timeout_ms`	`86400000`	Délai d'expiration pour une tâche de sauvegarde. Valeur par défaut : 1 jour. Unité : millisecondes.
`report_queue_size`	`100`	Nombre maximal de rapports en attente dans la file d'attente. Les rapports incluent l'état des disques, l'état des tâches et les informations sur les tablettes provenant des BE.

Paramètres statiques FE

Les paramètres statiques ne prennent effet qu'après le redémarrage du service Frontend (FE).

Journalisation

Paramètre	Valeur par défaut	description
`log_roll_size_mb`	`1024`	Taille maximale d'un fichier journal avant la création d'un nouveau. Valeur par défaut : 1 Go.
`sys_log_dir`	`StarRocksFe.STARROCKS_HOME_DIR/log`	Répertoire des fichiers journaux système.
`sys_log_level`	`INFO`	Niveau de gravité minimal pour les entrées des journaux système. Valeurs valides : `INFO`, `WARNING`, `ERROR`, `FATAL`.
`sys_log_verbose_modules`	_(vide)_	Modules pour lesquels des journaux système détaillés sont générés. Par exemple, si vous définissez ce paramètre sur `org.apache.starrocks.catalog`, seuls les journaux du module Catalog sont produits.
`sys_log_roll_interval`	`DAY`	Intervalle de rotation des fichiers journaux système.
`sys_log_delete_age`	`7d`	Période de rétention des fichiers journaux système. Les fichiers plus anciens que cette valeur sont supprimés.
`sys_log_roll_num`	`10`	Nombre maximal de fichiers journaux système conservés par intervalle de rotation.
`audit_log_dir`	`starrocksFe.STARROCKS_HOME_DIR/log`	Répertoire des fichiers journaux d'audit.
`audit_log_roll_num`	`90`	Nombre maximal de fichiers journaux d'audit conservés.
`audit_log_modules`	`"slow_query"`, `"query"`	Modules pour lesquels des journaux d'audit sont générés.
`audit_log_roll_interval`	`DAY`	Intervalle de rotation des fichiers journaux d'audit. Valeurs valides : `DAY`, `HOUR`.
`audit_log_delete_age`	`30d`	Période de rétention des fichiers journaux d'audit. Les fichiers plus anciens que cette valeur sont supprimés.
`dump_log_dir`	`STARROCKS_HOME_DIR/log`	Répertoire des fichiers journaux de vidage (dump).
`dump_log_modules`	`"query"`	Modules pour lesquels des journaux de vidage sont générés.
`dump_log_roll_interval`	`DAY`	Intervalle de rotation des fichiers journaux de vidage. Pour une rotation quotidienne, le suffixe est `yyyyMMdd` ; pour une rotation horaire, le suffixe est `yyyyMMddHH`.
`dump_log_roll_num`	`90`	Nombre maximal de fichiers journaux de vidage conservés par intervalle de rotation.
`dump_log_delete_age`	`30d`	Période de rétention des fichiers journaux de vidage. Les fichiers plus anciens que cette valeur sont supprimés.

Serveur

Paramètre	Valeur par défaut	description
`frontend_address`	`0.0.0.0`	Adresse IP du nœud FE.
`priority_networks`	_(vide)_	Bloc CIDR privilégié pour les serveurs dotés de plusieurs interfaces réseau. Exemple : `10.10.**/24`.
`http_port`	`8030`	Port du serveur HTTP.
`http_backlog_num`	`1024`	Taille de la file d'attente (backlog) du serveur HTTP.
`cluster_name`	`StarRocks Cluster`	Nom du cluster affiché dans l'interface web.
`rpc_port`	`9020`	Port du serveur Thrift sur le nœud FE.
`thrift_backlog_num`	`1024`	Taille de la file d'attente (backlog) du serveur Thrift.
`thrift_server_type`	`THREAD_POOL`	Modèle de service pour le serveur Thrift. Valeurs valides : `SIMPLE`, `THREADED`, `THREAD_POOL`.
`thrift_server_max_worker_threads`	`4096`	Nombre maximal de threads de travail pour le serveur Thrift.
`thrift_client_timeout_ms`	`0`	Délai d'expiration des requêtes client. La valeur par défaut `0` signifie qu'il n'y a pas de délai d'expiration.
`brpc_idle_wait_max_time`	`10000`	Durée maximale d'attente en état inactif pour les connexions bRPC. Valeur par défaut : 10 secondes. Unité : millisecondes.
`query_port`	`9030`	Port du serveur MySQL sur le nœud FE.
`mysql_service_nio_enabled`	`FALSE`	Indique s'il faut activer les E/S asynchrones pour le service MySQL. Définissez ce paramètre sur `TRUE` pour l'activation ou sur `FALSE` pour la désactivation.
`mysql_service_io_threads_num`	`4`	Nombre maximal de threads pour la gestion des événements d'E/S MySQL.
`mysql_nio_backlog_num`	`1024`	Taille de la file d'attente (backlog) du serveur MySQL.
`max_mysql_service_task_threads_num`	`4096`	Nombre maximal de threads pour le traitement des tâches MySQL.
`max_connection_scheduler_threads_num`	`4096`	Nombre maximal de threads pour le planificateur de connexions.
`qe_max_connection`	`1024`	Nombre maximal de connexions simultanées au nœud FE pour l'ensemble des utilisateurs.
`check_java_version`	`TRUE`	Indique s'il faut vérifier la compatibilité entre la version du runtime Java et la version Java utilisée lors de la compilation. Définissez ce paramètre sur `TRUE` pour activer la vérification ou sur `FALSE` pour l'ignorer.

Métadonnées et gestion du cluster

Paramètre	Valeur par défaut	Description
`meta_dir`	`StarRocksFe.STARROCKS_HOME_DIR/meta`	Répertoire de stockage des métadonnées FE.
`heartbeat_mgr_threads_num`	`8`	Nombre de threads utilisés par le gestionnaire de pulsations (Heartbeat Manager) pour traiter les tâches de pulsation.
`heartbeat_mgr_blocking_queue_size`	`1024`	Taille de la file d'attente bloquante pour les tâches de pulsation.
`metadata_failure_recovery`	`FALSE`	Indique s'il faut réinitialiser de force les métadonnées FE. Activez ce paramètre avec prudence.
`edit_log_port`	`9010`	Port utilisé pour la communication entre les nœuds FE principaux, suiveurs et observateurs.
`edit_log_type`	`BDB`	Type de journal de modifications. Définissez cette valeur sur `BDB`.
`bdbje_heartbeat_timeout_second`	`30`	Délai d'expiration des pulsations pour le FE basé sur BDB JE. Unité : secondes.
`bdbje_lock_timeout_second`	`1`	Délai d'expiration du verrou pour le FE basé sur BDB JE. Unité : secondes.
`max_bdbje_clock_delta_ms`	`5000`	Décalage d'horloge maximal autorisé entre le FE principal et les FE suiveurs ou observateurs. Unité : millisecondes.
`txn_rollback_limit`	`100`	Nombre maximal de transactions pouvant être annulées.
`bdbje_replica_ack_timeout_second`	`10`	Durée maximale d'attente du FE principal pour les messages ACK des FE suiveurs. Unité : secondes.
`master_sync_policy`	`SYNC`	Politique de vidage des journaux sur le disque pour le FE principal.
`replica_sync_policy`	`SYNC`	Politique de vidage des journaux sur le disque pour les réplicas FE suiveurs.
`meta_delay_toleration_second`	`300`	Décalage maximal autorisé pour les métadonnées sur les FE suiveurs et observateurs par rapport au FE principal. Unité : secondes.
`cluster_id`	`-1`	ID du cluster. Les nœuds FE et BE partageant le même ID de cluster appartiennent au même cluster. La valeur par défaut `-1` génère un ID de cluster aléatoire lors du premier démarrage du FE principal.

Moteur de requête

Paramètre	Valeur par défaut	Description
`disable_colocate_join`	`FALSE`	Indique s'il faut désactiver les jointures colocalisées. Définissez la valeur sur `FALSE` pour activer la fonctionnalité ; définissez-la sur `TRUE` pour la désactiver.
`enable_udf`	`FALSE`	Indique s'il faut activer les fonctions définies par l'utilisateur (UDF). Définissez la valeur sur `TRUE` pour activer la fonctionnalité ; définissez-la sur `FALSE` pour la désactiver.
`publish_version_interval_ms`	`10`	Intervalle de distribution des tâches de publication de version. Unité : millisecondes.
`statistic_cache_columns`	`100000`	Nombre maximal de lignes mises en cache pour la table de statistiques.

Chargement et déchargement

Paramètre	Valeur par défaut	Description
`async_load_task_pool_size`	`10`	Taille du pool de threads pour les jobs de chargement asynchrones.
`load_checker_interval_second`	`5`	Intervalle d'interrogation pour la vérification du statut des jobs de chargement. Unité : secondes.
`transaction_clean_interval_second`	`30`	Intervalle de nettoyage des transactions terminées. Unité : secondes.
`label_clean_interval_second`	`14400`	Intervalle de nettoyage des libellés de jobs de chargement. Unité : secondes.
`spark_dpp_version`	`1.0.0`	Version de Spark Dynamic Partition Pruning (DPP).
`spark_resource_path`	_(vide)_	Répertoire racine des packages de dépendances Spark.
`spark_launcher_log_dir`	`sys_log_dir/spark_launcher_log`	Répertoire des fichiers journaux du lanceur Spark.
`yarn_client_path`	`STARROCKS_HOME_DIR/lib/yarn-client/hadoop/bin/yarn`	Chemin d'accès au binaire client YARN.
`yarn_config_dir`	`STARROCKS_HOME_DIR/lib/yarn-config`	Répertoire des fichiers de configuration YARN.
`export_checker_interval_second`	`5`	Intervalle d'interrogation pour la planification des jobs de déchargement. Unité : secondes.
`export_task_pool_size`	`5`	Taille du pool de threads pour les jobs de déchargement.

Stockage

Paramètre	Valeur par défaut	Description
`storage_cooldown_second`	`2592000`	Intervalle de migration des supports de stockage du SSD vers le HDD. Par défaut : 30 jours. Unité : secondes.
`default_storage_medium`	`HDD`	Support de stockage par défaut pour les tables et partitions lorsque aucun support n'est spécifié. Valeurs valides : `HDD`, `SSD`.
`schedule_slot_num_per_path`	`2`	Nombre maximal de jobs de tablettes pouvant s'exécuter simultanément dans chaque répertoire de stockage d'un BE.
`tablet_balancer_strategy`	`disk_and_tablet`	Politique d'équilibrage de charge pour les tablettes. Valeurs valides : `disk_and_tablet`, `be_load_score`.
`tablet_stat_update_interval_second`	`300`	Intervalle auquel le FE récupère les statistiques des tablettes depuis chaque BE. Par défaut : 5 minutes. Unité : secondes.

Autres

Paramètre	Valeur par défaut	description
`plugin_dir`	`STARROCKS_HOME_DIR/plugins`	Répertoire des packages d'installation de plug-ins.
`small_file_dir`	`STARROCKS_HOME_DIR/small_files`	Répertoire racine pour les petits fichiers.
`max_agent_task_threads_num`	`4096`	Nombre maximal de threads dans le pool de threads des tâches de l'agent.
`authentication_ldap_simple_bind_base_dn`	`""`	DN de base utilisé pour rechercher les informations d'authentification des utilisateurs dans LDAP.
`authentication_ldap_simple_bind_root_dn`	`""`	DN administrateur utilisé pour rechercher les informations d'authentification des utilisateurs dans LDAP.
`authentication_ldap_simple_bind_root_pwd`	`""`	Mot de passe du DN administrateur LDAP.
`authentication_ldap_simple_server_host`	`""`	Nom d'hôte du serveur LDAP.
`authentication_ldap_simple_server_port`	`389`	Port du serveur LDAP.
`authentication_ldap_simple_user_search_attr`	`uid`	Attribut LDAP permettant d'identifier les utilisateurs.
`tmp_dir`	`starrocksFe.STARROCKS_HOME_DIR/temp_ddir`	Répertoire des fichiers temporaires, tels que ceux générés lors des opérations de sauvegarde et de restauration.
`locale`	`zh_CN.UTF-8`	Encodage du jeu de caractères.
`hive_meta_load_concurrency`	`4`	Nombre maximal de threads simultanés pour le chargement des métadonnées Hive.
`hive_meta_cache_refresh_interval_s`	`4096`	Intervalle d'actualisation des métadonnées des tables externes Hive mises en cache. Unité : secondes.
`hive_meta_cache_ttl_s`	`7200`	Durée de vie des métadonnées des tables externes Hive mises en cache. Valeur par défaut : 2 heures. Unité : secondes.
`hive_meta_store_timeout_s`	`86400`	Délai de connexion au Hive Metastore. Valeur par défaut : 24 heures. Unité : secondes.
`es_state_sync_interval_second`	`10`	Intervalle de synchronisation des métadonnées d'index Elasticsearch par le FE. Unité : secondes.
`enable_auth_check`	`TRUE`	Indique si les vérifications d'authentification sont activées. Définissez la valeur sur `TRUE` pour activer cette fonction ; définissez-la sur `FALSE` pour la désactiver.
`enable_metric_calculator`	`TRUE`	Indique si les métriques du cluster sont collectées périodiquement. Définissez la valeur sur `TRUE` pour activer cette fonction ; définissez-la sur `FALSE` pour la désactiver.

Paramètres BE

Tous les paramètres BE sont statiques et ne prennent effet qu’après un redémarrage du service BE.

Paramètre	Valeur par défaut	description
`be_port`	`9060`	Port du serveur Thrift sur le BE, utilisé pour recevoir les requêtes des FE.
`brpc_port`	`8060`	Port bRPC permettant de consulter les statistiques réseau bRPC.
`brpc_num_threads`	`-1`	Nombre de threads de travail bRPC. La valeur par défaut `-1` correspond au nombre de cœurs CPU.
`priority_networks`	_(vide)_	Bloc CIDR préféré pour les serveurs disposant de plusieurs interfaces réseau. Par exemple : `10.10.**/24`.
`heartbeat_service_port`	`9050`	Port du service de heartbeat sur le BE, utilisé pour recevoir les heartbeats des FE.
`heartbeat_service_thread_count`	`1`	Nombre de threads pour le service de heartbeat.
`create_tablet_worker_count`	`3`	Nombre de threads dédiés à la création des tablets.
`drop_tablet_worker_count`	`3`	Nombre de threads dédiés à la suppression des tablets.
`push_worker_count_normal_priority`	`3`	Nombre de threads pour le traitement des tâches de chargement de priorité NORMAL.
`push_worker_count_high_priority`	`3`	Nombre de threads pour le traitement des tâches de chargement de priorité HIGH.
`publish_version_worker_count`	`2`	Nombre de threads pour la publication des versions des tablets.
`clear_transaction_task_worker_count`	`1`	Nombre de threads pour la purge des transactions terminées.
`alter_tablet_worker_count`	`3`	Nombre de threads pour les opérations de modification de schéma.
`clone_worker_count`	`3`	Nombre de threads pour le clonage des tablets.
`storage_medium_migrate_count`	`1`	Nombre de threads pour la migration entre supports de stockage, comme le transfert des données chaudes du SSD vers le HDD.
`check_consistency_worker_count`	`1`	Nombre de threads pour la vérification de la cohérence des réplicas de tablet.
`make_snapshot_worker_count`	`5`	Niveau de parallélisme pour la création de snapshots. Réduisez cette valeur pour diminuer l'utilisation des ressources.
`upload_worker_count`	Nombre de vCPU	Niveau de parallélisme pour le téléchargement des snapshots. Réduisez cette valeur pour limiter l'utilisation de la bande passante et des E/S.
`report_task_interval_seconds`	`10`	Intervalle de rapport d'état des tâches (création de table, suppression, chargement et modification de schéma) du BE vers le FE. Unité : secondes.
`report_disk_state_interval_seconds`	`60`	Intervalle de rapport d'état des disques et des volumes de données du BE vers le FE. Unité : secondes.
`report_tablet_interval_seconds`	`60`	Intervalle de rapport des informations de version des tablets du BE vers le FE. Unité : secondes.
`alter_tablet_timeout_seconds`	`86400`	Délai d'expiration pour une tâche de modification de schéma sur le BE. Unité : secondes.
`sys_log_dir`	`${DORIS_HOME}/log`	Répertoire des journaux système du BE.
`user_function_dir`	`${DORIS_HOME}/lib/udf`	Répertoire des fichiers UDF.
`sys_log_level`	`INFO`	Niveau de gravité minimal pour les entrées des journaux système du BE. Valeurs valides : `INFO`, `WARNING`, `ERROR`, `FATAL`.
`sys_log_roll_mode`	`SIZE-MB-1024`	Taille maximale du fichier journal avant rotation. Par défaut : 1 Go.
`sys_log_roll_num`	`10`	Nombre maximal de fichiers journaux système conservés.
`sys_log_verbose_modules`	_(vide)_	Modules pour lesquels des journaux système détaillés sont générés. Par exemple, en définissant cette valeur sur `OLAP`, seuls les journaux du module OLAP sont générés.
`sys_log_verbose_level`	`10`	Niveau de verbosité pour les journaux préfixés par `VLOG` dans le code source.
`log_buffer_level`	_(vide)_	Politique de vidage des journaux. Par défaut, les journaux sont mis en mémoire tampon.
`num_threads_per_core`	`3`	Nombre de threads lancés par cœur CPU.
`compress_rowbatches`	`TRUE`	Indique s'il faut compresser les lots de lignes lors des appels bRPC entre les BE pendant le traitement des requêtes. Définissez la valeur sur `TRUE` pour activer ; définissez-la sur `FALSE` pour désactiver.
`serialize_batch`	`FALSE`	Indique s'il faut sérialiser les lots de lignes lors des appels bRPC entre les BE pendant le traitement des requêtes. Définissez la valeur sur `TRUE` pour activer ; définissez-la sur `FALSE` pour désactiver.
`status_report_interval`	`5`	Intervalle de rapport des profils de requête du BE vers le FE. Unité : secondes.
`doris_scanner_thread_pool_thread_num`	`48`	Nombre de threads dans le pool de threads d'analyse du moteur de stockage.
`doris_scanner_thread_pool_queue_size`	`102400`	Nombre maximal de tâches d'analyse mises en file d'attente dans le moteur de stockage.
`doris_scan_range_row_count`	`524288`	Granularité de division des plages d'analyse des requêtes par le moteur de stockage.
`doris_scanner_queue_size`	`1024`	Nombre maximal de tâches d'analyse prises en charge par le moteur de stockage.
`doris_scanner_row_num`	`16384`	Nombre maximal de lignes de données renvoyées par chaque thread d'analyse par appel.
`doris_max_scan_key_num`	`1024`	Nombre maximal de clés d'analyse pouvant être divisées.
`column_dictionary_key_ratio_threshold`	`0`	Seuil de ratio pour le type STRING en dessous duquel la compression par dictionnaire est appliquée.
`column_dictionary_key_size_threshold`	`0`	Seuil de taille pour une colonne en dessous duquel la compression par dictionnaire est appliquée.
`memory_limitation_per_thread_for_schema_change`	`2`	Mémoire maximale par thread pour les tâches de modification de schéma. Unité : Go.
`file_descriptor_cache_clean_interval`	`3600`	Intervalle d'éviction des descripteurs de fichiers mis en cache non utilisés. Unité : secondes.
`disk_stat_monitor_interval`	`5`	Intervalle de vérification de l'état des disques. Unité : secondes.
`unused_rowset_monitor_interval`	`30`	Intervalle de purge des rowsets expirés. Unité : secondes.
`storage_root_path`	_(vide)_	Répertoire racine pour le stockage des données.
`max_tablet_num_per_shard`	`1024`	Nombre maximal de tablets par shard dans chaque répertoire de stockage.
`pending_data_expire_time_sec`	`1800`	Durée de rétention maximale des données en attente dans le moteur de stockage. Unité : secondes.
`inc_rowset_expired_sec`	`1800`	Durée de rétention des données chargées dans les scénarios de clonage incrémentiel. Unité : secondes.
`max_garbage_sweep_interval`	`3600`	Intervalle maximal pour le nettoyage des déchets sur le disque. Unité : secondes.
`min_garbage_sweep_interval`	`180`	Intervalle minimal pour le nettoyage des déchets sur le disque. Unité : secondes.
`snapshot_expire_time_sec`	`172800`	Durée de rétention des snapshots avant leur suppression. Par défaut : 48 heures. Unité : secondes.
`trash_file_expire_time_sec`	`259200`	Durée de rétention des fichiers dans la corbeille avant leur suppression. Par défaut : 72 heures. Unité : secondes.
`file_descriptor_cache_capacity`	`16384`	Nombre maximal de descripteurs de fichiers mis en cache.
`min_file_descriptor_number`	`60000`	Nombre minimal de descripteurs de fichiers pour le processus BE.
`index_stream_cache_capacity`	`10737418240`	Capacité du cache pour les informations statistiques Bloom filter, Min et Max.
`storage_page_cache_limit`	`0`	Capacité maximale du cache de pages.
`disable_storage_page_cache`	`TRUE`	Indique s'il faut désactiver le cache de pages. Définissez la valeur sur `TRUE` pour désactiver ; définissez-la sur `FALSE` pour activer.
`base_compaction_check_interval_seconds`	`60`	Intervalle de sondage des threads pour la compaction de base. Unité : secondes.
`base_compaction_num_threads_per_disk`	`1`	Nombre de threads pour la compaction de base par disque.
`base_cumulative_delta_ratio`	`0.3`	Rapport entre la taille cumulée des fichiers et la taille du fichier de base qui déclenche une compaction de base.
`base_compaction_interval_seconds_since_last_operation`	`86400`	Intervalle minimal écoulé depuis la dernière compaction de base qui déclenche une nouvelle compaction de base. Unité : secondes.
`cumulative_compaction_check_interval_seconds`	`1`	Intervalle de sondage des threads pour la compaction cumulative. Unité : secondes.
`min_cumulative_compaction_num_singleton_deltas`	`5`	Nombre minimal de fichiers singleton qui déclenche une compaction cumulative.
`max_cumulative_compaction_num_singleton_deltas`	`1000`	Nombre maximal de fichiers singleton qui déclenche une compaction cumulative.
`cumulative_compaction_num_threads_per_disk`	`1`	Nombre de threads pour la compaction cumulative par disque.
`min_compaction_failure_interval_sec`	`120`	Intervalle minimal avant qu'une compaction de tablet échouée puisse être replanifiée. Unité : secondes.
`max_compaction_concurrency`	`-1`	Parallélisme maximal combiné pour les compactations de base et cumulatives. La valeur par défaut `-1` signifie aucune limite.
`webserver_port`	`8040`	Port du serveur HTTP sur le BE.
`webserver_num_workers`	`48`	Nombre de threads de travail pour le serveur HTTP du BE.
`periodic_counter_update_period_ms`	`500`	Intervalle de collecte des statistiques Counter. Unité : millisecondes.
`load_data_reserve_hours`	`4`	Durée de rétention des fichiers générés par les tâches de chargement à petite échelle. Unité : heures.
`load_error_log_reserve_hours`	`48`	Durée de rétention des fichiers journaux d'erreur de chargement. Unité : heures.
`number_tablet_writer_threads`	`16`	Nombre de threads pour Stream Load.
`streaming_load_max_mb`	`10240`	Taille maximale de fichier pour une seule opération Stream Load. Unité : Mo.
`streaming_load_rpc_max_alive_time_sec`	`1200`	Délai d'expiration RPC pour Stream Load. Unité : secondes.
`fragment_pool_thread_num`	`64`	Nombre initial de threads pour l'exécution des requêtes. Des threads supplémentaires sont créés dynamiquement selon les besoins.
`fragment_pool_queue_size`	`2048`	Nombre maximal de requêtes pouvant être mises en file d'attente sur un seul nœud BE.
`enable_partitioned_aggregation`	`TRUE`	Indique s'il faut activer l'agrégation basée sur les partitions. Définissez la valeur sur `TRUE` pour activer ; définissez-la sur `FALSE` pour désactiver.
`enable_token_check`	`TRUE`	Indique s'il faut activer les vérifications d'authentification basées sur les jetons. Définissez la valeur sur `TRUE` pour activer ; définissez-la sur `FALSE` pour désactiver.
`load_process_max_memory_limit_bytes`	`107374182400`	Mémoire maximale pour tous les threads de chargement sur un nœud BE. Par défaut : 100 Go.
`load_process_max_memory_limit_percent`	`30`	Pourcentage maximal de la mémoire totale utilisé par tous les threads de chargement sur un nœud BE.
`sync_tablet_meta`	`FALSE`	Indique s'il faut activer les écritures synchrones pour les métadonnées des tablets. Définissez la valeur sur `TRUE` pour activer ; définissez-la sur `FALSE` pour désactiver.
`thrift_rpc_timeout_ms`	`5000`	Délai d'expiration pour les appels RPC Thrift. Unité : millisecondes.
`txn_commit_rpc_timeout_ms`	`10000`	Délai d'expiration pour les appels RPC de validation de transaction. Unité : millisecondes.
`routine_load_thread_pool_size`	`10`	Taille du pool de threads pour Routine Load. Doit être supérieure ou égale à `max_routine_load_task_num_per_be`.
`tablet_meta_checkpoint_min_new_rowsets_num`	`10`	Nombre minimal de nouveaux rowsets depuis le dernier point de contrôle des métadonnées de tablet avant le déclenchement d'un nouveau point de contrôle.
`tablet_meta_checkpoint_min_interval_secs`	`600`	Intervalle de sondage des threads pour la génération des points de contrôle des métadonnées de tablet. Unité : secondes.
`brpc_max_body_size`	`209715200`	Taille maximale du corps des messages bRPC. Par défaut : 200 Mo.
`max_runnings_transactions`	`2000`	Nombre maximal de transactions simultanées prises en charge par le moteur de stockage.
`tablet_map_shard_size`	`32`	Taille du shard de la map des tablets.
`enable_bitmap_union_disk_format_with_set`	`FALSE`	Indique s'il faut activer le nouveau format de stockage sur disque pour le type BITMAP, qui améliore les performances de `bitmap_union`. Définissez la valeur sur `TRUE` pour activer ; définissez-la sur `FALSE` pour désactiver.

FAQ

Comment activer l’analyse parallèle des tablettes pour les tables cloud-native dans un cluster à découplage calcul-stockage ?

Exécutez l'instruction SQL suivante pour activer l’analyse parallèle des tablettes pour les tables cloud-native dans un cluster à découplage calcul-stockage :

SET enable_lake_tablet_internal_parallel = true;

enable_lake_tablet_internal_parallel est une variable de session. Vous pouvez également la configurer globalement en exécutant :

SET GLOBAL enable_lake_tablet_internal_parallel = true;

Remarque

L'activation de cette fonctionnalité augmente la consommation de mémoire. Utilisez-la avec précaution en fonction des ressources de votre cluster.

Comment optimiser le nombre de nœuds du plan d'exécution pour un cluster à découplage calcul-stockage à l'aide de paramètres ?

Vous pouvez essayer de définir le paramètre suivant afin d'optimiser le nombre de nœuds du plan d'exécution :

SET cbo_enable_low_cardinality_optimize = false;

Remarque

Le nom du paramètre est cbo_enable_low_cardinality_optimize, et non cbo_use_low_cardinality_optimization.

Si le paramétrage ne prend pas effet, vérifiez que votre version actuelle de StarRocks prend en charge ce paramètre. Vous pouvez également exécuter la commande suivante pour recalculer les statistiques de performance de la table, ce qui aide l'optimiseur à générer un meilleur plan d'exécution :

ANALYZE TABLE <table_name>;