ApsaraDB for SelectDB:Statistiques

Syntaxe

ANALYZE < TABLE | DATABASE table_name | db_name >
    [ (column_name [, ...]) ]
    [ [ WITH SYNC ] [ WITH SAMPLE PERCENT | ROWS ] ];

Paramètres

Exemples

Collectez des statistiques en échantillonnant 10 % des lignes :

ANALYZE TABLE lineitem WITH SAMPLE PERCENT 10;

Collectez des statistiques en échantillonnant 100 000 lignes :

ANALYZE TABLE lineitem WITH SAMPLE ROWS 100000;

Fonctionnement du score de santé

L'état de santé des statistiques correspond à une valeur comprise entre 0 et 100. La collecte automatique se déclenche lorsque toutes les conditions suivantes sont remplies :

• La table a été mise à jour depuis la dernière collecte.

• Le score de santé est passé sous le seuil configuré.

• Pour les tables volumineuses : l'intervalle minimal de collecte s'est écoulé depuis la dernière collecte.

Détails du score de santé :

• Une table sans statistiques possède un score de santé de 0.

• Après chaque transaction d'importation, SelectDB estime le nouveau score de santé selon la proportion de lignes mises à jour.

• Si le score descend sous table_stats_health_threshold (valeur par défaut : 60), la table est considérée comme obsolète et planifiée pour une collecte.

Stratégie pour les tables volumineuses

Pour les tables dont la taille dépasse huge_table_lower_bound_size_in_bytes (valeur par défaut : 5 Gio) :

• SelectDB utilise automatiquement la collecte par échantillonnage, en prélevant huge_table_default_sample_rows lignes (valeur par défaut : 4 194 304).

• La collecte s'exécute au maximum une fois par intervalle huge_table_auto_analyze_interval_in_millis (valeur par défaut : 12 heures), indépendamment des variations du score de santé durant cette période.

Pour augmenter la profondeur d'échantillonnage et obtenir des statistiques plus précises, augmentez la valeur de huge_table_default_sample_rows.

Limiter la collecte aux heures creuses

Pour éviter d'impacter les charges de travail de production, définissez une plage horaire pour la collecte automatique :

SET auto_analyze_start_time = '02:00:00';
SET auto_analyze_end_time = '06:00:00';

Désactiver la collecte automatique

SET enable_auto_analyze = false;

Catalogue externe

La collecte automatique est désactivée par défaut pour les catalogues externes afin d'éviter une consommation excessive de ressources liée aux jeux de données historiques volumineux. Activez-la ou désactivez-la par catalogue :

-- Enable automatic collection for an external catalog
ALTER CATALOG external_catalog SET PROPERTIES ('enable.auto.analyze'='true');

-- Disable automatic collection for an external catalog
ALTER CATALOG external_catalog SET PROPERTIES ('enable.auto.analyze'='false');

Consulter les tâches de collecte

SHOW [AUTO] ANALYZE < table_name | job_id >
    [ WHERE [ STATE = [ "PENDING" | "RUNNING" | "FINISHED" | "FAILED" ] ] ];

Exemple :

SHOW ANALYZE 245073\G;

*************************** 1. row ***************************
              job_id: 245073
        catalog_name: internal
             db_name: default_cluster:tpch
            tbl_name: lineitem
            col_name: [l_returnflag,l_receiptdate,l_tax,l_shipmode,l_suppkey,l_shipdate,
                        l_commitdate,l_partkey,l_orderkey,l_quantity,l_linestatus,l_comment,
                        l_extendedprice,l_linenumber,l_discount,l_shipinstruct]
            job_type: MANUAL
       analysis_type: FUNDAMENTALS
             message:
last_exec_time_in_ms: 2023-11-07 11:00:52
               state: FINISHED
            progress: 16 Finished  |  0 Failed  |  0 In Progress  |  16 Total
       schedule_type: ONCE

Champs de sortie :

Consulter les statistiques au niveau de la table

SHOW TABLE STATS <table_name>;

Exemple :

SHOW TABLE STATS lineitem\G

*************************** 1. row ***************************
updated_rows: 0
 query_times: 0
   row_count: 6001215
updated_time: 2023-11-07
     columns: [l_returnflag, l_receiptdate, l_tax, l_shipmode, l_suppkey, l_shipdate,
               l_commitdate, l_partkey, l_orderkey, l_quantity, l_linestatus, l_comment,
               l_extendedprice, l_linenumber, l_discount, l_shipinstruct]
     trigger: MANUAL

Champs de sortie :

Consulter l'état des tâches au niveau des colonnes

Chaque tâche de collecte génère une sous-tâche par colonne. Pour consulter l'état des tâches associées à une collecte spécifique :

SHOW ANALYZE TASK STATUS [job_id]

Exemple :

SHOW ANALYZE TASK STATUS 20038;

+---------+----------+---------+----------------------+----------+
| task_id | col_name | message | last_exec_time_in_ms | state    |
+---------+----------+---------+----------------------+----------+
| 20039   | col4     |         | 2023-06-01 17:22:15  | FINISHED |
| 20040   | col2     |         | 2023-06-01 17:22:15  | FINISHED |
| 20041   | col3     |         | 2023-06-01 17:22:15  | FINISHED |
| 20042   | col1     |         | 2023-06-01 17:22:15  | FINISHED |
+---------+----------+---------+----------------------+----------+

Consulter les statistiques des colonnes

SHOW COLUMN [cached] STATS table_name [ (column_name [, ...]) ];

Exemple :

SHOW COLUMN STATS lineitem(l_tax)\G

*************************** 1. row ***************************
  column_name: l_tax
        count: 6001215.0
          ndv: 9.0
     num_null: 0.0
    data_size: 4.800972E7
avg_size_byte: 8.0
          min: 0.00
          max: 0.08
       method: FULL
         type: FUNDAMENTALS
      trigger: MANUAL
  query_times: 0
 updated_time: 2023-11-07 11:00:46

Arrêter une tâche de collecte

KILL ANALYZE job_id;

L'ID de tâche est renvoyé par ANALYZE en mode asynchrone ou récupérable via SHOW ANALYZE.

Exemple :

KILL ANALYZE 52357;

Variables de session

Paramètres de configuration du FE

Ces paramètres contrôlent le comportement en arrière-plan. Dans la plupart des cas, les valeurs par défaut suffisent.

L'erreur « Stats table not available... » apparaît après l'exécution d'ANALYZE

Exécutez SHOW BACKENDS pour vérifier que tous les nœuds BE sont dans un état normal. Si les BE semblent sains, vérifiez l'état des tablets de la table de statistiques interne :

ADMIN SHOW REPLICA STATUS FROM __internal_schema.[tbl_in_this_db];

Assurez-vous que tous les tablets affichent un statut normal. Le FE vérifie la disponibilité des tablets avant d'accepter toute requête ANALYZE et la rejette si un tablet de __internal_schema.column_statistics est indisponible.

Échec de la collecte des statistiques sur une table volumineuse

Privilégiez la collecte par échantillonnage plutôt qu'une analyse complète. Les ressources allouées à ANALYZE sont strictement limitées, et l'analyse complète d'une table volumineuse peut entraîner un dépassement de délai ou épuiser la mémoire du BE :

ANALYZE TABLE <table_name> WITH SAMPLE PERCENT 10;

Ajustez le ratio d'échantillonnage selon la taille de la table et la précision souhaitée.