AnalyticDB:View and analyze the data size of a cluster or table

Afficher la taille des données d'un cluster

Dans la section Storage Overview, vous pouvez consulter les métriques suivantes du cluster actuel : Total Data Size, Hot Data Size, Cold Data Size et Data Growth (y compris Last 24 Hours et Daily Last Week).

1. Connectez-vous à la console Alibaba Cloud AnalyticDB for MySQL. Dans le coin supérieur gauche, sélectionnez la région de votre cluster. Dans le volet de navigation de gauche, cliquez sur Clusters, puis cliquez sur l'ID de votre cluster.

2. Dans le volet de navigation de gauche, choisissez Storage Analysis > Storage Overview.

3. Dans la section Storage Overview, consultez les métriques Total Data Size, Hot Data Size, Cold Data Size et Data Growth.

   Catégorie	Métrique	Description
   Total Data Size	Total Data Size	La taille totale des données de toutes les tables du cluster AnalyticDB for MySQL.
   	Hot Data Size	La taille des données chaudes de toutes les tables du cluster AnalyticDB for MySQL. Remarque Pour plus d'informations sur les données chaudes, consultez la rubrique Stockage hiérarchisé des données chaudes et froides.
   	Cold Data Size	La taille des données froides de toutes les tables du cluster AnalyticDB for MySQL. Remarque Les clusters Data Warehouse Edition (V3.0) AnalyticDB for MySQL en mode réservé ne prennent pas en charge la séparation du stockage des données chaudes et froides. Pour ces clusters, la taille des données froides n'est pas affichée. Pour plus d'informations sur les données froides, consultez la rubrique Stockage hiérarchisé des données chaudes et froides.
   Hot Data Size Remarque Chaque table d'un cluster AnalyticDB for MySQL contient plusieurs partitions, telles que les partitions de données chaudes et les partitions de données froides. Le paramètre Total Data Size de chaque partition est divisé selon les types de données suivants : Table Record, Regular Index, Primary Key Index et Other.	Table Record	La taille des données des partitions chaudes de toutes les tables du cluster AnalyticDB for MySQL, à l'exclusion des données de type Regular Index ou Primary Key Index.
   	Regular Index	La taille des données des index secondaires dans les partitions chaudes de toutes les tables du cluster AnalyticDB for MySQL. Remarque Lorsque vous créez une table dans un cluster AnalyticDB for MySQL, un index sur toutes les colonnes est créé par défaut. Si les index contiennent de grandes quantités de données, supprimez certains index inactifs pour réduire la taille des données. Pour plus d'informations, consultez la rubrique Optimisation du schéma.
   	Primary Key Index	La taille des données des index de clé primaire dans les partitions chaudes de toutes les tables du cluster AnalyticDB for MySQL. Remarque Si certains index de clé primaire contiennent de grandes quantités de données, identifiez les tables contenant ces index dans la section Table Storage Information et optimisez les index. Pour obtenir des informations sur la section Table Storage Information, consultez la section « Afficher la taille des données d'une table » de cette rubrique.
   	Other	La taille des métadonnées et des données temporaires dans les partitions chaudes de toutes les tables du cluster AnalyticDB for MySQL.
   Cold Data Size Remarque Chaque table d'un cluster AnalyticDB for MySQL contient plusieurs partitions, telles que les partitions de données chaudes et les partitions de données froides. Le paramètre Total Data Size de chaque partition est divisé selon les types de données suivants : Table Record, Regular Index, Primary Key Index et Other.	Table Record	La taille des données des partitions froides de toutes les tables du cluster AnalyticDB for MySQL, à l'exclusion des données de type Regular Index ou Primary Key Index.
   	Regular Index	La taille des données des index secondaires dans les partitions froides de toutes les tables du cluster AnalyticDB for MySQL. Remarque Lorsque vous créez une table dans un cluster AnalyticDB for MySQL, un index sur toutes les colonnes est créé par défaut. Si les index contiennent de grandes quantités de données, supprimez certains index inactifs pour réduire la taille des données. Pour plus d'informations, consultez la rubrique Optimisation du schéma.
   	Primary Key Index	La taille des données des index de clé primaire dans les partitions froides de toutes les tables du cluster AnalyticDB for MySQL. Remarque Si certains index de clé primaire contiennent de grandes quantités de données, identifiez les tables contenant ces index dans la section Table Storage Information et optimisez les index. Pour obtenir des informations sur la section Table Storage Information, consultez la section « Afficher la taille des données d'une table » de cette rubrique.
   	Other	La taille des métadonnées et des données temporaires dans les partitions froides de toutes les tables du cluster AnalyticDB for MySQL.
   Data Growth	Last 24 Hours	La croissance de la taille totale des données du cluster AnalyticDB for MySQL au cours des dernières 24 heures. Formule : Croissance des données au cours des dernières 24 heures = Taille des données collectées à l'heure actuelle - Taille des données collectées il y a 24 heures.
   	Daily Last Week	La croissance quotidienne de la taille totale des données du cluster AnalyticDB for MySQL au cours de la semaine dernière. Formule : Croissance quotidienne au cours de la semaine dernière = (Taille des données collectées à l'heure actuelle - Taille des données collectées à la même heure il y a sept jours)/7.

Afficher la taille des données et l'utilisation du disque des nœuds

Dans la section Storage Trend, vous pouvez consulter la taille des données et l'utilisation du disque des nœuds sur une période donnée.

1. Connectez-vous à la console Alibaba Cloud AnalyticDB for MySQL. Dans le coin supérieur gauche, sélectionnez la région de votre cluster. Dans le volet de navigation de gauche, cliquez sur Clusters, puis cliquez sur l'ID de votre cluster.

2. Dans le volet de navigation de gauche, choisissez Storage Analysis > Storage Overview.

3. Consultez la taille des données et l'utilisation du disque des nœuds sur une période donnée. Sélectionnez une plage horaire dans la liste déroulante de la section Storage Trend. Vous pouvez également faire glisser le pointeur dans le graphique Total Data Size ou Node Disk Usage pour sélectionner une plage horaire.

   Important

   • Vous pouvez afficher les informations de stockage des 30 derniers jours. Sélectionnez une plage de temps allant jusqu'à sept jours pour consulter les informations de stockage.

   • Par rapport à AnalyticDB for MySQL Data Warehouse Edition (V3.0) en mode élastique pour Cluster Edition et AnalyticDB for MySQL Data Lakehouse Edition (V3.0), les métriques affichées dans le graphique Total Data Size pour AnalyticDB for MySQL Data Warehouse Edition (V3.0) en mode réservé incluent uniquement Total Data Size, Average Data Size of Storage Nodes et Maximum Data Size of Storage Nodes. Cela s'explique par le fait qu'AnalyticDB for MySQL Data Warehouse Edition (V3.0) en mode réservé ne prend pas en charge la séparation du stockage des données chaudes et froides.Total Data Size

   Mode élastique pour Cluster Edition et Data Lakehouse Edition (V3.0)

   Catégorie	Métrique	Description
   Total Data Size	Average Hot Data Size of Storage Nodes	La taille moyenne des données chaudes de tous les nœuds de stockage du cluster AnalyticDB for MySQL.
   	Maximum Hot Data Size of Storage Nodes	La taille maximale des données chaudes de tous les nœuds de stockage du cluster AnalyticDB for MySQL.
   	Hot Data Size	La taille des données chaudes de toutes les tables du cluster AnalyticDB for MySQL.
   	Cold Data Size	La taille des données froides de toutes les tables du cluster AnalyticDB for MySQL.
   Node Disk Usage	Average Node Disk Usage	L'utilisation moyenne du disque de tous les nœuds de stockage du cluster AnalyticDB for MySQL.
   	Maximum Disk Usage of Node	L'utilisation maximale du disque de tous les nœuds de stockage du cluster AnalyticDB for MySQL. Formule : Utilisation maximale du disque = Stockage maximal du nœud/(Taille maximale des données chaudes d'une EIU/0,9) × 100 %. Important Le stockage maximal du nœud est mesuré en Go. Le stockage des données peut être mis à l'échelle automatiquement dans AnalyticDB for MySQL Data Warehouse Edition (V3.0) en mode élastique pour Cluster Edition et AnalyticDB for MySQL Data Lakehouse Edition (V3.0), mais la taille des données chaudes d'une unité d'E/S élastique (EIU) est limitée à 8 To. Lors du calcul de l'utilisation maximale du disque, vous devez utiliser une valeur de 8000 Go. Par exemple, si la taille maximale des données chaudes des nœuds est de 8000 Go, l'utilisation maximale du disque est calculée à l'aide de la formule suivante : 8000/(8000/0,9) × 100 % = 90 %.
   	Disk Usage Threshold (90%)	Si l'utilisation maximale du disque du cluster AnalyticDB for MySQL dépasse le seuil d'utilisation du disque (90 %), le cluster est verrouillé. Une fois le cluster verrouillé, vous pouvez interroger les données du cluster, mais vous ne pouvez pas y écrire de données. Nous vous recommandons de vous connecter à la console CloudMonitor et de définir le seuil maximal d'utilisation du disque à 80 %. Cela vous permet de traiter les problèmes en temps opportun et d'éviter le verrouillage du cluster. Pour plus d'informations, consultez la rubrique Créer une règle d'alerte.

   Mode réservé

   Catégorie	Métrique	Description
   Total Data Size	Total Data Size	La taille totale des données de toutes les tables du cluster AnalyticDB for MySQL.
   	Average Data Size of Storage Nodes	La taille moyenne des données de tous les nœuds de stockage du cluster AnalyticDB for MySQL.
   	Maximum Data Size of Storage Nodes	La taille maximale des données de tous les nœuds de stockage du cluster AnalyticDB for MySQL.
   Node Disk Usage	Average Node Disk Usage	L'utilisation moyenne du disque de tous les nœuds de stockage du cluster AnalyticDB for MySQL.
   	Maximum Disk Usage of Node	L'utilisation maximale du disque de tous les nœuds de stockage du cluster AnalyticDB for MySQL. Formule : Utilisation maximale du disque = (Stockage maximal des groupes de nœuds/Stockage de chaque groupe de nœuds) × 100 %. Remarque Le stockage maximal des groupes de nœuds et le stockage de chaque groupe de nœuds sont mesurés en Go. Par exemple, vous achetez deux groupes de nœuds. Le stockage de chaque groupe de nœuds est de 200 Go. La taille totale des données de toutes les tables du cluster est de 140 Go, dont 60 Go dans un groupe de nœuds et 80 Go dans l'autre groupe de nœuds. Dans ce cas, l'utilisation maximale du disque est calculée à l'aide de la formule suivante : (80/200) × 100 % = 40 %.
   	Disk Usage Threshold (90%)	Si l'utilisation maximale du disque du cluster AnalyticDB for MySQL dépasse le seuil d'utilisation du disque (90 %), le cluster est verrouillé. Une fois le cluster verrouillé, vous pouvez interroger les données du cluster, mais vous ne pouvez pas y écrire de données. Nous vous recommandons de vous connecter à la console CloudMonitor et de définir le seuil maximal d'utilisation du disque à 80 %. Cela vous permet de traiter les problèmes en temps opportun et d'éviter le verrouillage du cluster. Pour plus d'informations, consultez la rubrique Créer une règle d'alerte.

Afficher la taille des données d'une table

Dans la section Table Storage Information, vous pouvez consulter les informations de stockage de chaque table, telles que les métriques Total Data Size, Hot Data Size, Cold Data Size et Regular Index.

1. Connectez-vous à la console Alibaba Cloud AnalyticDB for MySQL. Dans le coin supérieur gauche, sélectionnez la région de votre cluster. Dans le volet de navigation de gauche, cliquez sur Clusters, puis cliquez sur l'ID de votre cluster.

2. Dans le volet de navigation de gauche, choisissez Storage Analysis > Storage Overview.

3. Dans la section Table Storage Information, consultez les métriques de table telles que Total Data Size, Hot Data Size, Cold Data Size, Table Rows et Partitions.

   Métrique	Description
   Database	Le nom de la base de données.
   Table Name	Le nom de la table.
   Storage Percentage	Le pourcentage de la taille totale des données de la table par rapport à la taille totale des données du cluster. Formule : Pourcentage de stockage = (Taille totale des données de la table/Taille totale des données du cluster) × 100 %.
   Total Data Size	La taille totale des données de la table. La taille totale des données peut être calculée à l'aide de l'une des formules suivantes : Formule 1 : Taille totale des données = Taille des données chaudes + Taille des données froides. Formule 2 : Taille totale des données = Taille des données des enregistrements de table + Taille des données des index secondaires + Taille des données des index de clé primaire + Taille des autres données.
   Hot Data Size	La taille des données de toutes les partitions chaudes de la table, y compris les données de type Table Record, Regular Index, Primary Key Index et Other.
   Cold Data Size	La taille des données de toutes les partitions froides de la table, y compris les données de type Table Record, Regular Index, Primary Key Index et Other.
   Table Record	La taille des données de toutes les partitions de la table, à l'exclusion des données de type Regular Index ou Primary Key Index.
   Regular Index	La taille des données des index secondaires dans toutes les partitions de la table.
   Primary Key Index	La taille des données de l'index de clé primaire dans toutes les partitions de la table.
   Other	La taille des métadonnées et des données temporaires dans toutes les partitions de la table.
   Table Rows	Le nombre de lignes dans la table.
   Partitions	Le nombre de partitions dans la table.

Interroger l'utilisation du stockage à l'aide de SQL

Vous pouvez également interroger les tables système information_schema.kepler_partitions et information_schema.kepler_meta_tables à l'aide d'instructions SQL pour interroger l'utilisation du stockage au niveau du cluster et les détails de l'utilisation du stockage chaud et froid de chaque table du cluster. Procédez comme suit :

1. Obtenez le nombre de shards dans le cluster.

   select count(1) from information_schema.kepler_meta_shards;

2. Remplacez ${shardCount} dans l'instruction SQL suivante par le nombre de shards obtenu à l'étape 1, puis exécutez l'instruction. Cette instruction SQL permet d'interroger le résumé de l'utilisation du stockage au niveau du cluster.

   select sum(totalSize)     as totalSize,      -- Total data size of the cluster
          sum(hotTotalSize)  as hotTotalSize,    -- Total hot data size
          sum(hotDataSize)   as hotDataSize,     -- Hot data: table records
          sum(hotIndexSize)  as hotIndexSize,    -- Hot data: secondary indexes
          sum(hotPkSize)     as hotPkSize,       -- Hot data: primary key indexes
          sum(hotOtherSize)  as hotOtherSize,    -- Hot data: other (metadata, etc.)
          sum(coldTotalSize) as coldTotalSize,   -- Total cold data size
          sum(coldDataSize)  as coldDataSize,    -- Cold data: table records
          sum(coldIndexSize) as coldIndexSize,   -- Cold data: secondary indexes
          sum(coldPkSize)    as coldPkSize,      -- Cold data: primary key indexes
          sum(coldOtherSize) as coldOtherSize    -- Cold data: other (metadata, etc.)
   from (select lower(p.schema_name) as schemaName, lower(p.table_name) as tableName,
                (sum(LOCAL_DATA_SIZE) + sum(REMOTE_DATA_SIZE)) * if(t.distribute_type = 'broadcast', ${shardCount}, 1) as totalSize,
                sum(LOCAL_DATA_SIZE) * if(t.distribute_type = 'broadcast', ${shardCount}, 1) as hotTotalSize,
                sum(if(LOCAL_DATA_SIZE > 0, DETAIL_SIZE, 0)) * if(t.distribute_type = 'broadcast', ${shardCount}, 1) as hotDataSize,
                sum(if(LOCAL_DATA_SIZE > 0, INDEX_SIZE, 0)) * if(t.distribute_type = 'broadcast', ${shardCount}, 1) as hotIndexSize,
                sum(if(LOCAL_DATA_SIZE > 0, PK_SIZE, 0)) * if(t.distribute_type = 'broadcast', ${shardCount}, 1) as hotPkSize,
                sum(if(LOCAL_DATA_SIZE > 0, LOCAL_DATA_SIZE - DETAIL_SIZE - INDEX_SIZE - PK_SIZE, 0)) *
                if(t.distribute_type = 'broadcast', ${shardCount}, 1) as hotOtherSize,
                sum(REMOTE_DATA_SIZE) * if(t.distribute_type = 'broadcast', ${shardCount}, 1) as coldTotalSize,
                sum(if(REMOTE_DATA_SIZE > 0, DETAIL_SIZE, 0)) * if(t.distribute_type = 'broadcast', ${shardCount}, 1) as coldDataSize,
                sum(if(REMOTE_DATA_SIZE > 0, INDEX_SIZE, 0)) * if(t.distribute_type = 'broadcast', ${shardCount}, 1) as coldIndexSize,
                sum(if(REMOTE_DATA_SIZE > 0, PK_SIZE, 0)) * if(t.distribute_type = 'broadcast', ${shardCount}, 1) as coldPkSize,
                sum(if(REMOTE_DATA_SIZE > 0, REMOTE_DATA_SIZE - DETAIL_SIZE - INDEX_SIZE - PK_SIZE, 0)) *
                if(t.distribute_type = 'broadcast', ${shardCount}, 1) as coldOtherSize
         from information_schema.kepler_partitions p
                  join information_schema.kepler_meta_tables t
                       on lower(p.schema_name) = lower(t.table_schema) and
                          lower(p.table_name) = lower(t.table_name)
         where p.schema_name not in ('analyticdb', 'INFORMATION_SCHEMA', 'MYSQL')
         group by schemaName, tableName,t.distribute_type) pp;

3. Remplacez ${shardCount} dans l'instruction SQL suivante par le nombre de shards obtenu à l'étape 1, et remplacez ${totalSize} par la valeur totalSize issue du résultat de la requête à l'étape 2, puis exécutez l'instruction. Cette instruction SQL permet d'interroger l'utilisation du stockage de chaque table.

   select
       lower(p.schema_name) as schemaName,                                                              -- Database name
       lower(p.table_name) as tableName,                                                                -- Table name
       count_if(p.partition_id >= 0) as totalPartitionCount,                                         -- Total number of partitions
       sum(row_count) as totalRowCount,                                                                 -- Total number of rows
       sum(detail_size) * if(t.distribute_type='broadcast', ${shardCount}, 1) as totalDataSize,         -- Table record data size
       sum(index_size) * if(t.distribute_type='broadcast', ${shardCount}, 1) as totalIndexSize,         -- Secondary index data size
       sum(pk_size) * if(t.distribute_type='broadcast', ${shardCount}, 1) as totalPkSize,               -- Primary key index data size
       sum(remote_data_size) * if(t.distribute_type='broadcast', ${shardCount}, 1) as totalRemoteDataSize, -- Cold data size
       sum(local_data_size) * if(t.distribute_type='broadcast', ${shardCount}, 1) as totalLocalDataSize,-- Hot data size
       (sum(remote_data_size) + sum(local_data_size))
           * if(t.distribute_type='broadcast', ${shardCount}, 1) as totalSize,                          -- Total data size (hot + cold)
       (sum(remote_data_size) + sum(local_data_size) - sum(detail_size) - sum(index_size) - sum(pk_size))
           * if(t.distribute_type='broadcast', ${shardCount}, 1) as otherSize,                          -- Other data size (metadata, temporary data, etc.)
       round(100 * (sum(remote_data_size) + sum(local_data_size))
           * if(t.distribute_type='broadcast', ${shardCount}, 1) / ${totalSize}, 2) as spaceRatio       -- Space usage ratio (%)
   from information_schema.kepler_partitions p
       join information_schema.kepler_meta_tables t
           on lower(p.schema_name) = lower(t.table_schema)
           and lower(p.table_name) = lower(t.table_name)
   where p.schema_name not in ('analyticdb', 'INFORMATION_SCHEMA', 'MYSQL')
   -- (Optional) Filter by exact database name
   -- AND lower(p.schema_name) = 'your_db_name'
   -- (Optional) Filter by fuzzy table name match
   -- AND LOWER(p.table_name) LIKE '%keyword%'
   group by schemaName, tableName, t.distribute_type
   order by totalSize desc;

Opérations associées

FAQ

PURGE RECYCLE_BIN TABLE <table_name_in_ADB_RECYCLE_BIN>;