AnalyticDB:Visualizar e analisar o tamanho dos dados de um cluster ou tabela

Visualizar o tamanho dos dados de um cluster

Na seção Storage Overview, visualize as seguintes métricas do cluster atual: Total Data Size, Hot Data Size, Cold Data Size e Data Growth (incluindo Last 24 Hours e Daily Last Week).

1. Faça login no console do Alibaba Cloud AnalyticDB for MySQL. No canto superior esquerdo, selecione a região do cluster. No painel de navegação à esquerda, clique em Clusters e, em seguida, clique no ID do cluster.

2. No painel de navegação à esquerda, escolha Storage Analysis > Storage Overview.

3. Na seção Storage Overview, visualize as métricas Total Data Size, Hot Data Size, Cold Data Size e Data Growth.

   Categoria	Métrica	Descrição
   Total Data Size	Total Data Size	Tamanho total dos dados de todas as tabelas no cluster AnalyticDB for MySQL.
   	Hot Data Size	Tamanho dos dados quentes de todas as tabelas no cluster AnalyticDB for MySQL. Nota Para mais informações sobre dados quentes, consulte Armazenamento em camadas de dados quentes e frios.
   	Cold Data Size	Tamanho dos dados frios de todas as tabelas no cluster AnalyticDB for MySQL. Nota Clusters do AnalyticDB for MySQL Data Warehouse Edition (V3.0) no modo reservado não suportam separação de armazenamento de dados quentes e frios. Nesses clusters, o tamanho dos dados frios não é exibido. Para mais informações sobre dados frios, consulte Armazenamento em camadas de dados quentes e frios.
   Hot Data Size Nota Cada tabela de um cluster AnalyticDB for MySQL contém várias partições, como partições de dados quentes e frios. O parâmetro Total Data Size de cada partição divide-se nos seguintes tipos de dados: Table Record, Regular Index, Primary Key Index e Other.	Table Record	Tamanho dos dados das partições quentes em todas as tabelas do cluster AnalyticDB for MySQL, excluindo dados do tipo Regular Index ou Primary Key Index.
   	Regular Index	Tamanho dos dados dos índices regulares nas partições quentes de todas as tabelas do cluster AnalyticDB for MySQL. Nota Ao criar uma tabela em um cluster AnalyticDB for MySQL, um índice de coluna completa é criado por padrão. Se os índices contiverem grandes volumes de dados, exclua índices ociosos específicos para reduzir o tamanho dos dados. Para mais informações, consulte Otimização de esquema.
   	Primary Key Index	Tamanho dos dados dos índices de chave primária nas partições quentes de todas as tabelas do cluster AnalyticDB for MySQL. Nota Se determinados índices de chave primária contiverem grandes volumes de dados, localize as tabelas correspondentes na seção Table Storage Information e otimize os índices. Para obter informações sobre a seção Table Storage Information, consulte "Visualizar o tamanho dos dados de uma tabela" neste tópico.
   	Other	Tamanho dos metadados e dados temporários nas partições quentes de todas as tabelas do cluster AnalyticDB for MySQL.
   Cold Data Size Nota Cada tabela de um cluster AnalyticDB for MySQL contém várias partições, como partições de dados quentes e frios. O parâmetro Total Data Size de cada partição divide-se nos seguintes tipos de dados: Table Record, Regular Index, Primary Key Index e Other.	Table Record	Tamanho dos dados das partições frias em todas as tabelas do cluster AnalyticDB for MySQL, excluindo dados do tipo Regular Index ou Primary Key Index.
   	Regular Index	Tamanho dos dados dos índices regulares nas partições frias de todas as tabelas do cluster AnalyticDB for MySQL. Nota Ao criar uma tabela em um cluster AnalyticDB for MySQL, um índice de coluna completa é criado por padrão. Se os índices contiverem grandes volumes de dados, exclua índices ociosos específicos para reduzir o tamanho dos dados. Para mais informações, consulte Otimização de esquema.
   	Primary Key Index	Tamanho dos dados dos índices de chave primária nas partições frias de todas as tabelas do cluster AnalyticDB for MySQL. Nota Se determinados índices de chave primária contiverem grandes volumes de dados, localize as tabelas correspondentes na seção Table Storage Information e otimize os índices. Para obter informações sobre a seção Table Storage Information, consulte "Visualizar o tamanho dos dados de uma tabela" neste tópico.
   	Other	Tamanho dos metadados e dados temporários nas partições frias de todas as tabelas do cluster AnalyticDB for MySQL.
   Data Growth	Last 24 Hours	Crescimento do tamanho total dos dados do cluster AnalyticDB for MySQL nas últimas 24 horas. Fórmula: Data growth within the last 24 hours = Data size collected at the current time - Data size collected 24 hours ago.
   	Daily Last Week	Crescimento diário do tamanho total dos dados do cluster AnalyticDB for MySQL na última semana. Fórmula: Daily growth within the last week = (Data size collected at the current time - Data size collected at the same time seven days ago)/7.

Visualizar o tamanho dos dados e o uso de disco dos nós

Na seção Storage Trend, visualize o tamanho dos dados e o uso de disco dos nós em um período específico.

1. Faça login no console do Alibaba Cloud AnalyticDB for MySQL. No canto superior esquerdo, selecione a região do cluster. No painel de navegação à esquerda, clique em Clusters e, em seguida, clique no ID do cluster.

2. No painel de navegação à esquerda, escolha Storage Analysis > Storage Overview.

3. Visualize o tamanho dos dados e o uso de disco dos nós em um período específico. Selecione um intervalo de tempo na lista suspensa na seção Storage Trend. Também é possível arrastar o ponteiro no gráfico Total Data Size ou Node Disk Usage para selecionar um intervalo de tempo.

   Importante

   • As informações de armazenamento dos últimos 30 dias estão disponíveis para visualização. Selecione um intervalo de tempo de até sete dias para consultar essas informações.

   • Em comparação com o AnalyticDB for MySQL Data Warehouse Edition (V3.0) no modo elástico para Cluster Edition e o AnalyticDB for MySQL Data Lakehouse Edition (V3.0), as métricas exibidas no gráfico Total Data Size para o AnalyticDB for MySQL Data Warehouse Edition (V3.0) no modo reservado incluem apenas Total Data Size, Average Data Size of Storage Nodes e Maximum Data Size of Storage Nodes. Isso ocorre porque o AnalyticDB for MySQL Data Warehouse Edition (V3.0) no modo reservado não suporta separação de armazenamento de dados quentes e frios.Total Data Size

   Modo elástico para Cluster Edition e Data Lakehouse Edition (V3.0)

   Categoria	Métrica	Descrição
   Total Data Size	Average Hot Data Size of Storage Nodes	Tamanho médio dos dados quentes de todos os nós de armazenamento no cluster AnalyticDB for MySQL.
   	Maximum Hot Data Size of Storage Nodes	Tamanho máximo dos dados quentes de todos os nós de armazenamento no cluster AnalyticDB for MySQL.
   	Hot Data Size	Tamanho dos dados quentes de todas as tabelas no cluster AnalyticDB for MySQL.
   	Cold Data Size	Tamanho dos dados frios de todas as tabelas no cluster AnalyticDB for MySQL.
   Node Disk Usage	Average Node Disk Usage	Uso médio de disco de todos os nós de armazenamento no cluster AnalyticDB for MySQL.
   	Maximum Disk Usage of Node	Uso máximo de disco de todos os nós de armazenamento no cluster AnalyticDB for MySQL. Fórmula: Maximum disk usage = Maximum node storage/(Maximum hot data size of an EIU/0,9) × 100%. Importante O armazenamento máximo do nó é medido em GB. O armazenamento de dados pode ser dimensionado automaticamente no AnalyticDB for MySQL Data Warehouse Edition (V3.0) no modo elástico para Cluster Edition e no AnalyticDB for MySQL Data Lakehouse Edition (V3.0), mas o tamanho dos dados quentes de uma unidade de E/S elástica (EIU) é limitado a 8 TB. Ao calcular o uso máximo de disco, utilize o valor de 8000 GB. Por exemplo, se o tamanho máximo dos dados quentes dos nós for 8000 GB, o uso máximo de disco será calculado pela seguinte fórmula: 8000/(8000/0,9) × 100% = 90%.
   	Disk Usage Threshold (90%)	Se o uso máximo de disco do cluster AnalyticDB for MySQL exceder o limiar de uso de disco (90%), o cluster será bloqueado. Após o bloqueio, consultas de dados ainda são permitidas, mas a gravação de dados no cluster fica desabilitada. Recomendamos fazer login no console do CloudMonitor e definir o limiar máximo de uso de disco em 80%. Essa configuração permite lidar com problemas em tempo hábil e evitar o bloqueio do cluster. Para mais informações, consulte Criar uma regra de alerta.

   Modo reservado

   Categoria	Métrica	Descrição
   Total Data Size	Total Data Size	Tamanho total dos dados de todas as tabelas no cluster AnalyticDB for MySQL.
   	Average Data Size of Storage Nodes	Tamanho médio dos dados de todos os nós de armazenamento no cluster AnalyticDB for MySQL.
   	Maximum Data Size of Storage Nodes	Tamanho máximo dos dados de todos os nós de armazenamento no cluster AnalyticDB for MySQL.
   Node Disk Usage	Average Node Disk Usage	Uso médio de disco de todos os nós de armazenamento no cluster AnalyticDB for MySQL.
   	Maximum Disk Usage of Node	Uso máximo de disco de todos os nós de armazenamento no cluster AnalyticDB for MySQL. Fórmula: Maximum disk usage = (Maximum storage of node groups/Storage of each node group) × 100%. Nota O armazenamento máximo dos grupos de nós e o armazenamento de cada grupo de nós são medidos em GB. Por exemplo, suponha que você tenha adquirido dois grupos de nós, cada um com 200 GB de armazenamento. O tamanho total dos dados de todas as tabelas no cluster é de 140 GB, sendo 60 GB em um grupo de nós e 80 GB no outro. Nesse caso, o uso máximo de disco é calculado pela seguinte fórmula: (80/200) × 100% = 40%.
   	Disk Usage Threshold (90%)	Se o uso máximo de disco do cluster AnalyticDB for MySQL exceder o limiar de uso de disco (90%), o cluster será bloqueado. Após o bloqueio, consultas de dados ainda são permitidas, mas a gravação de dados no cluster fica desabilitada. Recomendamos fazer login no console do CloudMonitor e definir o limiar máximo de uso de disco em 80%. Essa configuração permite lidar com problemas em tempo hábil e evitar o bloqueio do cluster. Para mais informações, consulte Criar uma regra de alerta.

Visualizar o tamanho dos dados de uma tabela

Na seção Table Storage Information, visualize as informações de armazenamento de cada tabela, como as métricas Total Data Size, Hot Data Size, Cold Data Size e Regular Index.

1. Faça login no console do Alibaba Cloud AnalyticDB for MySQL. No canto superior esquerdo, selecione a região do cluster. No painel de navegação à esquerda, clique em Clusters e, em seguida, clique no ID do cluster.

2. No painel de navegação à esquerda, escolha Storage Analysis > Storage Overview.

3. Na seção Table Storage Information, visualize métricas da tabela como Total Data Size, Hot Data Size, Cold Data Size, Table Rows e Partitions.

   Métrica	Descrição
   Database	Nome do banco de dados.
   Table Name	Nome da tabela.
   Storage Percentage	Percentual do tamanho total dos dados da tabela em relação ao tamanho total dos dados do cluster. Fórmula: Storage percentage = (Total data size of the table/Total data size of the cluster) × 100%.
   Total Data Size	Tamanho total dos dados da tabela. Esse valor pode ser calculado por uma das seguintes fórmulas: Fórmula 1: Total data size = Hot data size + Cold data size. Fórmula 2: Total data size = Data size of table records + Data size of regular indexes + Data size of primary key indexes + Data size of other data.
   Hot Data Size	Tamanho dos dados de todas as partições quentes na tabela, incluindo dados dos tipos Table Record, Regular Index, Primary Key Index e Other.
   Cold Data Size	Tamanho dos dados de todas as partições frias na tabela, incluindo dados dos tipos Table Record, Regular Index, Primary Key Index e Other.
   Table Record	Tamanho dos dados de todas as partições na tabela, excluindo dados do tipo Regular Index ou Primary Key Index.
   Regular Index	Tamanho dos dados dos índices regulares em todas as partições da tabela.
   Primary Key Index	Tamanho dos dados do índice de chave primária em todas as partições da tabela.
   Other	Tamanho dos metadados e dados temporários em todas as partições da tabela.
   Table Rows	Número de linhas na tabela.
   Partitions	Número de partições na tabela.

Consultar o uso de armazenamento usando SQL

Também é possível consultar as tabelas de sistema information_schema.kepler_partitions e information_schema.kepler_meta_tables por meio de instruções SQL para obter o resumo do uso de armazenamento no nível do cluster e os detalhes de armazenamento quente e frio de cada tabela. Siga as etapas abaixo:

1. Obtenha o número de shards no cluster.

   select count(1) from information_schema.kepler_meta_shards;

2. Substitua ${shardCount} na instrução SQL a seguir pelo número de shards obtido na Etapa 1 e execute a instrução. Esta consulta SQL retorna o resumo do uso de armazenamento no nível do cluster.

   select sum(totalSize)     as totalSize,      -- Total data size of the cluster
          sum(hotTotalSize)  as hotTotalSize,    -- Total hot data size
          sum(hotDataSize)   as hotDataSize,     -- Hot data: table records
          sum(hotIndexSize)  as hotIndexSize,    -- Hot data: secondary indexes
          sum(hotPkSize)     as hotPkSize,       -- Hot data: primary key indexes
          sum(hotOtherSize)  as hotOtherSize,    -- Hot data: other (metadata, etc.)
          sum(coldTotalSize) as coldTotalSize,   -- Total cold data size
          sum(coldDataSize)  as coldDataSize,    -- Cold data: table records
          sum(coldIndexSize) as coldIndexSize,   -- Cold data: secondary indexes
          sum(coldPkSize)    as coldPkSize,      -- Cold data: primary key indexes
          sum(coldOtherSize) as coldOtherSize    -- Cold data: other (metadata, etc.)
   from (select lower(p.schema_name) as schemaName, lower(p.table_name) as tableName,
                (sum(LOCAL_DATA_SIZE) + sum(REMOTE_DATA_SIZE)) * if(t.distribute_type = 'broadcast', ${shardCount}, 1) as totalSize,
                sum(LOCAL_DATA_SIZE) * if(t.distribute_type = 'broadcast', ${shardCount}, 1) as hotTotalSize,
                sum(if(LOCAL_DATA_SIZE > 0, DETAIL_SIZE, 0)) * if(t.distribute_type = 'broadcast', ${shardCount}, 1) as hotDataSize,
                sum(if(LOCAL_DATA_SIZE > 0, INDEX_SIZE, 0)) * if(t.distribute_type = 'broadcast', ${shardCount}, 1) as hotIndexSize,
                sum(if(LOCAL_DATA_SIZE > 0, PK_SIZE, 0)) * if(t.distribute_type = 'broadcast', ${shardCount}, 1) as hotPkSize,
                sum(if(LOCAL_DATA_SIZE > 0, LOCAL_DATA_SIZE - DETAIL_SIZE - INDEX_SIZE - PK_SIZE, 0)) *
                if(t.distribute_type = 'broadcast', ${shardCount}, 1) as hotOtherSize,
                sum(REMOTE_DATA_SIZE) * if(t.distribute_type = 'broadcast', ${shardCount}, 1) as coldTotalSize,
                sum(if(REMOTE_DATA_SIZE > 0, DETAIL_SIZE, 0)) * if(t.distribute_type = 'broadcast', ${shardCount}, 1) as coldDataSize,
                sum(if(REMOTE_DATA_SIZE > 0, INDEX_SIZE, 0)) * if(t.distribute_type = 'broadcast', ${shardCount}, 1) as coldIndexSize,
                sum(if(REMOTE_DATA_SIZE > 0, PK_SIZE, 0)) * if(t.distribute_type = 'broadcast', ${shardCount}, 1) as coldPkSize,
                sum(if(REMOTE_DATA_SIZE > 0, REMOTE_DATA_SIZE - DETAIL_SIZE - INDEX_SIZE - PK_SIZE, 0)) *
                if(t.distribute_type = 'broadcast', ${shardCount}, 1) as coldOtherSize
         from information_schema.kepler_partitions p
                  join information_schema.kepler_meta_tables t
                       on lower(p.schema_name) = lower(t.table_schema) and
                          lower(p.table_name) = lower(t.table_name)
         where p.schema_name not in ('analyticdb', 'INFORMATION_SCHEMA', 'MYSQL')
         group by schemaName, tableName,t.distribute_type) pp;

3. Substitua ${shardCount} na instrução SQL a seguir pelo número de shards obtido na Etapa 1 e substitua ${totalSize} pelo valor de totalSize retornado na consulta da Etapa 2. Em seguida, execute a instrução. Esta consulta SQL retorna o uso de armazenamento de cada tabela.

   select
       lower(p.schema_name) as schemaName,                                                              -- Database name
       lower(p.table_name) as tableName,                                                                -- Table name
       count_if(p.partition_id >= 0) as totalPartitionCount,                                         -- Total number of partitions
       sum(row_count) as totalRowCount,                                                                 -- Total number of rows
       sum(detail_size) * if(t.distribute_type='broadcast', ${shardCount}, 1) as totalDataSize,         -- Table record data size
       sum(index_size) * if(t.distribute_type='broadcast', ${shardCount}, 1) as totalIndexSize,         -- Secondary index data size
       sum(pk_size) * if(t.distribute_type='broadcast', ${shardCount}, 1) as totalPkSize,               -- Primary key index data size
       sum(remote_data_size) * if(t.distribute_type='broadcast', ${shardCount}, 1) as totalRemoteDataSize, -- Cold data size
       sum(local_data_size) * if(t.distribute_type='broadcast', ${shardCount}, 1) as totalLocalDataSize,-- Hot data size
       (sum(remote_data_size) + sum(local_data_size))
           * if(t.distribute_type='broadcast', ${shardCount}, 1) as totalSize,                          -- Total data size (hot + cold)
       (sum(remote_data_size) + sum(local_data_size) - sum(detail_size) - sum(index_size) - sum(pk_size))
           * if(t.distribute_type='broadcast', ${shardCount}, 1) as otherSize,                          -- Other data size (metadata, temporary data, etc.)
       round(100 * (sum(remote_data_size) + sum(local_data_size))
           * if(t.distribute_type='broadcast', ${shardCount}, 1) / ${totalSize}, 2) as spaceRatio       -- Space usage ratio (%)
   from information_schema.kepler_partitions p
       join information_schema.kepler_meta_tables t
           on lower(p.schema_name) = lower(t.table_schema)
           and lower(p.table_name) = lower(t.table_name)
   where p.schema_name not in ('analyticdb', 'INFORMATION_SCHEMA', 'MYSQL')
   -- (Optional) Filter by exact database name
   -- AND lower(p.schema_name) = 'your_db_name'
   -- (Optional) Filter by fuzzy table name match
   -- AND LOWER(p.table_name) LIKE '%keyword%'
   group by schemaName, tableName, t.distribute_type
   order by totalSize desc;

Operações relacionadas

Perguntas frequentes

PURGE RECYCLE_BIN TABLE <table_name_in_ADB_RECYCLE_BIN>;