ApsaraDB for SelectDB:İstatistikler

Söz dizimi

ANALYZE < TABLE | DATABASE table_name | db_name >
    [ (column_name [, ...]) ]
    [ [ WITH SYNC ] [ WITH SAMPLE PERCENT | ROWS ] ];

Parametreler

Örnekler

Satırların %10'unu örnekleyerek istatistik toplayın:

ANALYZE TABLE lineitem WITH SAMPLE PERCENT 10;

100.000 satır örnekleyerek istatistik toplayın:

ANALYZE TABLE lineitem WITH SAMPLE ROWS 100000;

Sağlık puanının çalışma şekli

İstatistik sağlığı 0 ila 100 arasında bir değerdir. Aşağıdaki koşulların tümü karşılandığında otomatik toplama tetiklenir:

• Tablo son toplamadan bu yana güncellendi.

• Sağlık puanı yapılandırılan eşik değerin altına düştü.

• Büyük tablolar için: Son toplamadan bu yana minimum toplama aralığı geçti.

Sağlık puanı ayrıntıları:

• İstatistiği olmayan bir tablonun sağlık puanı 0'dır.

• Her içe aktarma işleminden sonra SelectDB, güncellenen satır oranına dayanarak yeni sağlık durumunu tahmin eder.

• Sağlık durumu table_stats_health_threshold (varsayılan: 60) değerinin altına düşerse tablo eski kabul edilir ve toplama için planlanır.

Büyük tablo stratejisi

huge_table_lower_bound_size_in_bytes (varsayılan: 5 GiB) değerinden büyük tablolar için:

• SelectDB otomatik olarak örnekleme ile toplamayı kullanır ve huge_table_default_sample_rows satır (varsayılan: 4.194.304) örnekler.

• Bu süre zarfındaki sağlık puanı değişikliklerinden bağımsız olarak toplama işlemi en fazla huge_table_auto_analyze_interval_in_millis (varsayılan: 12 saat) başına bir kez çalışır.

Daha doğru istatistikler için örnekleme derinliğini artırmak üzere huge_table_default_sample_rows değerini yükseltin.

Toplamayı yoğun olmayan saatlerle sınırlayın

Üretim iş yüklerini etkilememek için otomatik toplama için bir zaman penceresi ayarlayın:

SET auto_analyze_start_time = '02:00:00';
SET auto_analyze_end_time = '06:00:00';

Otomatik toplamayı devre dışı bırakın

SET enable_auto_analyze = false;

Harici katalog

Büyük geçmiş veri kümelerinden kaynaklanan aşırı kaynak tüketimini önlemek için harici kataloglarda otomatik toplama varsayılan olarak devre dışıdır. Katalog başına etkinleştirin veya devre dışı bırakın:

-- Enable automatic collection for an external catalog
ALTER CATALOG external_catalog SET PROPERTIES ('enable.auto.analyze'='true');

-- Disable automatic collection for an external catalog
ALTER CATALOG external_catalog SET PROPERTIES ('enable.auto.analyze'='false');

Toplama işlerini görüntüleyin

SHOW [AUTO] ANALYZE < table_name | job_id >
    [ WHERE [ STATE = [ "PENDING" | "RUNNING" | "FINISHED" | "FAILED" ] ] ];

Örnek:

SHOW ANALYZE 245073\G;

*************************** 1. row ***************************
              job_id: 245073
        catalog_name: internal
             db_name: default_cluster:tpch
            tbl_name: lineitem
            col_name: [l_returnflag,l_receiptdate,l_tax,l_shipmode,l_suppkey,l_shipdate,
                        l_commitdate,l_partkey,l_orderkey,l_quantity,l_linestatus,l_comment,
                        l_extendedprice,l_linenumber,l_discount,l_shipinstruct]
            job_type: MANUAL
       analysis_type: FUNDAMENTALS
             message:
last_exec_time_in_ms: 2023-11-07 11:00:52
               state: FINISHED
            progress: 16 Finished  |  0 Failed  |  0 In Progress  |  16 Total
       schedule_type: ONCE

Çıktı alanları:

Tablo düzeyindeki istatistikleri görüntüleyin

SHOW TABLE STATS <table_name>;

Örnek:

SHOW TABLE STATS lineitem\G

*************************** 1. row ***************************
updated_rows: 0
 query_times: 0
   row_count: 6001215
updated_time: 2023-11-07
     columns: [l_returnflag, l_receiptdate, l_tax, l_shipmode, l_suppkey, l_shipdate,
               l_commitdate, l_partkey, l_orderkey, l_quantity, l_linestatus, l_comment,
               l_extendedprice, l_linenumber, l_discount, l_shipinstruct]
     trigger: MANUAL

Çıktı alanları:

Sütun düzeyindeki görev durumunu görüntüleyin

Her toplama işi sütun başına bir görev oluşturur. Belirli bir iş için görev durumunu görüntülemek için:

SHOW ANALYZE TASK STATUS [job_id]

Örnek:

SHOW ANALYZE TASK STATUS 20038;

+---------+----------+---------+----------------------+----------+
| task_id | col_name | message | last_exec_time_in_ms | state    |
+---------+----------+---------+----------------------+----------+
| 20039   | col4     |         | 2023-06-01 17:22:15  | FINISHED |
| 20040   | col2     |         | 2023-06-01 17:22:15  | FINISHED |
| 20041   | col3     |         | 2023-06-01 17:22:15  | FINISHED |
| 20042   | col1     |         | 2023-06-01 17:22:15  | FINISHED |
+---------+----------+---------+----------------------+----------+

Sütun istatistiklerini görüntüleyin

SHOW COLUMN [cached] STATS table_name [ (column_name [, ...]) ];

Örnek:

SHOW COLUMN STATS lineitem(l_tax)\G

*************************** 1. row ***************************
  column_name: l_tax
        count: 6001215.0
          ndv: 9.0
     num_null: 0.0
    data_size: 4.800972E7
avg_size_byte: 8.0
          min: 0.00
          max: 0.08
       method: FULL
         type: FUNDAMENTALS
      trigger: MANUAL
  query_times: 0
 updated_time: 2023-11-07 11:00:46

Bir toplama işini durdurun

KILL ANALYZE job_id;

İş kimliği, eşzamansız modda ANALYZE tarafından döndürülür veya SHOW ANALYZE komutundan alınır.

Örnek:

KILL ANALYZE 52357;

Oturum değişkenleri

FE yapılandırma öğeleri

Bu öğeler arka plan davranışını kontrol eder. Çoğu durumda varsayılan değerler yeterlidir.

ANALYZE çalıştırıldıktan sonra "Stats table not available..." hatası görünüyor

Tüm BE düğümlerinin normal durumda olduğunu onaylamak için SHOW BACKENDS komutunu çalıştırın. BE'ler sağlıklı görünüyorsa dahili istatistik tablosunun tablet durumunu kontrol edin:

ADMIN SHOW REPLICA STATUS FROM __internal_schema.[tbl_in_this_db];

Tüm tabletlerin normal bir durum gösterdiğinden emin olun. FE, herhangi bir ANALYZE isteğini kabul etmeden önce tablet kullanılabilirliğini kontrol eder ve __internal_schema.column_statistics içindeki herhangi bir tablet kullanılamazsa isteği reddeder.

Büyük bir tabloda istatistik toplama başarısız oluyor

Tam tarama yerine örnekleme ile toplamayı kullanın. ANALYZE için ayrılan kaynaklar kesinlikle sınırlıdır ve büyük bir tablonun tam taraması zaman aşımına uğrayabilir veya BE belleğini tüketebilir:

ANALYZE TABLE <table_name> WITH SAMPLE PERCENT 10;

Tablo boyutuna ve ihtiyaç duyduğunuz doğruluğa bağlı olarak örnekleme oranını ayarlayın.