Tüm Ürünler
Search
Belge Merkezi

PolarDB:Use the OSS file filter feature to accelerate cold data queries

Son Güncelleme:Oct 07, 2026

OSS dosya filtresi özelliği, sorgu çalıştırma sırasında OSS içindeki ilgisiz veri bloklarını atlar. Bu sayede taranan veri miktarı azalır ve soğuk veri sorguları hızlanır.

Nasıl çalışır

PolarDB, arşivlenen her veri bloğu için istatistikler toplar, filtre verileri oluşturur ve bunları OSS içinde depolar. Bir sorgu çalıştığında motor, sorgu koşullarını CSV formatındaki soğuk veri katmanına aşağı iter (pushdown). Koşullar filtre verileriyle karşılaştırılır ve eşleşen satırları içeremeyecek bloklar atlanır.

Farklı veri türleri için farklı filtreleme stratejileri uygulanır:

Filtreleme stratejisi Uygulanabilir veri türleri En uygun olduğu durumlar
Min/maks istatistikleri Sayısal, zaman Sıralı veya kısmen sıralı veriler (örneğin zaman damgaları, ardışık kimlikler)
Karakter haritası Dize (CHAR, VARCHAR) Büyük/küçük harfe duyarlı dize öneki filtreleme
Bloom filtresi Tüm veri türleri Globale olarak sırasız veriler; UUID dizeleri

Arşivlenen verilere tipik olarak karşılık gelen zaman serisi verilerinde, zaman türündeki sütunlarda filtreleme yapmak sorgu performansında önemli iyileştirmeler sağlayabilir.

Önkoşullar

Başlamadan önce aşağıdakilerin sağlandığından emin olun:

  • Küme MySQL 8.0.2 sürümünü, revizyon sürümü 8.0.2.2.25 veya üstünü çalıştırıyor

  • Kümede soğuk veri arşivleme etkin

  • Kümeye bir bağlantı kuruldu. Bkz. Kümeye bağlanma

  • Tablo CSV formatında OSS soğuk verisi kullanıyor ve OSS META=1 etkinleştirilmiş durumda

OSS META=1 ayarının yapılıp yapılmadığını kontrol etmek için SHOW CREATE TABLE komutunu çalıştırın ve çıktıda OSS META=1 ifadesinin bulunduğunu doğrulayın:

SHOW CREATE TABLE t;

Örnek çıktı:

*************************** 1. row ***************************
       Table: t
Create Table: CREATE TABLE `t` (
  `id` int(11) DEFAULT NULL
) /*!99990 800020213 STORAGE OSS */ ENGINE=CSV DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci /*!99990 800020204 NULL_MARKER='NULL' */ /*!99990 800020223 OSS META=1 */

1 row in set (0.00 sec)

Daha fazla bilgi için bkz. Soğuk verilerde DDL işlemleri gerçekleştirme.

Sınırlamalar

Uyumluluk:

  • Elastic Parallel Query (ePQ) zaten etkinse OSS dosya filtresi özelliği etkinleştirilemez.

  • Tabloda veri bulunmalıdır. Boş OSS tabloları bu özelliği sorgu hızlandırma için kullanamaz.

Desteklenen veri türleri:

Kategori Veri türleri
Tamsayı TINYINT, SMALLINT, MEDIUMINT, INT, BIGINT, TINYINT UNSIGNED, SMALLINT UNSIGNED, MEDIUMINT UNSIGNED, INT UNSIGNED, BIGINT UNSIGNED
Kayan nokta FLOAT, DOUBLE
Sabit nokta DECIMAL
Zaman DATE, DATETIME, TIME, TIMESTAMP
Dize CHAR, VARCHAR

Bloom filtresi ile tüm veri türleri desteklenir.

Desteklenen operatörler:

Aşağıdaki operatörler filtre pushdown işlemini tetikler: =, <=>, <, <=, >=, >, BETWEEN, LIKE, IS NULL, IS NOT NULL.

LIKE operatörü için joker karakter yüzde işareti (%) yalnızca sağ tarafta yer almalıdır: LIKE 'ABC%'. LIKE '%ABC' veya LIKE '%ABC%' gibi desenler filtre pushdown işlemini tetiklemez.

Dize sütunları için yalnızca büyük/küçük harfe duyarlı karşılaştırmalar desteklenir.

AND ile bağlanan birden çok koşul desteklenir. OR ile bağlanan koşullar filtre tarafından değerlendirilmez.

Filtre pushdown işlemini tetiklemeyen desenler:

Desen Neden
col LIKE '%ABC' veya col LIKE '%ABC%' Joker karakter yalnızca sağ tarafta olmalıdır
condition1 OR condition2 OR koşulları filtre tarafından değerlendirilmez
Boş OSS tablolarındaki sorgular Filtre en az bir satır veri gerektirir

OSS dosya filtresini etkinleştirme

  1. Konsolda küme parametresi loose_use_oss_meta değerini ON olarak ayarlayarak USE_OSS_META özelliğini etkinleştirin. Daha fazla bilgi için bkz. Küme ve düğüm parametrelerini yapılandırma.

  2. Konsolda küme parametresi loose_optimizer_switch değerini ENGINE_CONDITION_PUSHDOWN=ON olarak ayarlayın. Daha fazla bilgi için bkz. Küme ve düğüm parametrelerini yapılandırma.

  3. Konsolda küme parametresi loose_csv_oss_file_filter değerini ON olarak ayarlayın. Daha fazla bilgi için bkz. Küme ve düğüm parametrelerini yapılandırma.

  4. Kümeye bağlanın ve üç parametrenin de etkin olduğunu doğrulayın:

    -- Verify that oss_file_filter is ON
    SHOW VARIABLES LIKE 'oss_file_filter';
    
    -- Verify that use_oss_meta is ON
    SHOW VARIABLES LIKE 'use_oss_meta';
    
    -- Verify that ENGINE_CONDITION_PUSHDOWN is ON
    SHOW VARIABLES LIKE 'optimizer_switch';

OSS dosya filtresi oluşturma

Bir tabloyu arşivlerken veya zaten arşivlenmiş bir tabloda ALTER TABLE deyimi yürütürken OSS_FILE_FILTER seçeneğini kullanın.

Seçenek sözdizimi:

OSS_FILE_FILTER = 'field_filter[,field_filter]'
field_filter := field_name[:filter_type]
filter_type := bloom

Varsayılan olarak sayısal ve zaman sütunları min/maks istatistiklerini, dize sütunları ise karakter haritasını kullanır. Bir sütunda Bloom filtresi kullanmak için sütun adının sonuna :bloom ekleyin.

Dize sütunlarında saklanan UUID değerleri için daha iyi filtreleme verimliliği sağlamak amacıyla Bloom filtresi ( :bloom ) kullanın.

Tabloyu arşivlerken filtre oluşturma

ALTER TABLE ... ENGINE = CSV STORAGE OSS deyiminin bir parçası olarak OSS_FILE_FILTER belirtin:

-- Archive the table and create an OSS file filter on L_ORDERKEY, L_LINENUMBER, and L_SHIPDATE
ALTER TABLE lineitem ENGINE = CSV STORAGE OSS
  OSS_FILE_FILTER = 'L_ORDERKEY,L_LINENUMBER,L_SHIPDATE';

Bu örnekte kullanılan tam tablo tanımı:

CREATE TABLE `lineitem` (
  `L_ORDERKEY` int(11) NOT NULL,
  `L_PARTKEY` int(11) NOT NULL,
  `L_SUPPKEY` int(11) NOT NULL,
  `L_LINENUMBER` int(11) NOT NULL,
  `L_QUANTITY` decimal(15,2) NOT NULL,
  `L_EXTENDEDPRICE` decimal(15,2) NOT NULL,
  `L_DISCOUNT` decimal(15,2) NOT NULL,
  `L_TAX` decimal(15,2) NOT NULL,
  `L_RETURNFLAG` char(1) COLLATE utf8_bin NOT NULL,
  `L_LINESTATUS` char(1) COLLATE utf8_bin NOT NULL,
  `L_SHIPDATE` date NOT NULL,
  `L_COMMITDATE` date NOT NULL,
  `L_RECEIPTDATE` date NOT NULL,
  `L_SHIPINSTRUCT` char(25) COLLATE utf8_bin NOT NULL,
  `L_SHIPMODE` char(10) COLLATE utf8_bin NOT NULL,
  `L_COMMENT` varchar(44) COLLATE utf8_bin NOT NULL
) ENGINE = innodb;

Zaten arşivlenmiş bir tabloya filtre ekleme

Zaten CSV STORAGE OSS formatında olan bir tabloda ALTER TABLE ve OSS_FILE_FILTER kullanarak filtreyi ekleyin:

-- Add an OSS file filter to an archived table
-- L_SHIPINSTRUCT uses a Bloom filter; the other columns use the default strategy
ALTER TABLE lineitem OSS_FILE_FILTER = 'L_ORDERKEY,L_LINENUMBER,L_SHIPDATE,L_SHIPINSTRUCT:BLOOM';

Zaten arşivlenmiş bir tablonun tablo tanımında ENGINE = CSV STORAGE OSS kullanılır:

CREATE TABLE `lineitem` (
  `L_ORDERKEY` int(11) NOT NULL,
  `L_PARTKEY` int(11) NOT NULL,
  `L_SUPPKEY` int(11) NOT NULL,
  `L_LINENUMBER` int(11) NOT NULL,
  `L_QUANTITY` decimal(15,2) NOT NULL,
  `L_EXTENDEDPRICE` decimal(15,2) NOT NULL,
  `L_DISCOUNT` decimal(15,2) NOT NULL,
  `L_TAX` decimal(15,2) NOT NULL,
  `L_RETURNFLAG` char(1) COLLATE utf8_bin NOT NULL,
  `L_LINESTATUS` char(1) COLLATE utf8_bin NOT NULL,
  `L_SHIPDATE` date NOT NULL,
  `L_COMMITDATE` date NOT NULL,
  `L_RECEIPTDATE` date NOT NULL,
  `L_SHIPINSTRUCT` char(25) COLLATE utf8_bin NOT NULL,
  `L_SHIPMODE` char(10) COLLATE utf8_bin NOT NULL,
  `L_COMMENT` varchar(44) COLLATE utf8_bin NOT NULL
) ENGINE = CSV STORAGE OSS;

Filtre pushdown işlemini doğrulama

Bir OSS dosya filtresi oluşturduktan sonra filtre koşullarının OSS veri katmanına itildiğini onaylamak için EXPLAIN komutunu çalıştırın.

EXPLAIN SELECT * FROM lineitem WHERE l_orderkey = 96;

Çıktıda Extra sütununda With pushed engine condition ifadesi yer almalıdır:

+----+-------------+----------+------------+------+---------------+------+---------+------+---------+----------+---------------------------------------------------------------------------------+
| id | select_type | table    | partitions | type | possible_keys | key  | key_len | ref  | rows    | filtered | Extra                                                                           |
+----+-------------+----------+------------+------+---------------+------+---------+------+---------+----------+---------------------------------------------------------------------------------+
|  1 | SIMPLE      | lineitem | NULL       | ALL  | NULL          | NULL | NULL    | NULL | 6001215 |    10.00 | Using where; With pushed engine condition (`test`.`lineitem`.`L_ORDERKEY` = 96) |
+----+-------------+----------+------------+------+---------------+------+---------+------+---------+----------+---------------------------------------------------------------------------------+

Hangi filtre koşullarının OSS veri taramasına uygulandığını açıkça gösteren ağaç biçimli bir plan için:

EXPLAIN FORMAT = TREE SELECT * FROM lineitem WHERE l_orderkey = 96\G

Beklenen çıktı:

*************************** 1. row ***************************
EXPLAIN: -> Filter: (lineitem.L_ORDERKEY = 96)  (cost=15010.00 rows=10000)
    -> Table scan on lineitem, extra (oss_file_filter conditions: (lineitem.L_ORDERKEY = 96))  (cost=15010.00 rows=100000)

oss_file_filter conditions girdisi, koşulun veri bloğu düzeyinde değerlendirildiğini ve belleğe okunmadan önce eşleşemeyecek blokların atlandığını teyit eder.

Filtre onaylandıktan sonra gerçek sorguyu çalıştırın:

SELECT COUNT(*) FROM lineitem WHERE l_orderkey = 96;

Sonraki adımlar