OSS dosya filtresi özelliği, sorgu çalıştırma sırasında OSS içindeki ilgisiz veri bloklarını atlar. Bu sayede taranan veri miktarı azalır ve soğuk veri sorguları hızlanır.
Nasıl çalışır
PolarDB, arşivlenen her veri bloğu için istatistikler toplar, filtre verileri oluşturur ve bunları OSS içinde depolar. Bir sorgu çalıştığında motor, sorgu koşullarını CSV formatındaki soğuk veri katmanına aşağı iter (pushdown). Koşullar filtre verileriyle karşılaştırılır ve eşleşen satırları içeremeyecek bloklar atlanır.
Farklı veri türleri için farklı filtreleme stratejileri uygulanır:
| Filtreleme stratejisi | Uygulanabilir veri türleri | En uygun olduğu durumlar |
|---|---|---|
| Min/maks istatistikleri | Sayısal, zaman | Sıralı veya kısmen sıralı veriler (örneğin zaman damgaları, ardışık kimlikler) |
| Karakter haritası | Dize (CHAR, VARCHAR) |
Büyük/küçük harfe duyarlı dize öneki filtreleme |
| Bloom filtresi | Tüm veri türleri | Globale olarak sırasız veriler; UUID dizeleri |
Arşivlenen verilere tipik olarak karşılık gelen zaman serisi verilerinde, zaman türündeki sütunlarda filtreleme yapmak sorgu performansında önemli iyileştirmeler sağlayabilir.
Önkoşullar
Başlamadan önce aşağıdakilerin sağlandığından emin olun:
Küme MySQL 8.0.2 sürümünü, revizyon sürümü 8.0.2.2.25 veya üstünü çalıştırıyor
Kümede soğuk veri arşivleme etkin
Kümeye bir bağlantı kuruldu. Bkz. Kümeye bağlanma
Tablo CSV formatında OSS soğuk verisi kullanıyor ve
OSS META=1etkinleştirilmiş durumda
OSS META=1 ayarının yapılıp yapılmadığını kontrol etmek için SHOW CREATE TABLE komutunu çalıştırın ve çıktıda OSS META=1 ifadesinin bulunduğunu doğrulayın:
SHOW CREATE TABLE t;
Örnek çıktı:
*************************** 1. row ***************************
Table: t
Create Table: CREATE TABLE `t` (
`id` int(11) DEFAULT NULL
) /*!99990 800020213 STORAGE OSS */ ENGINE=CSV DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci /*!99990 800020204 NULL_MARKER='NULL' */ /*!99990 800020223 OSS META=1 */
1 row in set (0.00 sec)
Daha fazla bilgi için bkz. Soğuk verilerde DDL işlemleri gerçekleştirme.
Sınırlamalar
Uyumluluk:
Elastic Parallel Query (ePQ) zaten etkinse OSS dosya filtresi özelliği etkinleştirilemez.
Tabloda veri bulunmalıdır. Boş OSS tabloları bu özelliği sorgu hızlandırma için kullanamaz.
Desteklenen veri türleri:
| Kategori | Veri türleri |
|---|---|
| Tamsayı | TINYINT, SMALLINT, MEDIUMINT, INT, BIGINT, TINYINT UNSIGNED, SMALLINT UNSIGNED, MEDIUMINT UNSIGNED, INT UNSIGNED, BIGINT UNSIGNED |
| Kayan nokta | FLOAT, DOUBLE |
| Sabit nokta | DECIMAL |
| Zaman | DATE, DATETIME, TIME, TIMESTAMP |
| Dize | CHAR, VARCHAR |
Bloom filtresi ile tüm veri türleri desteklenir.
Desteklenen operatörler:
Aşağıdaki operatörler filtre pushdown işlemini tetikler: =, <=>, <, <=, >=, >, BETWEEN, LIKE, IS NULL, IS NOT NULL.
LIKE operatörü için joker karakter yüzde işareti (%) yalnızca sağ tarafta yer almalıdır: LIKE 'ABC%'. LIKE '%ABC' veya LIKE '%ABC%' gibi desenler filtre pushdown işlemini tetiklemez.
Dize sütunları için yalnızca büyük/küçük harfe duyarlı karşılaştırmalar desteklenir.
AND ile bağlanan birden çok koşul desteklenir. OR ile bağlanan koşullar filtre tarafından değerlendirilmez.
Filtre pushdown işlemini tetiklemeyen desenler:
| Desen | Neden |
|---|---|
col LIKE '%ABC' veya col LIKE '%ABC%' |
Joker karakter yalnızca sağ tarafta olmalıdır |
condition1 OR condition2 |
OR koşulları filtre tarafından değerlendirilmez |
| Boş OSS tablolarındaki sorgular | Filtre en az bir satır veri gerektirir |
OSS dosya filtresini etkinleştirme
Konsolda küme parametresi
loose_use_oss_metadeğeriniONolarak ayarlayarakUSE_OSS_METAözelliğini etkinleştirin. Daha fazla bilgi için bkz. Küme ve düğüm parametrelerini yapılandırma.Konsolda küme parametresi
loose_optimizer_switchdeğeriniENGINE_CONDITION_PUSHDOWN=ONolarak ayarlayın. Daha fazla bilgi için bkz. Küme ve düğüm parametrelerini yapılandırma.Konsolda küme parametresi
loose_csv_oss_file_filterdeğeriniONolarak ayarlayın. Daha fazla bilgi için bkz. Küme ve düğüm parametrelerini yapılandırma.-
Kümeye bağlanın ve üç parametrenin de etkin olduğunu doğrulayın:
-- Verify that oss_file_filter is ON SHOW VARIABLES LIKE 'oss_file_filter'; -- Verify that use_oss_meta is ON SHOW VARIABLES LIKE 'use_oss_meta'; -- Verify that ENGINE_CONDITION_PUSHDOWN is ON SHOW VARIABLES LIKE 'optimizer_switch';
OSS dosya filtresi oluşturma
Bir tabloyu arşivlerken veya zaten arşivlenmiş bir tabloda ALTER TABLE deyimi yürütürken OSS_FILE_FILTER seçeneğini kullanın.
Seçenek sözdizimi:
OSS_FILE_FILTER = 'field_filter[,field_filter]'
field_filter := field_name[:filter_type]
filter_type := bloom
Varsayılan olarak sayısal ve zaman sütunları min/maks istatistiklerini, dize sütunları ise karakter haritasını kullanır. Bir sütunda Bloom filtresi kullanmak için sütun adının sonuna :bloom ekleyin.
Dize sütunlarında saklanan UUID değerleri için daha iyi filtreleme verimliliği sağlamak amacıyla Bloom filtresi ( :bloom ) kullanın.
Tabloyu arşivlerken filtre oluşturma
ALTER TABLE ... ENGINE = CSV STORAGE OSS deyiminin bir parçası olarak OSS_FILE_FILTER belirtin:
-- Archive the table and create an OSS file filter on L_ORDERKEY, L_LINENUMBER, and L_SHIPDATE
ALTER TABLE lineitem ENGINE = CSV STORAGE OSS
OSS_FILE_FILTER = 'L_ORDERKEY,L_LINENUMBER,L_SHIPDATE';
Bu örnekte kullanılan tam tablo tanımı:
CREATE TABLE `lineitem` (
`L_ORDERKEY` int(11) NOT NULL,
`L_PARTKEY` int(11) NOT NULL,
`L_SUPPKEY` int(11) NOT NULL,
`L_LINENUMBER` int(11) NOT NULL,
`L_QUANTITY` decimal(15,2) NOT NULL,
`L_EXTENDEDPRICE` decimal(15,2) NOT NULL,
`L_DISCOUNT` decimal(15,2) NOT NULL,
`L_TAX` decimal(15,2) NOT NULL,
`L_RETURNFLAG` char(1) COLLATE utf8_bin NOT NULL,
`L_LINESTATUS` char(1) COLLATE utf8_bin NOT NULL,
`L_SHIPDATE` date NOT NULL,
`L_COMMITDATE` date NOT NULL,
`L_RECEIPTDATE` date NOT NULL,
`L_SHIPINSTRUCT` char(25) COLLATE utf8_bin NOT NULL,
`L_SHIPMODE` char(10) COLLATE utf8_bin NOT NULL,
`L_COMMENT` varchar(44) COLLATE utf8_bin NOT NULL
) ENGINE = innodb;
Zaten arşivlenmiş bir tabloya filtre ekleme
Zaten CSV STORAGE OSS formatında olan bir tabloda ALTER TABLE ve OSS_FILE_FILTER kullanarak filtreyi ekleyin:
-- Add an OSS file filter to an archived table
-- L_SHIPINSTRUCT uses a Bloom filter; the other columns use the default strategy
ALTER TABLE lineitem OSS_FILE_FILTER = 'L_ORDERKEY,L_LINENUMBER,L_SHIPDATE,L_SHIPINSTRUCT:BLOOM';
Zaten arşivlenmiş bir tablonun tablo tanımında ENGINE = CSV STORAGE OSS kullanılır:
CREATE TABLE `lineitem` (
`L_ORDERKEY` int(11) NOT NULL,
`L_PARTKEY` int(11) NOT NULL,
`L_SUPPKEY` int(11) NOT NULL,
`L_LINENUMBER` int(11) NOT NULL,
`L_QUANTITY` decimal(15,2) NOT NULL,
`L_EXTENDEDPRICE` decimal(15,2) NOT NULL,
`L_DISCOUNT` decimal(15,2) NOT NULL,
`L_TAX` decimal(15,2) NOT NULL,
`L_RETURNFLAG` char(1) COLLATE utf8_bin NOT NULL,
`L_LINESTATUS` char(1) COLLATE utf8_bin NOT NULL,
`L_SHIPDATE` date NOT NULL,
`L_COMMITDATE` date NOT NULL,
`L_RECEIPTDATE` date NOT NULL,
`L_SHIPINSTRUCT` char(25) COLLATE utf8_bin NOT NULL,
`L_SHIPMODE` char(10) COLLATE utf8_bin NOT NULL,
`L_COMMENT` varchar(44) COLLATE utf8_bin NOT NULL
) ENGINE = CSV STORAGE OSS;
Filtre pushdown işlemini doğrulama
Bir OSS dosya filtresi oluşturduktan sonra filtre koşullarının OSS veri katmanına itildiğini onaylamak için EXPLAIN komutunu çalıştırın.
EXPLAIN SELECT * FROM lineitem WHERE l_orderkey = 96;
Çıktıda Extra sütununda With pushed engine condition ifadesi yer almalıdır:
+----+-------------+----------+------------+------+---------------+------+---------+------+---------+----------+---------------------------------------------------------------------------------+
| id | select_type | table | partitions | type | possible_keys | key | key_len | ref | rows | filtered | Extra |
+----+-------------+----------+------------+------+---------------+------+---------+------+---------+----------+---------------------------------------------------------------------------------+
| 1 | SIMPLE | lineitem | NULL | ALL | NULL | NULL | NULL | NULL | 6001215 | 10.00 | Using where; With pushed engine condition (`test`.`lineitem`.`L_ORDERKEY` = 96) |
+----+-------------+----------+------------+------+---------------+------+---------+------+---------+----------+---------------------------------------------------------------------------------+
Hangi filtre koşullarının OSS veri taramasına uygulandığını açıkça gösteren ağaç biçimli bir plan için:
EXPLAIN FORMAT = TREE SELECT * FROM lineitem WHERE l_orderkey = 96\G
Beklenen çıktı:
*************************** 1. row ***************************
EXPLAIN: -> Filter: (lineitem.L_ORDERKEY = 96) (cost=15010.00 rows=10000)
-> Table scan on lineitem, extra (oss_file_filter conditions: (lineitem.L_ORDERKEY = 96)) (cost=15010.00 rows=100000)
oss_file_filter conditions girdisi, koşulun veri bloğu düzeyinde değerlendirildiğini ve belleğe okunmadan önce eşleşemeyecek blokların atlandığını teyit eder.
Filtre onaylandıktan sonra gerçek sorguyu çalıştırın:
SELECT COUNT(*) FROM lineitem WHERE l_orderkey = 96;