MaxCompute:Indeks Bloom filter (Beta)

Kelebihan dan kekurangan

• Kelebihan

  • Keefisienan tinggi: Konsumsi sumber daya untuk operasi insert dan query lebih rendah daripada indeks biasa.

  • Hemat ruang: Array bit digunakan. 2³² = 4294967296, artinya array bit dengan 4,2 miliar bit hanya membutuhkan 512 MB ruang memori.

    Catatan

    Ruang memori yang ditempati oleh array bit dihitung menggunakan rumus berikut: 4294967296/8/1024/1024 = 512 MB

• Kekurangan

  Terdapat probabilitas positif palsu (FPP) tertentu. Elemen di luar set mungkin salah dianggap sebagai elemen dalam set. Namun, dalam sebagian besar skenario, konsumsi sumber daya untuk membaca file kosong tidak memengaruhi efisiensi keseluruhan, dan hasilnya tidak memengaruhi akurasi bisnis akhir.

Skenario

• Jika Anda menggunakan satu atau lebih kolom dalam tabel sebagai kondisi untuk melakukan penyaringan kueri titik, Anda dapat membuat indeks Bloom filter pada kolom kueri yang memiliki efek penyaringan yang jelas.

• Jika Anda melakukan penyaringan kueri titik pada bidang dalam tabel terkluster kecuali kunci kluster, Anda dapat membuat indeks Bloom filter pada kolom kueri.

• Setelah data dalam tabel terkluster diurutkan menggunakan kunci kluster, kunci terurut, atau fungsi Zorder, Anda dapat membuat indeks Bloom filter pada kolom yang dimasukkan untuk menyaring data lebih lanjut.

Batasan

• Indeks Bloom filter cocok untuk operator perbandingan kesetaraan, seperti = dan in. Indeks Bloom filter tidak didukung untuk kueri rentang yang melibatkan operator seperti >, >=, <, and <= dan kueri yang melibatkan IS NULL and IS NOT NULL.

• Efek penyaringan bergantung pada distribusi data. Jika distribusi data diskrit, efek penyaringan data tidak signifikan meskipun Anda menggunakan indeks Bloom filter.

• Indeks Bloom filter tidak didukung pada DECIMAL, INTERVAL_DAY_TIME, INTERVAL_YEAR_MONTH, atau tipe kompleks seperti STRUCT, MAP, ARRAY, dan JSON.

Menghasilkan indeks Bloom filter

CREATE BLOOMFILTER INDEX <index_name>
ON TABLE <table_name>
FOR COLUMNS(<column_name>)
IDXPROPERTIES('numitems'='xxx', 'fpp' = 'xx')
[COMMENT 'idxcomment']
;

INSERT OVERWRITE TABLE <table_name> [PARTITION <partition_spec>]
SELECT ......

Gunakan indeks Bloom filter

Sebelum Anda menanyakan data, jalankan perintah berikut untuk mengaktifkan fitur indeks Bloom filter:

SET odps.sql.enable.bloom.filter.index=true;

Kode berikut menunjukkan contoh cara membuat indeks Bloom filter berfungsi.

SET odps.sql.enable.bloom.filter.index=true;
SELECT * FROM bloomfilter_index_test WHERE key=392 AND value="val_392";

Snapshot LogView berikut menunjukkan bahwa job_1 adalah pekerjaan indeks yang menggunakan indeks Bloom filter untuk pemangkasan file.

Di tab Ringkasan, tabel yang namanya diakhiri dengan bf adalah tabel virtual yang sesuai dengan file indeks Bloom filter.

Tanyakan indeks Bloom filter tabel

SHOW INDEXES ON <table_name>;

Parameter:

table_name: nama tabel tempat indeks berada.

Hapus indeks Bloom filter

DROP INDEX [IF EXISTS] <idx_name> ON TABLE <table_name>;

Parameter:

• idx_name: nama indeks.

• table_name: nama tabel tempat indeks berada.

Modifikasi properti indeks Bloom filter

ALTER INDEX <idx_name> ON <table_name> 
SET IDXPROPERTIES(['comment' = 'a'], ['fpp' = '0.01']);

Parameter:

• idx_name: nama indeks.

• table_name: nama tabel tempat indeks berada.

Contoh 1: Buat indeks Bloom filter berdasarkan tabel partisi umum

1. Siapkan data.

   SET odps.namespace.schema=true;
   SELECT * FROM bigdata_public_dataset.TPCDS_10G.call_center;

2. Buat tabel partisi bernama call_center_test.

   CREATE TABLE IF NOT EXISTS call_center_test(
       cc_call_center_sk BIGINT NOT NULL, cc_call_center_id CHAR(16) NOT NULL, 
       cc_rec_start_date DATE, cc_rec_end_date DATE, 
       cc_closed_date_sk BIGINT, cc_open_date_sk BIGINT, 
       cc_name VARCHAR(50), cc_class VARCHAR(50), 
       cc_employees BIGINT, cc_sq_ft BIGINT, 
       cc_hours CHAR(20), cc_manager VARCHAR(40), 
       cc_mkt_id BIGINT, cc_mkt_class CHAR(50), 
       cc_mkt_desc VARCHAR(100), cc_market_manager VARCHAR(40), 
       cc_division BIGINT, cc_division_name VARCHAR(50), 
       cc_company BIGINT, cc_company_name CHAR(50), 
       cc_street_number CHAR(10), cc_street_name VARCHAR(60), 
       cc_street_type CHAR(15), cc_suite_number CHAR(10), 
       cc_city VARCHAR(60), cc_county VARCHAR(30), 
       cc_state CHAR(2), cc_zip CHAR(10), 
       cc_country VARCHAR(20), cc_gmt_offset DECIMAL(5,2), 
       cc_tax_percentage DECIMAL(5,2)
   )
   PARTITIONED BY (ds STRING )
   ;

3. Buat indeks.

   CREATE BLOOMFILTER INDEX call_center_test_idx01 
   ON table call_center_test 
   FOR columns(cc_call_center_sk) 
   IDXPROPERTIES('fpp' = '0.03', 'numitems'='1000000') 
   COMMENT 'cc_call_center_sk index';

4. Impor data.

   Impor data dalam tabel bigdata_public_dataset.TPCDS_10G.call_center dataset publik ke tabel call_center_test.

   SET odps.namespace.schema=true;
   INSERT OVERWRITE TABLE call_center_test PARTITION (ds='20241115') SELECT * FROM bigdata_public_dataset.TPCDS_10G.call_center LIMIT 10000;

   Jika kata kunci berikut muncul pada tab Json Summary di LogView, indeks Bloom filter berhasil digabungkan.

5. Tanyakan data.

   SET odps.sql.enable.bloom.filter.index=true;
   SELECT * FROM call_center_test WHERE cc_call_center_sk =10 AND ds='20241115';

   Hasil berikut dikembalikan:

   +-------------------+-------------------+-------------------+-----------------+-------------------+-----------------+---------------+------------+--------------+------------+------------+----------------+------------+----------------------------+---------------------------------------------------------------------------------------+-------------------+-------------+------------------+------------+-----------------+------------------+----------------+----------------+-----------------+------------+---------------+------------+------------+---------------+---------------+-------------------+------------+
   | cc_call_center_sk | cc_call_center_id | cc_rec_start_date | cc_rec_end_date | cc_closed_date_sk | cc_open_date_sk | cc_name       | cc_class   | cc_employees | cc_sq_ft   | cc_hours   | cc_manager     | cc_mkt_id  | cc_mkt_class               | cc_mkt_desc                                                                           | cc_market_manager | cc_division | cc_division_name | cc_company | cc_company_name | cc_street_number | cc_street_name | cc_street_type | cc_suite_number | cc_city    | cc_county     | cc_state   | cc_zip     | cc_country    | cc_gmt_offset | cc_tax_percentage | ds         |
   +-------------------+-------------------+-------------------+-----------------+-------------------+-----------------+---------------+------------+--------------+------------+------------+----------------+------------+--------------+-------------+---------------------------------------------------------------------------------------+-------------------+-------------+------------------+------------+-----------------+------------------+----------------+----------------+-----------------+------------+---------------+------------+------------+---------------+---------------+-------------------+------------+
   | 10                | AAAAAAAAKAAAAAAA  | 1998-01-01        | 2000-01-01      | NULL              | 2451050         | Hawaii/Alaska | large      | 187          | 95744      | 8AM-8AM    | Gregory Altman | 2          | Just back responses ought  | As existing eyebrows miss as the matters. Realistic stories may not face almost by a  | James Mcdonald    | 3           | pri              | 3          | pri             | 457              | 1st            | Boulevard      | Suite B         | Midway     | Walker County | AL         | 31904      | United States | -6            | 0.02              | 20241115   |
   +-------------------+-------------------+-------------------+-----------------+-------------------+-----------------+---------------+------------+--------------+------------+------------+----------------+------------+----------------------------+---------------------------------------------------------------------------------------+-------------------+-------------+------------------+------------+-----------------+------------------+----------------+----------------+-----------------+------------+---------------+------------+------------+---------------+---------------+-------------------+------------+

   Snapshot LogView berikut menunjukkan bahwa indeks Bloom filter telah berfungsi. Tabel yang namanya diakhiri dengan bf adalah tabel virtual yang sesuai dengan file indeks Bloom filter.

   

6. Tanyakan indeks Bloom filter dari tabel.

   SHOW INDEXES ON call_center_test;

   Hasil berikut dikembalikan:

   ID = 20241115093930589g9biyii****
   {"Indexes": [{
               "id": "aabdaeb10a7b4e99a94716dabad8****",
               "indexColumns": [{"name": "cc_call_center_sk"}],
               "name": "call_center_test_idx01",
               "properties": {
                   "comment": "cc_call_center_sk index",
                   "fpp": "0.03",
                   "numitems": "1000000"},
               "type": "BLOOMFILTER"}]}
   
   OK

7. Modifikasi properti indeks Bloom filter.

   Berdasarkan informasi yang dikembalikan pada langkah sebelumnya, nilai properti asli numitems adalah 1000000. Jalankan pernyataan berikut untuk mengubah nilai propertinya menjadi 10000 dan lihat hasil perubahan.

   -- Ubah nilai properti.
   ALTER INDEX call_center_test_idx01 ON call_center_test SET IDXPROPERTIES('fpp' = '0.03', 'numitems'='10000');
   
   -- Lihat properti.
   SHOW INDEXES ON call_center_test;

   Hasil berikut dikembalikan.

Contoh 2: Buat indeks Bloom filter berdasarkan tabel partisi hash-clustered

1. Siapkan data.

   1. Buat tabel bernama scope_tmp.

      CREATE TABLE if NOT EXISTS scope_tmp(
          phone STRING, 
          card STRING, 
          machine STRING, 
          geohash STRING);

   2. Jalankan perintah Tunnel di klien MaxCompute (odpscmd) untuk mengunggah data ke tabel scope_tmp. Perintah sampel berikut digunakan untuk mengunggah file scope2.csv dalam direktori bin di klien MaxCompute.

      Tunnel upload scope2.csv scope_tmp;

2. Buat tabel partisi bernama scope_hash_pt.

   CREATE TABLE scope_hash_pt (
       phone STRING, 
       card STRING, 
       machine STRING,
       geohash STRING 
   )
   PARTITIONED BY (ds STRING)
   clustered by (phone) 
   sorted by (card) 
   into 512 buckets; 

3. Buat indeks untuk tabel partisi scope_hash_pt.

   CREATE BLOOMFILTER INDEX scope_hash_pt_index01 
   ON TABLE scope_hash_pt 
   FOR columns(card) 
   IDXPROPERTIES('fpp' = '0.03', 'numitems'='1000000') 
   COMMENT 'card index';

4. Impor data.

   INSERT OVERWRITE TABLE scope_hash_pt PARTITION (ds='20241115') SELECT * FROM scope_tmp;

   Jika kata kunci berikut muncul pada tab Json Summary di LogView, indeks Bloom filter berhasil digabungkan.

   

5. Tanyakan data tabel scope_hash_pt.

   SET odps.sql.enable.bloom.filter.index=true;
   SELECT * FROM scope_hash_pt WHERE card='073415764266290' and ds='20241115';

   Hasil berikut dikembalikan:

   +-------------+-----------------+----------------+------------+------------+
   | phone       | card            | machine        | geohash    | ds         |
   +-------------+-----------------+----------------+------------+------------+
   | 1576426**** | 073415764266290 | 51133960245770 | fWbDDsf    | 20241115   |
   +-------------+-----------------+----------------+------------+------------+

   Snapshot LogView berikut menunjukkan bahwa indeks Bloom filter telah berfungsi. Tabel yang namanya diakhiri dengan bf adalah tabel virtual yang sesuai dengan file indeks Bloom filter.

   

Contoh 3: Buat indeks Bloom filter berdasarkan pengurutan data Zorder dari tabel partisi

1. Siapkan data. Untuk informasi lebih lanjut, lihat Langkah 1 di Contoh 2: Buat Indeks Bloom Filter Berdasarkan Tabel Partisi Hash-Clustered.

2. Buat tabel partisi bernama scope_zorder_pt.

   CREATE TABLE scope_zorder_pt(
       phone STRING, 
       card STRING, 
       machine STRING, 
       geohash STRING, 
       zvalue BIGINT
   )
   PARTITIONED BY (ds STRING)
   ;

3. Buat indeks.

   CREATE BLOOMFILTER INDEX scope_zorder_pt_index01 
   ON TABLE scope_zorder_pt 
   FOR COLUMNS (card) 
   IDXPROPERTIES('fpp' = '0.05', 'numitems'='1000000')
   COMMENT 'idxcomment';

4. Impor data.

   1. Unduh paket JAR berikut dan simpan paket tersebut ke D:\ di komputer Anda.

      • odps-zorder-1.0-SNAPSHOT.jar

      • odps-zorder-1.0-SNAPSHOT-jar-with-dependencies.jar

   2. Jalankan perintah berikut untuk mengunggah dua paket JAR sebagai sumber daya:

      -- Tambahkan sumber daya.
      ADD JAR D:\odps-zorder-1.0-SNAPSHOT.jar;
      ADD JAR D:\odps-zorder-1.0-SNAPSHOT-jar-with-dependencies.jar;

   3. Eksekusi pernyataan berikut untuk membuat fungsi:

      CREATE FUNCTION zorder AS 'com.aliyun.odps.zorder.evaluateZValue2WithSize' USING ' odps-zorder-1.0-SNAPSHOT-jar-with-dependencies.jar';

   4. Gunakan fungsi untuk menulis data ke tabel partisi scope_zorder_pt.

      -- Setel parameter odps.sql.validate.orderby.limit ke false.
      SET odps.sql.validate.orderby.limit=false;
      
      -- Tulis data.
      INSERT OVERWRITE TABLE scope_zorder_pt PARTITION (ds='20241115') SELECT *,zorder(HASH(phone), 100000000, HASH(card), 100000000) AS zvalue FROM scope_tmp ORDER BY zvalue;

      Jika kata kunci berikut muncul pada tab Json Summary di LogView, indeks Bloom filter berhasil digabungkan.

      

5. Tanyakan data.

   SET odps.sql.enable.bloom.filter.index=true;  
   SELECT * FROM scope_zorder_pt WHERE card='073415764266290' AND ds='20241115';

   Hasil berikut dikembalikan:

   +-------------+-----------------+----------------+------------+---------------------+------------+
   | phone       | card            | machine        | geohash    | zvalue              | ds         |
   +-------------+-----------------+----------------+------------+---------------------+------------+
   | 1576426**** | 073415764266290 | 51133960245770 | fWbDDsf    | 3590549286038929408 | 20241115   |
   +-------------+-----------------+----------------+------------+---------------------+------------+

   Snapshot LogView berikut menunjukkan bahwa indeks Bloom filter telah berfungsi. Tabel yang namanya diakhiri dengan bf adalah tabel virtual yang sesuai dengan file indeks Bloom filter.