ApsaraDB for SelectDB:BITMAP ile Kesin Tekilleştirme

Scan (Node 1)              Scan (Node 2)
+---------+---------+      +---------+---------+
| user_id | tag     |      | user_id | tag     |
+---------+---------+      +---------+---------+
| 1       | A       |      | 3       | A       |
| 2       | B       |      | 4       | C       |
+---------+---------+      +---------+---------+
         |                          |
         +----------+  +-----------+
                    |  |
             Top-level node
         Receives ALL distinct values
         from every node, merges them
         (bottleneck: I/O + single-node compute)

Stage 1 (distributed): each bucket computes intersection/union locally
Stage 2 (merge): top-level node combines per-bucket results (small data only)

1. Adım: Tabloyu Oluşturma

Bitmap Value alanı ve hash paketleme için bir hid sütunu içeren Aggregate Key modelini kullanarak bir tablo oluşturun.

CREATE TABLE `user_tag_bitmap` (
  `tag`     BIGINT(20)  NULL COMMENT "User tag",
  `hid`     SMALLINT(6) NULL COMMENT "Bucket ID",
  `user_id` BITMAP BITMAP_UNION NULL COMMENT "User bitmap"
) ENGINE=OLAP
AGGREGATE KEY(`tag`, `hid`)
COMMENT "OLAP"
DISTRIBUTED BY HASH(`hid`) BUCKETS 3;

hid sütunu, user_id aralığını gruplara böler ve her grubu tek bir pakete atar. Bu durum, paketler arasındaki bitmap değerlerinin ortogonal olmasını sağlar.

2. Adım: Verileri İçe Aktarma

Verileri yüklemek için bir LOAD LABEL deyimi kullanın. ceil(tmp_user_id/500) ifadesi, her satır için hid değerini hesaplar ve to_bitmap(tmp_user_id) ham tamsayıyı bir bitmap girişine dönüştürür.

LOAD LABEL user_tag_bitmap_test
(
    DATA INFILE('hdfs://abc')
    INTO TABLE user_tag_bitmap
    COLUMNS TERMINATED BY ','
    (tmp_tag, tmp_user_id)
    SET (
        tag     = tmp_tag,
        hid     = ceil(tmp_user_id/500),
        user_id = to_bitmap(tmp_user_id)
    )
)

Kaynak veri formatı, virgülle ayrılmış iki sütundan oluşur: etiket ve kullanıcı kimliği:

11111111,1
11111112,2
11111113,3
11111114,4

İçe aktarma sırasında, SelectDB [1, 5000000) aralığındaki kullanıcı kimliklerine aynı hid değerini atar ve bunları aynı pakete yerleştirir. Paketler arasındaki bitmap değerleri ortogonal kalır, bu da kesişim ve birleşim işlemlerinin hesaplama maliyetini azaltır.

3. Adım: Ortogonal Bitmap İşlevleriyle Sorgulama

Verileri içe aktardıktan sonra, sonraki bölümde açıklanan ortogonal bitmap işlevlerini kullanın. Standart bitmap işlevlerinin tam listesi için SQL referansı konusuna bakın.

bitmap_orthogonal_intersect

Belirtilen filtre değerleri boyunca bitmap değerlerinin kesişimini hesaplar ve sonucu bitmap olarak döndürür.

Sözdizimi

bitmap_orthogonal_intersect(bitmap_column, column_to_filter, filter_values)

Parametreler

Örnek

SELECT BITMAP_COUNT(bitmap_orthogonal_intersect(user_id, tag, 13080800, 11110200))
FROM user_tag_bitmap
WHERE tag IN (13080800, 11110200);

Şuna eşdeğerdir:

-- Returns the count of users who appear in ALL specified tags
SELECT COUNT(DISTINCT user_id)
FROM user_tag_bitmap
WHERE tag IN (13080800, 11110200)
  AND <user_id appears in every tag>;

Çalışma sırasında, 1. Aşama satırları belirtilen etiketlere göre filtreler ve ardından her paket için eşleşen tüm etiketler arasında bitmap kesişimini hesaplar. 2. Aşama, paket bazındaki kesişim bitmap'lerini yinelemeli olarak birleştirerek nihai sonucu oluşturur.

orthogonal_bitmap_intersect_count

Bitmap değerlerinin kesişimini hesaplar ve sayıyı doğrudan döndürür. Anlamsal olarak intersect_count ile eşleşir, ancak çalışma paketler arasında dağıtılır.Sözdizimi intersect_count işleviyle aynıdır, ancak uygulama farklıdır.Sözdizimi bitmap_union_count işleviyle aynıdır, ancak uygulama farklıdır.

Sözdizimi

orthogonal_bitmap_intersect_count(bitmap_column, column_to_filter, filter_values)

Parametreler

Örnek

SELECT orthogonal_bitmap_intersect_count(user_id, tag, 1150000, 1150001, 390006)
FROM user_tag_bitmap
WHERE tag IN (1150000, 1150001, 390006);

Çalışma sırasında, 1. Aşama belirtilen etiketlere göre filtreleme yapar, eşleşen tüm etiketler arasında bitmap kesişimini hesaplar ve sonucu paket başına sayar. 2. Aşama, tüm paket bazındaki sayıları toplayarak nihai toplamı oluşturur.

orthogonal_bitmap_union_count

Bitmap değerlerinin birleşimini hesaplar ve sayıyı döndürür. Anlamsal olarak BITMAP_UNION_COUNT ile eşleşir, ancak çalışma paketler arasında dağıtılır.

Sözdizimi

orthogonal_bitmap_union_count(bitmap_column)

Parametreler

Örnek

SELECT orthogonal_bitmap_union_count(user_id)
FROM user_tag_bitmap
WHERE tag IN (1150000, 1150001, 390006);

Şuna eşdeğerdir:

SELECT COUNT(DISTINCT user_id)
FROM user_tag_bitmap
WHERE tag IN (1150000, 1150001, 390006);

Çalışma sırasında, 1. Aşama paket başına bitmap birleşimini hesaplar ve sonucu sayar. 2. Aşama, tüm paket bazındaki sayıları toplayarak nihai toplamı oluşturur.

orthogonal_bitmap_expr_calculate

Bitmap sütunları arasında bir küme ifadesini değerlendirir ve sonucu bitmap olarak döndürür. Yalnızca bir sayı değil, daha fazla işlem için bitmap'in kendisine ihtiyacınız olduğunda bu işlevi kullanın.

Sözdizimi

orthogonal_bitmap_expr_calculate(bitmap_column, filter_column, input_string)

Parametreler

input_string aşağıdaki operatörleri destekler:

Örnek

SELECT orthogonal_bitmap_expr_calculate(
    user_id,
    tag,
    '(833736|999777)&(1308083|231207)&(1000|20000-30000)'
)
FROM user_tag_bitmap
WHERE tag IN (833736, 999777, 130808, 231207, 1000, 20000, 30000);

Çalışma sırasında, 1. Aşama etiket filtresini belirlemek için input_string değerini ayrıştırır, verileri filtreler ve filtrelenen satırlara paket başına bitmap ifadesini uygular. 2. Aşama, tüm paket bazındaki bitmap sonuçlarının birleşimini hesaplar ve nihai bitmap'i döndürür.

orthogonal_bitmap_expr_calculate_count

Bitmap sütunları arasında bir küme ifadesini değerlendirir ve sayıyı döndürür. Sözdizimi ve parametreler orthogonal_bitmap_expr_calculate ile aynıdır.

Sözdizimi

orthogonal_bitmap_expr_calculate_count(bitmap_column, filter_column, input_string)

Parametreler

Örnek

SELECT orthogonal_bitmap_expr_calculate_count(
    user_id,
    tag,
    '(833736|999777)&(1308083|231207)&(1000|20000-30000)'
)
FROM user_tag_bitmap
WHERE tag IN (833736, 999777, 130808, 231207, 1000, 20000, 30000);

Çalışma sırasında, 1. Aşama input_string değerini ayrıştırır, verileri filtreler, bitmap ifadesini uygular ve sonucu paket başına sayar. 2. Aşama, tüm paket bazındaki bitmap sonuçlarının birleşimini hesaplar ve nihai sayıyı döndürür.