Realtime Compute for Apache Flink：Pernyataan JOIN untuk tabel dimensi

Efek

Strategi gabungan SHUFFLE_HASH memungkinkan data utama di-shuffle berdasarkan kunci gabungan sebelum operasi JOIN dilakukan. Jika kebijakan cache adalah LRU, rasio hit cache meningkat dan jumlah permintaan I/O berkurang. Jika kebijakan cache adalah SEMUA, penggunaan memori berkurang. Anda dapat menentukan beberapa tabel dimensi dalam setiap petunjuk gabungan SHUFFLE_HASH.

Batasan

Jika Anda menggunakan strategi gabungan SHUFFLE_HASH, overhead memori berkurang. Namun, overhead jaringan tambahan diperkenalkan karena data upstream perlu di-shuffle berdasarkan kunci gabungan. Oleh karena itu, strategi gabungan SHUFFLE_HASH tidak cocok untuk skenario berikut:

• Data utama memiliki kemiringan data parah pada kunci gabungan. Jika Anda menggunakan strategi gabungan SHUFFLE_HASH untuk menggabungkan data, operator gabungan dapat menyebabkan hambatan kinerja karena kemiringan data. Ini dapat menyebabkan tekanan balik parah dalam penyebaran streaming atau ekor panjang parah dalam penyebaran batch. Dalam skenario ini, kami sarankan Anda menggunakan strategi gabungan REPLICATED_SHUFFLE_HASH.

• Jika tabel dimensi berisi sejumlah kecil data dan tidak memiliki hambatan memori selama pemuatan tabel ketika kebijakan cache adalah SEMUA, penghematan overhead memori dengan menggunakan strategi gabungan SHUFFLE_HASH mungkin tidak sebanding dengan overhead jaringan tambahan yang diperkenalkan oleh menggunakan strategi gabungan SHUFFLE_HASH.

Kode Sampel

-- Aktifkan strategi gabungan SHUFFLE_HASH hanya untuk tabel dimensi dim1.
SELECT /*+ SHUFFLE_HASH(dim1) */
FROM src AS T 
LEFT JOIN dim1 FOR SYSTEM_TIME AS OF PROCTIME() ON T.a = dim1.a
LEFT JOIN dim2 FOR SYSTEM_TIME AS OF PROCTIME() ON T.b = dim2.b

-- Aktifkan strategi gabungan SHUFFLE_HASH untuk tabel dimensi dim1 dan dim2.
SELECT /*+ SHUFFLE_HASH(dim1, dim2) */
FROM src AS T 
LEFT JOIN dim1 FOR SYSTEM_TIME AS OF PROCTIME() ON T.a = dim1.a
LEFT JOIN dim2 FOR SYSTEM_TIME AS OF PROCTIME() ON T.b = dim2.b

-- Gunakan alias D1 untuk tabel dimensi dim1 dalam petunjuk untuk mengaktifkan strategi gabungan SHUFFLE_HASH.
SELECT /*+ SHUFFLE_HASH(D1) */
FROM src AS T 
LEFT JOIN dim1 FOR SYSTEM_TIME AS OF PROCTIME() AS D1 ON T.a = D1.a
LEFT JOIN dim2 FOR SYSTEM_TIME AS OF PROCTIME() AS D2 ON T.b = D2.b

-- Gunakan alias untuk tabel dimensi dim1 dan dim2 dalam petunjuk untuk mengaktifkan strategi gabungan SHUFFLE_HASH.
SELECT /*+ SHUFFLE_HASH(D1, D2) */
FROM src AS T 
LEFT JOIN dim1 FOR SYSTEM_TIME AS OF PROCTIME() AS D1 ON T.a = D1.a
LEFT JOIN dim2 FOR SYSTEM_TIME AS OF PROCTIME() AS D2 ON T.b = D2.b

Efek

Efek REPLICATED_SHUFFLE_HASH pada dasarnya sama dengan efek SHUFFLE_HASH. Namun, REPLICATED_SHUFFLE_HASH secara acak menyebarkan data utama yang memiliki kunci yang sama ke sejumlah thread konkuren yang ditentukan untuk menyelesaikan hambatan kinerja yang disebabkan oleh kemiringan data. Anda dapat menentukan beberapa tabel dimensi dalam setiap petunjuk gabungan REPLICATED_SHUFFLE_HASH.

Batasan

• Anda harus mengonfigurasi parameter table.exec.skew-join.replicate-num untuk menentukan jumlah bucket yang berisi data condong. Nilai default parameter ini adalah 16. Nilai parameter ini tidak boleh lebih besar dari jumlah thread konkuren pada operator gabungan tabel dimensi. Untuk informasi lebih lanjut tentang cara mengonfigurasi parameter ini, lihat Bagaimana cara mengonfigurasi parameter kustom untuk penyebaran yang sedang berjalan?

• Stream pembaruan tidak didukung. Jika stream utama adalah stream pembaruan dan Anda menggunakan strategi gabungan REPLICATED_SHUFFLE_HASH, kesalahan akan dikembalikan.

Kode Sampel

-- Aktifkan strategi gabungan REPLICATED_SHUFFLE_HASH untuk tabel dimensi dim1.
SELECT /*+ REPLICATED_SHUFFLE_HASH(dim1) */ 
FROM src AS T 
LEFT JOIN dim1 FOR SYSTEM_TIME AS OF PROCTIME() AS D1 ON T.a = D1.a

-- Gunakan alias untuk tabel dimensi dim1 dalam petunjuk untuk mengaktifkan strategi gabungan REPLICATED_SHUFFLE_HASH.
SELECT /*+ REPLICATED_SHUFFLE_HASH(D1) */ 
FROM src AS T 
LEFT JOIN dim1 FOR SYSTEM_TIME AS OF PROCTIME() AS D1 ON T.a = D1.a

Efek

Jika tabel yang ditentukan memiliki kemiringan data, pengoptimal menggunakan strategi gabungan REPLICATED_SHUFFLE_HASH untuk operasi JOIN pada tabel dimensi. SKEW hanya merupakan gula sintaksis dan strategi gabungan REPLICATED_SHUFFLE_HASH sebenarnya digunakan di lapisan bawah.

Batasan

• Anda hanya dapat menentukan satu tabel dalam setiap petunjuk SKEW.

• Nama tabel harus merupakan nama tabel utama yang memiliki kemiringan data, bukan tabel dimensi.

• Stream pembaruan tidak didukung. Jika stream utama adalah stream pembaruan dan Anda menggunakan strategi gabungan SKEW, kesalahan akan dikembalikan.

Kode Sampel

SELECT /*+ SKEW(src) */  
FROM src AS T 
LEFT JOIN dim1 FOR SYSTEM_TIME AS OF PROCTIME() AS D1 ON T.a = D1.a