AnalyticDB:Beam: Mesin penyimpanan berkinerja tinggi milik sendiri

Beam adalah mesin penyimpanan generasi berikutnya untuk AnalyticDB for PostgreSQL, yang dibangun di atas Table Access Method PostgreSQL 12.

Beam terdiri dari dua komponen:

• Delta: Format berorientasi baris untuk penulisan real-time.

• Base: Format berorientasi kolom berstruktur PAX untuk penulisan batch dan skenario pemindaian skala besar.

Dibandingkan tabel heap, Beam secara signifikan mengurangi I/O disk dan meningkatkan kinerja kueri analitis. Beam juga mendukung primary key, deduplikasi penulisan, serta operasi Update dan Delete secara konkuren, sehingga memungkinkan sinkronisasi data langsung melalui Data Transmission Service (DTS). Dengan satu salinan penyimpanan, Beam melayani beban kerja pemrosesan transaksional (TP) dan pemrosesan analitis (AP), sehingga menghilangkan kebutuhan akan mesin berorientasi baris dan berorientasi kolom yang terpisah.

Catatan

• Mesin penyimpanan Beam hanya didukung dalam mode Serverless untuk instans versi v7.0.x.

• Beam telah mengakhiri masa pratinjau publik dan secara resmi dirilis dalam versi mode Serverless v7.0.6.2, yang mencakup perbaikan dari masa pratinjau publik. Segera lakukan upgrade ke v7.0.6.2 atau versi yang lebih baru.

Fitur Beam

Penulisan real-time berkinerja tinggi

Penyimpanan Beam terdiri dari penyimpanan Delta berorientasi baris dan penyimpanan Base berorientasi kolom berstruktur PAX. Beam secara otomatis mengarahkan data ke penyimpanan yang sesuai berdasarkan metode penulisan. Data yang ditulis melalui metode streaming real-time seperti INSERT INTO VALUES masuk ke penyimpanan Delta, mencapai kinerja penulisan yang setara dengan tabel heap.

Impor batch berthroughput tinggi

Data yang ditulis melalui metode batch seperti COPY atau INSERT INTO SELECT langsung masuk ke penyimpanan Base berorientasi kolom, memberikan throughput yang lebih tinggi dan kinerja penulisan yang lebih baik.

Kueri AP berkinerja tinggi

Beam mengoptimalkan kinerja kueri analitis melalui metode berikut:

• Pemangkasan kolom

• Dukungan terhadap multiple algoritma kompresi

• Dukungan terhadap filtering Zonemap

• Dukungan terhadap prefetch I/O

Bersama-sama, metode-metode ini mengurangi I/O disk selama kueri dan meningkatkan pemanfaatan I/O, sehingga secara signifikan meningkatkan kinerja kueri analitis.

Dukungan terhadap primary key dan deduplikasi penulisan

Beam sepenuhnya mengimplementasikan primary key native PostgreSQL. Anda dapat membuat indeks kunci primer pada tabel Beam sebagaimana pada tabel heap untuk mengaktifkan deduplikasi data. Beam juga mendukung sintaks UPSERT.

Dukungan terhadap sinkronisasi DTS

Dengan dukungan primary key, tabel Beam dapat digunakan dalam pipeline sinkronisasi data DTS layaknya tabel heap. Anda dapat menetapkan tabel Beam sebagai target dalam task DTS untuk mendapatkan kinerja kueri yang lebih baik, sehingga menghilangkan kebutuhan sinkronisasi tambahan antara tabel berorientasi baris dan berorientasi kolom.

Referensi

• Untuk mempelajari cara menggunakan mesin penyimpanan Beam, lihat Use Beam.

• Beam mendukung multiple algoritma kompresi. Pengkodean kamus (dictionary encoding) mengompresi data string menjadi data integer, meningkatkan efisiensi penyimpanan dan mempercepat kueri filtering serta agregasi. Untuk informasi lebih lanjut, lihat Dictionary encoding.

• Jika Anda sering melakukan kueri rentang atau filter kesamaan pada kolom tertentu, Anda dapat menentukan kunci pengurutan Beam untuk meningkatkan kinerja kueri. Untuk informasi lebih lanjut, lihat Beam sort key optimization (V7.0).