Mesin Penyimpanan Beam dirancang dengan penyimpanan Delta berorientasi baris dan penyimpanan Base berorientasi kolom berbasis PAX untuk menangani pemrosesan transaksi online (OLTP) dan pemrosesan analitik online (OLAP). OLTP melibatkan pembacaan dan penulisan dengan konkurensi tinggi, sedangkan OLAP melibatkan penulisan batch dan pemindaian berskala besar.
Beam adalah mesin penyimpanan generasi berikutnya yang dikembangkan secara internal berdasarkan metode akses tabel PostgreSQL 12 untuk AnalyticDB for PostgreSQL.
Mesin Penyimpanan Beam terdiri dari dua komponen utama:
Penyimpanan Delta berorientasi baris yang menangani penulisan real-time.
Penyimpanan Base berorientasi kolom berbasis PAX yang menangani penulisan batch dan pemindaian berskala besar.
Dibandingkan dengan tabel heap berorientasi baris, tabel Beam memerlukan lebih sedikit operasi I/O disk dan menawarkan kinerja query yang jauh lebih baik dalam skenario analitik. Mesin Penyimpanan Beam mendukung kunci utama, deduplikasi penulisan, serta operasi pembaruan dan penghapusan bersamaan. Anda dapat menggunakan Data Transmission Service (DTS) untuk menyinkronkan data ke tabel Beam. Mesin ini memungkinkan Anda menangani beban kerja OLTP dan OLAP secara bersamaan dengan satu salinan penyimpanan, cocok untuk berbagai skenario bisnis tanpa perlu menyinkronkan data antara mesin berorientasi baris dan kolom.
Catatan Penggunaan
Hanya instance AnalyticDB for PostgreSQL V7.0.x dalam mode penyimpanan elastis yang mendukung Mesin Penyimpanan Beam.
Mesin Penyimpanan Beam tersedia secara resmi setelah pratinjau publik selesai pada AnalyticDB for PostgreSQL V7.0.6.2 dalam mode penyimpanan elastis. Versi ini memperbaiki masalah yang muncul selama pratinjau publik. Kami menyarankan Anda untuk memperbarui instance AnalyticDB for PostgreSQL Anda ke V7.0.6.2 atau yang lebih baru.
Fitur
Penulisan real-time berperforma tinggi
Mesin Penyimpanan Beam terdiri dari penyimpanan Delta berorientasi baris dan penyimpanan Base berorientasi kolom berbasis PAX. Saat data ditulis, mode penyimpanan yang sesuai dipilih berdasarkan metode penulisan data. Jika Anda menggunakan metode penulisan streaming real-time seperti INSERT INTO VALUES, data akan ditulis ke penyimpanan Delta berorientasi baris untuk mencapai performa penulisan real-time yang setara dengan tabel heap berorientasi baris.
Impor batch berkapasitas tinggi
Jika Anda menggunakan metode pemrosesan batch seperti pernyataan COPY atau INSERT INTO SELECT, data akan ditulis ke penyimpanan Base berorientasi kolom untuk mencapai throughput dan performa penulisan yang lebih tinggi.
Query OLAP berperforma tinggi
Mesin Penyimpanan Beam menggunakan metode berikut untuk mengoptimalkan kinerja query:
Pemangkasan kolom
Berbagai algoritma kompresi
Penyaringan peta zona
Prefetch I/O
Metode ini sangat mengurangi kebutuhan operasi I/O disk, meningkatkan pemanfaatan I/O, dan memperbaiki kinerja query.
Kunci utama dan deduplikasi penulisan
Mesin Penyimpanan Beam mendukung fitur kunci utama PostgreSQL dan memungkinkan Anda membuat indeks kunci utama untuk tabel Beam. Ini mirip dengan cara tabel heap menerapkan deduplikasi data. Selain itu, mesin ini mendukung sintaks UPSERT.
Sinkronisasi DTS
Dengan menggunakan kunci utama dan DTS, Anda dapat menyinkronkan data ke tabel Beam dengan cara yang sama seperti yang Anda lakukan pada tabel heap. Anda dapat menetapkan tabel tujuan sebagai tabel Beam dalam tugas DTS untuk mencapai kinerja query yang lebih baik tanpa perlu menyinkronkan data antara tabel berorientasi baris dan kolom.
Referensi
Untuk informasi tentang cara menggunakan Mesin Penyimpanan Beam, lihat Penggunaan Beam.
Mesin Penyimpanan Beam mendukung berbagai algoritma kompresi. Fitur pengkodean kamus dapat mengompresi data string menjadi data integer untuk meningkatkan efisiensi penyimpanan dan mempercepat query berbasis filter dan agregasi. Untuk informasi lebih lanjut, lihat Pengkodean Kamus.
Jika Anda sering melakukan query rentang atau penyaringan kesetaraan pada satu atau beberapa kolom, Anda dapat menentukan kunci pengurutan Beam untuk meningkatkan kinerja query. Untuk informasi lebih lanjut, lihat Optimasi Pengurutan Beam (V7.0).