Topik ini menjelaskan apa itu Hologres dan fitur-fiturnya.
Hologres adalah mesin gudang data real-time terpadu yang dikembangkan oleh Alibaba. Hologres mendukung penulisan, pembaruan, transformasi, dan analisis data skala besar secara real-time. Hologres kompatibel dengan protokol dan sintaksis SQL standar serta sebagian besar fungsi PostgreSQL. Hologres juga mendukung analisis multidimensi (OLAP) dan analisis ad hoc pada data berskala petabyte, layanan data online berkonkurensi tinggi dengan latensi rendah (Serving), serta isolasi beban kerja detail halus dengan keamanan tingkat enterprise. Hologres terintegrasi secara mendalam dengan MaxCompute, Flink, dan DataWorks untuk menyediakan solusi gudang data terpadu tingkat enterprise bagi data offline maupun online.
Hologres adalah mesin gudang data real-time berkinerja tinggi, andal, hemat biaya, dan skalabel. Hologres memberikan layanan kueri interaktif dalam waktu kurang dari satu detik untuk data skala besar dan mendukung solusi gudang data real-time. Hologres banyak digunakan dalam berbagai skenario seperti membangun mid-end data real-time, analisis detail halus, analitik swalayan, profil pemasaran, segmentasi audiens, dan pengendalian risiko real-time.
Fitur
Kueri dan analisis untuk berbagai skenario
Hologres mendukung berbagai mode penyimpanan dan jenis indeks, seperti penyimpanan berorientasi baris, berorientasi kolom, dan hibrida baris-kolom. Hal ini memenuhi beragam kebutuhan kueri analitis, termasuk kueri sederhana, kueri kompleks, dan kueri ad hoc. Dengan arsitektur Pemrosesan Paralel Masif (Massively Parallel Processing/MPP), Hologres memproses kueri SQL secara terdistribusi, meningkatkan pemanfaatan resource, serta memungkinkan analisis data skala besar dengan kecepatan tinggi.
Analisis interaktif dalam waktu kurang dari satu detik
Hologres menggunakan arsitektur Massively Parallel Processing (MPP) yang skalabel untuk komputasi sepenuhnya paralel. Hologres memanfaatkan operator vektorisasi guna memaksimalkan daya komputasi CPU. Berdasarkan kompresi penyimpanan AliORC dan throughput I/O SSD yang dioptimalkan, Hologres memberikan pengalaman analisis interaktif dalam waktu kurang dari satu detik untuk data berskala petabyte.
Kueri titik online berkinerja tinggi pada primary key
Dengan menggunakan indeks kunci primer pada tabel berorientasi baris dan optimasi jalur pendek di mesin kueri, Hologres mendukung kueri titik online berkinerja tinggi dan pemindaian awalan (prefix scan) dengan QPS ratusan ribu. Hologres juga mendukung pembaruan real-time berthroughput tinggi, memberikan performa lebih dari 10 kali lipat dibanding sistem open source. Fitur ini dapat digunakan dalam skenario seperti join tabel dimensi dan pemetaan ID pada pipeline transformasi data real-time.
Federated Query dan Akselerasi Data Lake
Hologres terintegrasi secara mulus dengan MaxCompute, memungkinkan Anda menggunakan tabel eksternal untuk mempercepat kueri terhadap data MaxCompute serta mendukung impor metadata otomatis. Dibandingkan dengan kueri langsung terhadap data MaxCompute, kueri yang dipercepat bisa 5 hingga 10 kali lebih cepat. Hologres mendukung analisis asosiasi antara data panas dan data dingin. Hologres menyinkronkan jutaan baris per detik dari tabel MaxCompute ke tabel Hologres serta memungkinkan pembacaan dan penulisan data ke Object Storage Service (OSS). Hal ini menyederhanakan proses impor data ke data lake atau gudang data.
Analisis data semi-terstruktur
Hologres secara native mendukung tipe data JSON semi-terstruktur. Hologres mendukung kompresi penyimpanan kolom untuk JSONB dan menyediakan kumpulan operator JSON yang lengkap. Efisiensi penyimpanan dan analisis data JSON ini hampir setara dengan penyimpanan kolom native.
Gudang data real-time native
Untuk mengatasi karakteristik gudang data real-time—seperti pembaruan data yang sering, model data sederhana, dan skenario analisis yang gesit—Hologres mendukung penulisan dan pembaruan real-time berkonkurensi tinggi. Hologres juga mendukung isolasi dan atomisitas transaksi, sehingga data dapat langsung dikueri segera setelah ditulis.
Penulisan dan pembaruan real-time berthroughput tinggi
Hologres terintegrasi secara native dengan framework komputasi seperti Flink dan Spark. Dengan konektor bawaan, Hologres mendukung penulisan dan pembaruan data real-time berthroughput tinggi. Hologres mendukung berbagai skenario yang melibatkan tabel sumber, tabel sink, dan tabel dimensi, serta operasi kompleks seperti penggabungan multi-aliran (multi-stream merges).
Pengembangan What You See Is What You Get (WYSIWYG)
Data dapat langsung dikueri segera setelah ditulis. Hologres mendukung sistem tiga tingkat DB, Schema, dan Table, serta mendukung Tampilan (view). Hologres secara native mendukung operasi Update, Delete, dan Upsert, serta menyediakan kemampuan ekspresi yang kaya seperti join, nesting, dan Fungsi jendela (window functions). Hologres juga secara native mendukung analisis data JSON semi-terstruktur dan sinkronisasi real-time satu klik untuk seluruh database dari sumber seperti MySQL.
Arsitektur end-to-end berbasis event
Hologres mendukung eksposur event pembaruan tabel melalui binary logging (Binlog). Dengan mengonsumsi Binlog Hologres menggunakan Flink, Anda dapat mencapai pengembangan real-time end-to-end lintas lapisan gudang data. Hal ini mempersingkat latensi end-to-end transformasi data sekaligus memenuhi persyaratan administrasi data hierarkis.
Tampilan yang di-materialisasi real-time
Hologres mendukung definisi Tampilan yang di-materialisasi real-time, yang menyederhanakan pengembangan untuk tugas-tugas seperti transformasi dan agregasi data. Data ditulis secara real-time, dan agregasi diperbarui secara real-time, memberikan dukungan komprehensif untuk skenario transformasi real-time.
Kemampuan O&M tingkat enterprise
Hologres mendukung kontrol detail halus terhadap beban kerja komputasi dan izin akses. Hologres menyediakan metrik Pemantauan Peringatan yang lengkap, mendukung resource komputasi yang skalabel, serta memungkinkan hot upgrade untuk memenuhi persyaratan keamanan dan keandalan tingkat enterprise dalam O&M.
Keamanan data
Hologres mendukung kebijakan Kontrol Akses Granular, Enkripsi penyimpanan data Bring-Your-Own-Key (BYOK), dan penyamaran data. Hologres juga mendukung Penjaga Keamanan Data, Daftar putih alamat IP, serta berbagai sistem autentikasi seperti RAM, STS, dan akun independen. Hologres telah tersertifikasi PCI-DSS. Hologres juga mendukung cadangan data dan pemulihan.
Isolasi beban kerja
Beberapa instans komputasi membentuk arsitektur primary/replica. Instans-instans tersebut berbagi satu salinan penyimpanan tetapi memiliki resource komputasi yang terisolasi. Hal ini mencapai isolasi antara penulisan dan pembacaan, serta antara kueri dan layanan. Arsitektur ini juga memungkinkan manajemen gangguan dan mendukung pemulihan otomatis cepat untuk node yang gagal. Tidak diperlukan disk lokal karena Pangu menyediakan penyimpanan redundan triplikat yang sangat andal.
Kemampuan O&M swalayan
Hologres memiliki informasi diagnostik O&M bawaan, seperti riwayat kueri dan tabel metadata gudang. Anda dapat menggunakan riwayat kueri dan metadata tabel ini untuk mengidentifikasi secara cepat bottleneck sistem dan potensi risiko, sehingga meningkatkan kemampuan O&M swalayan.
Ekosistem dan skalabilitas
Hologres kompatibel dengan ekosistem PostgreSQL dan terintegrasi secara mulus dengan mesin komputasi data besar serta platform pengembangan data besar cerdas, DataWorks. Anda dapat memulai pengembangan tanpa perlu mempelajari keterampilan tambahan.
Kompatibilitas dengan ekosistem PostgreSQL
Hologres kompatibel dengan ekosistem PostgreSQL. Ia menyediakan antarmuka JDBC/ODBC untuk kemudahan integrasi dengan alat ETL dan BI pihak ketiga, seperti Quick BI, DataV, Tableau, dan FanRuan. Ia juga mendukung analisis data spasial GIS dan paket ekstensi fungsi Oracle.
Integrasi pengembangan DataWorks
Hologres terintegrasi secara mendalam dengan DataWorks. Hologres menyediakan alat grafis, cerdas, dan terpadu untuk membangun gudang data serta melakukan analisis interaktif. Hologres mendukung kemampuan tingkat enterprise seperti aset data, alur data, sinkronisasi data real-time, dan layanan data.
Integrasi ekosistem Hadoop
Hologres mendukung konektor Hive/Spark. Data yang diproses pada platform Hadoop dapat diimpor ke Hologres dengan throughput tinggi lalu disajikan secara eksternal. Hologres mendukung pembacaan dipercepat dari tabel eksternal yang disimpan dalam format OSS-HDFS serta mendukung format penyimpanan seperti Hudi dan Delta.
Pengambilan vektor dengan DAMO Academy Proxima
Hologres terintegrasi erat dengan Platform for AI. Hologres memiliki plugin pengambilan vektor bawaan, DAMO Academy Proxima, yang mendukung penyimpanan fitur real-time online, pengambilan real-time, dan pengambilan vektor.