Topik ini menjelaskan gambaran umum dan fitur Hologres.
Hologres adalah layanan gudang data real-time terpadu yang dikembangkan oleh Alibaba Cloud. Anda dapat menggunakan Hologres untuk menulis, memperbarui, memproses, dan menganalisis sejumlah besar data secara real-time. Hologres mendukung sintaks SQL standar, kompatibel dengan PostgreSQL, serta mendukung sebagian besar fungsi PostgreSQL. Hologres mendukung pemrosesan analitik online (OLAP) dan analisis ad hoc hingga petabyte data, serta menyediakan layanan data online dengan konkurensi tinggi dan latensi rendah. Hologres juga mendukung isolasi terperinci dari berbagai beban kerja dan kemampuan keamanan tingkat perusahaan. Hologres terintegrasi secara mendalam dengan MaxCompute, Realtime Compute for Apache Flink, dan DataWorks, serta menyediakan solusi gudang data online dan offline lengkap untuk perusahaan.
Hologres dirancang untuk menyediakan mesin gudang data real-time yang memberikan performa tinggi, keandalan tinggi, efisiensi biaya, dan skalabilitas tinggi. Hologres menyediakan solusi gudang data real-time yang membantu mengelola sejumlah besar data dan layanan kueri interaktif yang dapat merespons dalam sub-detik. Dalam banyak kasus, Hologres digunakan dalam skenario seperti pembangunan mid-end data real-time, analisis granular, analisis mandiri, profil pemasaran, pengelompokan audiens, dan kontrol risiko real-time.
Fitur
Kueri dan analisis dalam berbagai skenario
Hologres mendukung berbagai jenis indeks dan model penyimpanan seperti penyimpanan berbasis baris, penyimpanan berbasis kolom, dan penyimpanan hibrid baris-kolom. Hologres juga mendukung berbagai jenis kueri dan analisis, seperti kueri sederhana, kueri kompleks, dan kueri ad hoc. Hologres menggunakan arsitektur pemrosesan paralel masif (MPP) untuk memproses pernyataan SQL dalam mode terdistribusi, meningkatkan pemanfaatan sumber daya dan mempercepat analisis sejumlah besar data.
Analisis interaktif dalam sub-detik
Hologres melakukan komputasi paralel berdasarkan arsitektur MPP yang dapat diskalakan, serta menggunakan operator vektorisasi untuk memaksimalkan kemampuan komputasi CPU. Hologres meningkatkan throughput I/O untuk penyimpanan SSD berdasarkan format penyimpanan AliORC, sehingga mendukung analisis interaktif hingga petabyte data dalam sub-detik.
Kueri titik berperforma tinggi secara online menggunakan kunci utama
Indeks kunci utama dalam tabel berorientasi baris dan kueri jalur terpendek yang dioptimalkan digunakan oleh Hologres untuk mendukung ratusan ribu kueri titik berperforma tinggi dan pemindaian awalan per detik, serta mendukung pembaruan data real-time dengan throughput tinggi. Dibandingkan dengan sistem open source, Hologres meningkatkan performa lebih dari 10 kali lipat, cocok untuk skenario seperti pemetaan ID dan asosiasi tabel dimensi untuk pemrosesan data real-time.
Kueri federasi dan akselerasi danau data
Hologres terintegrasi mulus dengan MaxCompute, memungkinkan Anda menggunakan tabel eksternal untuk mempercepat kueri pada data MaxCompute serta mendukung impor otomatis metadata. Dibandingkan dengan kueri langsung pada data MaxCompute, kueri yang dipercepat bisa 5 hingga 10 kali lebih cepat. Hologres mendukung analisis asosiasi data panas dan data dingin, menyinkronkan jutaan baris dari tabel MaxCompute ke tabel Hologres per detik, serta memungkinkan Anda membaca data dari dan menulis data ke Object Storage Service (OSS), menyederhanakan impor data ke danau data atau gudang data.
Analisis data semi-terstruktur
Hologres secara native mendukung tipe data JSON, penyimpanan berbasis kolom untuk data tipe JSONB, dan berbagai operator ekspresi terkait JSON. Efisiensi penyimpanan dan analisis data berformat JSON mirip dengan efisiensi penyimpanan dan analisis penyimpanan kolom asli.
Gudang data real-time asli
Untuk mengatasi pembaruan data yang sering, model data sederhana, dan analisis data cepat di gudang data real-time, Hologres mendukung penulisan dan pembaruan data real-time dengan konkurensi tinggi, serta isolasi dan atomicitas antar transaksi, memastikan bahwa data dapat dikueri sesaat setelah ditulis.
Penulisan dan pembaruan data real-time dengan throughput tinggi
Hologres terintegrasi dengan kerangka komputasi seperti Flink dan Spark, memungkinkan Anda menggunakan konektor bawaan untuk menulis dan memperbarui sejumlah besar data secara real-time. Anda dapat menggunakan berbagai tabel seperti tabel sumber, tabel hasil, dan tabel dimensi, serta melakukan operasi kompleks, seperti penggabungan beberapa aliran data.
Lingkungan pengembangan WYSIWYG (What You See Is What You Get)
Hologres memungkinkan Anda segera mengkueri data setelah data ditulis. Anda dapat mengkueri data dari tabel tertentu, semua tabel dalam skema, atau database. Hologres memungkinkan Anda memperbarui, menghapus, atau melakukan upsert pada tampilan untuk satu atau lebih tabel. Anda dapat menggabungkan tabel, melakukan kueri bersarang, dan menggunakan fungsi jendela untuk mengkueri data di Hologres. Hologres menyediakan dukungan asli untuk analisis data semi-terstruktur JSON dan memungkinkan Anda menyinkronkan data penuh dari sumber seperti database MySQL ke Hologres dengan beberapa klik serta menyinkronkan data tambahan secara real-time.
Penggerak berbasis acara dari ujung ke ujung
Hologres memungkinkan Anda mengurai log biner dari peristiwa pembaruan tabel. Anda dapat menggunakan Flink untuk mengonsumsi log biner Hologres guna mewujudkan pengembangan real-time end-to-end di seluruh lapisan gudang data, mengurangi latensi end-to-end pemrosesan data sambil memenuhi persyaratan untuk tata kelola data bertingkat.
Tampilan material real-time
Hologres memungkinkan Anda mendefinisikan tampilan material real-time untuk menyederhanakan pengembangan data seperti pemrosesan dan agregasi data. Tampilan agregat segera diperbarui setelah Anda menulis data ke tabel sumber yang sesuai dengan tampilan agregat, cocok untuk pemrosesan data real-time.
Kemampuan O&M tingkat perusahaan
Hologres mendukung manajemen terperinci dalam beban komputasi dan izin akses, menyediakan metrik pemantauan dan peringatan yang beragam, serta mendukung penskalaaan elastis sumber daya komputasi dan pembaruan sistem panas. Solusi aman dan andal ini dapat memenuhi persyaratan O&M tingkat perusahaan.
Keamanan data
Hologres menyediakan kebijakan kontrol akses terperinci dan fitur keamanan data, termasuk enkripsi Bring Your Own Key (BYOK), masking data, Data Security Guard, dan daftar putih alamat IP. Hologres mendukung berbagai sistem autentikasi seperti Resource Access Management (RAM), Security Token Service (STS), dan sistem akun independen. Hologres telah lulus penilaian Payment Card Industry Data Security Standard (PCI DSS) dan mendukung cadangan serta pemulihan data.
Isolasi beban
Hologres memungkinkan Anda mengonfigurasi beberapa instance komputasi dalam mode utama/sekunder. Dalam mode ini, data dibagikan di antara instance komputasi, sementara sumber daya komputasi diisolasi untuk memfasilitasi isolasi antara penulisan data dan pembacaan data serta isolasi antara kueri dan layanan lainnya. Ini mempermudah manajemen kegagalan, serta memungkinkan pemulihan node yang gagal secara cepat dan otomatis. Hologres memungkinkan Anda menyimpan data dalam penyimpanan redundan tripel yang sangat andal di Apsara Distributed File System, sehingga tidak perlu menggunakan disk lokal.
Kemampuan O&M mandiri
Hologres menyediakan informasi tentang diagnostik O&M, seperti riwayat kueri dan tabel gudang metadata. Anda dapat dengan cepat mengidentifikasi masalah bottleneck sistem dan risiko berdasarkan informasi bawaan, meningkatkan kemampuan O&M mandiri.
Ekosistem dan skalabilitas
Hologres kompatibel dengan ekosistem PostgreSQL dan terintegrasi mulus dengan DataWorks, mesin komputasi big data dan platform pengembangan big data dari Alibaba Cloud. Anda dapat memulai dengan Hologres tanpa pembelajaran tambahan.
Kompatibilitas dengan PostgreSQL
Kompatibel dengan PostgreSQL, Hologres menyediakan antarmuka Java Database Connectivity (JDBC) atau Open Database Connectivity (ODBC) untuk terhubung ke alat ETL pihak ketiga dan alat business intelligence (BI), seperti Quick BI, DataV, Tableau, dan FanRuan. Hologres mendukung analisis data spasial berdasarkan sistem informasi geografis (GIS) dan fungsi ekstensi Oracle.
Pengembangan dan integrasi DataWorks
Hologres terintegrasi mulus dengan DataWorks, menyediakan alat konstruksi gudang data visual, cerdas, dan all-in-one serta analisis interaktif. Dengan cara ini, Hologres menyediakan solusi tingkat perusahaan untuk manajemen aset data, manajemen garis keturunan data, sinkronisasi data real-time, dan layanan data.
Integrasi dengan Hadoop
Hologres mendukung konektor Hive dan Spark. Anda dapat mengimpor data dari kluster Hadoop ke Hologres dengan laju throughput tinggi untuk menyediakan layanan eksternal. Hologres mempercepat akses ke tabel eksternal OSS-HDFS, mendukung data dalam format Apache Hudi atau Delta Lake.
Mesin pencari vektor: Proxima
Hologres juga terintegrasi dengan Platform Pembelajaran Mesin Alibaba Cloud untuk AI (PAI) dan memiliki mesin pencari vektor bawaan bernama Proxima. Proxima mendukung penyimpanan fitur real-time online, pengambilan real-time, dan pencarian vektor.