Hologres adalah gudang data real-time yang kompatibel dengan PostgreSQL 11. Hologres terintegrasi mulus dengan ekosistem data besar untuk mendukung penulisan data real-time dengan konkurensi tinggi. Data dapat langsung di-query setelah ditulis. Hologres juga mendukung akselerasi query data offline dan analitik federasi pada data offline dan real-time, membantu Anda membangun gudang data real-time tingkat perusahaan dengan cepat.
Sinkronisasi data di Hologres
Hologres terintegrasi dengan ekosistem data besar yang luas dan mendukung penulisan data offline serta real-time dari berbagai sumber data heterogen.
Big data open source: Hologres mendukung komponen big data open source populer seperti Flink, Blink, dan Spark. Anda dapat menggunakan konektor Hologres bawaan untuk menerapkan penulisan data real-time dengan konkurensi tinggi.
Data database: Hologres terintegrasi secara mendalam dengan DataWorks Data Integration (DataX dan StreamX). Anda dapat menggunakan Hologres Writer dan Hologres Reader untuk menyinkronkan data dari berbagai database ke Hologres dengan mudah dan efisien. Sinkronisasi offline, real-time, dan tingkat database didukung untuk memenuhi kebutuhan sinkronisasi dan migrasi data perusahaan.
Setelah menyinkronkan data real-time atau offline ke Hologres, Anda dapat menggunakan Hologres untuk menganalisis data dalam berbagai dimensi. Sebagai contoh, Anda dapat menggunakan Konektivitas Basis Data Java (JDBC) atau Open Database Connectivity (ODBC) untuk meng-query, menganalisis, dan memantau data. Hasilnya dapat langsung ditampilkan secara visual berdasarkan layanan upstream, seperti dasbor, laporan, atau aplikasi. Ini mencapai proses end-to-end dari penulisan data hingga analitik layanan. Gambar berikut menunjukkan proses tersebut.
Metode sinkronisasi umum
Tabel berikut mencantumkan metode yang didukung untuk menyinkronkan data dari sumber data umum ke Hologres. Anda dapat memilih metode sinkronisasi sesuai dengan kebutuhan bisnis Anda.
Sumber data umum | Metode sinkronisasi bawaan Hologres | Sinkronisasi berbasis DataWorks Data Integration | Sinkronisasi berbasis Flink |
MaxCompute | Didukung (direkomendasikan, Pernyataan SQL) | Didukung | Didukung |
OSS | Didukung (direkomendasikan, Pernyataan SQL) | Didukung | Tidak didukung |
File lokal | Didukung (COPY statement) | Tidak didukung | Tidak didukung |
Database seperti database MySQL | Tidak didukung | Didukung (direkomendasikan) | Didukung |
Kafka | Tidak didukung | Didukung | Didukung |
DataHub | Didukung (penulisan langsung ke sumber data Hologres) | Didukung | Didukung |
Konektor open source
Tabel berikut mencantumkan konektor sinkronisasi yang didukung oleh Hologres. Konektor ini bersifat open source. Anda dapat memilih konektor berdasarkan kondisi bisnis Anda.
Konektor | Skenario |
Holo Client cocok untuk skenario di mana sejumlah besar data ditulis ke Hologres dalam mode offline atau real-time dan skenario di mana kueri titik dengan permintaan per detik (QPS) tinggi, seperti kueri terkait tabel dimensi, dilakukan. Holo Client memerlukan driver JDBC dan menyediakan versi C dan Go. | |
Holo Shipper digunakan untuk mengimpor atau mengekspor data di beberapa tabel instans untuk cadangan. Ini cocok untuk migrasi data instans dan migrasi data database. Anda juga dapat melakukan dump data ke penyimpanan perantara dan kemudian memulihkan data tersebut. | |
Holo-datax-writer kompatibel dengan DataX open source dan bergantung pada kerangka kerja DataX. Anda dapat menggunakan DataX open source untuk menulis data dari berbagai sumber data ke Hologres. Holo-datax-writer memberikan performa lebih baik daripada PostgreSQL Writer. | |
Holo-flink-connector terhubung dengan Flink open source versi 1.11, 1.12, 1.13, dan versi selanjutnya untuk menerapkan penulisan data real-time berkinerja tinggi. Catatan Realtime Compute for Apache Flink mendukung sumber data Hologres. Anda dapat langsung menulis data dari Realtime Compute for Apache Flink ke Hologres tanpa perlu mereferensikan konektor. | |
Holo-Kafka-connector digunakan untuk menulis data dari Kafka ke Hologres. | |
Holo-Spark-connector digunakan untuk menulis data dari Spark 2.x, 3.x, atau versi selanjutnya ke Hologres dengan performa tinggi. Baik Apache Spark maupun Spark dari Alibaba Cloud E-MapReduce (EMR) didukung. | |
Holo-Hive-connector digunakan untuk menulis data dari Hive 2.x, 3.x, atau versi selanjutnya ke Hologres dengan performa tinggi. |