Akselerasi data lake Hologres – baca dan tulis data OSS dengan tabel eksternal - Hologres

Hologres mempercepat operasi baca dan tulis data yang disimpan di OSS melalui tabel eksternal, meningkatkan efisiensi kueri dan menyederhanakan pemrosesan data.

Informasi latar belakang

Seiring semakin matangnya penyimpanan objek, solusi data lake beralih ke arsitektur cloud-native. Dalam arsitektur lakehouse Alibaba Cloud, OSS berfungsi sebagai penyimpanan data lake terpadu yang aman, hemat biaya, sangat andal, dan dapat diskalakan.

Solusi data lake real-time berfokus pada aliran dan pemrosesan data real-time dalam arsitektur lakehouse. Hologres mendukung penulisan, pembaruan, dan analisis real-time. Dengan mengintegrasikan DLF, HMS, OSS, serta berbagai kemampuan ekosistem, Hologres menggunakan tabel eksternal untuk mempercepat operasi baca dan tulis data di OSS tanpa migrasi data. Tabel eksternal memetakan bidang (field) alih-alih menyimpan data, sehingga mengurangi biaya pengembangan dan O&M serta menghilangkan silodata.

Tabel berikut mencantumkan layanan Alibaba Cloud yang digunakan dalam solusi data lake real-time.

Layanan	Deskripsi	Referensi
DLF	Layanan terkelola penuh untuk membangun data lake dan lakehouse cloud. DLF menyediakan manajemen metadata terpusat, manajemen izin dan keamanan terpusat, serta kemampuan ingesti dan eksplorasi data yang mudah digunakan.	Apa itu Data Lake Formation (DLF) 1.0?
HMS	Komponen inti Apache Hive yang mengelola metadata untuk tabel Hive dan Spark, termasuk lokasi penyimpanan, skema tabel, nama tabel, nama kolom, tipe data, dan informasi partisi. HMS mendukung kueri data Hive dan Spark.	Hive Metastore Server
OSS	OSS merupakan penyimpanan terpadu untuk data lake cloud dalam DLF. Ini adalah layanan yang aman, hemat biaya, dan sangat andal yang mampu menyimpan data dalam jumlah besar dan semua jenis file. OSS menawarkan daya tahan data hingga 99,9999999999% dan merupakan standar de facto untuk penyimpanan data lake.	Apa itu OSS?
OSS	OSS-HDFS (JindoFS) adalah layanan penyimpanan data lake cloud-native yang terintegrasi dengan mesin komputasi ekosistem Hadoop. Layanan ini sepenuhnya kompatibel dengan API HDFS dan POSIX, serta memberikan kinerja lebih baik dibandingkan OSS asli untuk beban kerja ETL berbasis Hive/Spark.	Apa itu OSS-HDFS?

Arsitektur

Gambar berikut menunjukkan arsitektur data lake Hologres yang direkomendasikan. Arsitektur ini mencakup seluruh siklus hidup data—mulai dari pengumpulan dan penyimpanan hingga manajemen dan aplikasi—serta menyediakan solusi lakehouse end-to-end dengan penskalaan otomatis yang fleksibel.

Manajemen metadata terpadu

Mendukung layanan metadata DLF dan HMS.
Mendukung pemetaan satu-klik ke katalog eksternal melalui database eksternal.
Mendukung penemuan otomatis dan penyegaran perubahan metadata di data lake.
Mendukung pembuatan database dan tabel di data lake melalui pernyataan DDL. Paimon didukung.

Sumber daya dan pola komputasi terpadu

Menggunakan Dynamic Table untuk pelapisan dan pemrosesan data lakehouse.
Mendukung analisis OLAP berkinerja tinggi dan penulisan ulang (write-back) data ke data lake.
Menggunakan instans virtual warehouse untuk elastisitas dan isolasi sumber daya.
Mendukung tugas serverless dengan biaya kepemilikan nol dan penagihan pay-as-you-go.
Terintegrasi dengan alat BI utama.

Dukungan untuk format lakehouse terbuka

Mendukung kueri dipercepat untuk tabel lake Paimon, Iceberg, Hudi, Delta, ORC, dan Parquet.
Mendukung write-back dalam format Paimon, Iceberg, ORC, dan Parquet.

Catatan penggunaan

Hologres menyediakan metode berikut untuk memetakan sumber data eksternal.

Metode pemetaan	Sintaks	Deskripsi	Sumber data yang didukung	Persyaratan versi	Skenario
CREATE EXTERNAL DATABASE	CREATE EXTERNAL DATABASE CREATE EXTERNAL SCHEMA CREATE EXTERNAL TABLE	Membuat database eksternal pada instans Hologres untuk memuat metadata dari sumber data eksternal. Hal ini memungkinkan manajemen terpusat data internal dan eksternal dalam arsitektur lakehouse.	DLF 1.0 DLF 2.0 MaxCompute	V3.0	Memetakan seluruh database beserta semua tabelnya dari katalog sumber data eksternal ke Hologres.
FOREIGN TABLE	IMPORT FOREIGN SCHEMA	Membuat beberapa tabel eksternal sekaligus dalam skema Hologres untuk secara otomatis memetakan tabel dari sumber data eksternal.	DLF 1.0 DLF 2.0 HMS MaxCompute Hologres	V0.8	Memetakan semua tabel dalam database atau skema sumber data eksternal ke skema Hologres.
FOREIGN TABLE	CREATE FOREIGN TABLE	Membuat secara manual tabel eksternal di Hologres untuk memetakan tabel atau bidang tertentu dari sumber data eksternal.	DLF 1.0 DLF 2.0 HMS MaxCompute Hologres	V0.8	Memetakan tabel atau bidang tertentu ke Hologres.

Format tabel dan format file

Format tabel

Format tabel	Versi yang didukung	Metode kompresi yang didukung
Hudi	Pembacaan data didukung di Hologres V1.3 dan versi lebih baru	UNCOMPRESSED GZIP SNAPPY BROTLI LZ4 ZSTD LZ4_RAW None ZLIB
Delta Lake	Pembacaan data didukung di Hologres V1.3 dan versi lebih baru	UNCOMPRESSED GZIP SNAPPY BROTLI LZ4 ZSTD LZ4_RAW
Apache Paimon	Pembacaan data didukung di Hologres V2.1 dan versi lebih baru Pembacaan data dari tabel lake dan penulisan data ke tabel append-only Apache Paimon berbasis DLF 2.0 didukung di Hologres V3.0 dan versi lebih baru	PARQUET UNCOMPRESSED SNAPPY GZIP LZO BROTLI LZ4 ZSTD ORC NONE ZLIB SNAPPY LZO LZ4
Iceberg	Pembacaan data dari tabel Iceberg V1 dan V2 berbasis DLF 1.0 dan HMS didukung di Hologres V3.0	PARQUET UNCOMPRESSED SNAPPY GZIP LZO BROTLI LZ4 ZSTD ORC NONE ZLIB SNAPPY LZO LZ4

Format file

Format file	Versi yang didukung	Metode kompresi yang didukung
CSV	Pembacaan dan penulisan data didukung di Hologres V1.3 dan versi lebih baru	COMPRESSION_CODEC BZip2Codec DefaultCodec GzipCodec SnappyCodec
Parquet	Pembacaan dan penulisan data didukung di Hologres V1.3 dan versi lebih baru	UNCOMPRESSED GZIP SNAPPY BROTLI LZ4 ZSTD LZ4_RAW
ORC	Pembacaan dan penulisan data didukung di Hologres V1.3 dan versi lebih baru	None ZLIB SNAPPY
SequenceFile	Pembacaan dan penulisan data didukung di Hologres V1.3 dan versi lebih baru	COMPRESSION_CODEC BZip2Codec DefaultCodec GzipCodec SnappyCodec COMPRESSION_TYPE NONE RECORD BLOCK

Pemetaan tipe data

Untuk pemetaan tipe data dari DLF ke Hologres, lihat Ikhtisar tipe data.

Ikhtisar fitur

Di Hologres V1.1 dan versi lebih baru, Anda dapat membaca data ORC, Parquet, CSV, dan SequenceFile dari OSS. Di Hologres V1.3 dan versi lebih baru, Anda dapat menulis data dalam format tersebut ke OSS, serta membaca tabel Apache Hudi atau Delta Lake di OSS.

Catatan
Anda dapat melihat versi instans Hologres Anda di halaman detail instans di Konsol Hologres. Jika versi instans Anda lebih awal dari V1.1, lakukan upgrade di konsol atau hubungi grup DingTalk Hologres. Untuk upgrade manual, lihat Upgrade instans. Untuk bergabung dengan grup DingTalk, lihat Dapatkan dukungan online untuk Hologres.
Di Hologres V1.3.25 dan versi lebih baru, fitur multi-katalog DLF mengisolasi metadata antar instans pengujian, pengembangan, dan lintas departemen, membantu memastikan keamanan bisnis Anda. Katalog.
Di Hologres V1.3.26 dan versi lebih baru, Anda dapat membaca dan menulis data di OSS-HDFS. Hologres terintegrasi dengan mesin komputasi ekosistem Hadoop untuk mempercepat analisis real-time data di OSS-HDFS, mendukung kueri federasi lintas data lake untuk beban kerja data besar dan AI.
Di Hologres V2.1.0 dan versi lebih baru, Anda dapat membaca tabel eksternal Apache Paimon. Apache Paimon adalah platform penyimpanan lake terpadu untuk pemrosesan streaming dan batch, mendukung penulisan throughput tinggi dan kueri latensi rendah, memungkinkan aliran data real-time dalam data lake. Pengguna dapat mengintegrasikan pemrosesan data lake real-time dan offline menggunakan Apache Paimon. Apache Paimon.
Di Hologres V2.2 dan versi lebih baru, arsitektur tabel eksternal baru memungkinkan HQE membaca file ORC dan Parquet secara langsung dengan akselerasi cache berbasis SSD, meningkatkan kinerja lebih dari 5x. Anda dapat menggunakan HMS untuk mengakses data di OSS dan OSS-HDFS. Akses data OSS dengan Hive Metastore (beta).

Catatan
Jika instans Hologres Anda V2.1 atau lebih awal, hubungi dukungan teknis Hologres untuk upgrade.
Di Hologres V3.0 dan versi lebih baru, fitur-fitur berikut ditambahkan:
- Database eksternal mendukung pemetaan metadata tingkat katalog untuk sumber data DLF dan MaxCompute, meningkatkan kemampuan manajemen metadata dan data data lake. CREATE EXTERNAL DATABASE.
- Skema eksternal dan tabel eksternal memungkinkan Anda membuat database dan tabel dalam katalog DLF untuk write-back data agregat. CREATE EXTERNAL SCHEMA dan CREATE EXTERNAL TABLE.
- Penulisan berkinerja tinggi ke tabel append-only Apache Paimon untuk penerusan data antara lake dan warehouse.
- Optimasi deletion vector Paimon meningkatkan kinerja kueri saat terjadi penghapusan besar sebelum kompaksi.
- Pembaca Delta Lake yang direkonstruksi secara signifikan meningkatkan kinerja baca.
- Pembacaan data lake berbasis Iceberg memperluas ekosistem data lake.
- Pemetaan metadata HMS mempercepat kueri data di kluster EMR. Lihat Gunakan HMS untuk mengakses data di data lake OSS (beta).
- Keamanan yang ditingkatkan: akses DLF 2.0 secara default menggunakan peran terkait layanan, dengan opsi akses Peran RAM.