OSS-HDFS (layanan JindoFS) kompatibel dengan API Hadoop Distributed File System (HDFS), sehingga memungkinkan HBase pada kluster E-MapReduce (EMR) menyimpan data dan file write-ahead logging (WAL) di OSS, bukan di disk lokal. Pendekatan ini memisahkan penyimpanan dari komputasi, sehingga Anda dapat:
Menyimpan data HBase secara persisten di luar kluster—melepas kluster tanpa kehilangan data.
Menentukan ukuran kluster berdasarkan kebutuhan komputasi, bukan kapasitas penyimpanan.
Menyimpan file WAL di OSS-HDFS sehingga kluster baru yang mengarah ke direktori root yang sama dapat memulihkan operasi tulis yang sedang berlangsung.
Prasyarat
Sebelum memulai, pastikan Anda telah:
Kluster EMR yang berjalan pada EMR V3.42.0 atau versi lebih baru, atau EMR V5.8.0 atau versi lebih baru. Lihat Create a cluster.
Mengaktifkan OSS-HDFS untuk bucket OSS dan memberikan izin akses. Lihat Enable OSS-HDFS and grant access permissions.
Konfigurasikan HBase untuk menggunakan OSS-HDFS
Langkah 1: Hubungkan ke kluster EMR
Masuk ke Konsol EMR. Di panel navigasi sebelah kiri, klik EMR on ECS.
Klik kluster EMR yang telah Anda buat.
Klik tab Nodes, lalu klik ikon plus (
) di sisi kiri kelompok node.Klik ID instance ECS tersebut. Pada halaman Instances, klik Connect di samping ID instans.
Untuk metode koneksi lainnya (menggunakan pasangan kunci SSH atau password SSH pada Windows atau Linux), lihat Log on to a cluster.
Langkah 2: Atur direktori root HBase ke OSS-HDFS
Pada file konfigurasi hbase-site, atur hbase.rootdir ke path bucket OSS-HDFS Anda:
hbase.rootdir = oss://<bucket-name>.<endpoint>/<hbase-root-dir>Ganti placeholder dengan nilai aktual Anda:
| Placeholder | Description | Example |
|---|---|---|
<bucket-name> | Nama bucket OSS Anda yang telah diaktifkan OSS-HDFS | my-hbase-bucket |
<endpoint> | Titik akhir OSS-HDFS untuk wilayah bucket Anda | — |
<hbase-root-dir> | Path dalam bucket untuk direktori root HBase | hbase-root |
Setelah perubahan ini, HBase akan menulis file WAL ke OSS-HDFS.
Sebelum melepas kluster, nonaktifkan semua tabel HBase dan pastikan bahwa semua operasi pembaruan yang dilakukan pada file WAL telah disinkronkan ke HFiles untuk menghindari kehilangan data.