Gunakan OSS-HDFS sebagai penyimpanan dasar untuk HBase - Object Storage Service

HBase adalah database waktu nyata dalam ekosistem Hadoop yang menyediakan kinerja penulisan tinggi. Layanan OSS-HDFS dari Alibaba Cloud menawarkan tipe bucket yang sepenuhnya kompatibel dengan antarmuka Sistem File Terdistribusi Hadoop (HDFS). JindoSDK memungkinkan HBase menggunakan layanan OSS-HDFS sebagai penyimpanan dasarnya dan mendukung penyimpanan file Write-Ahead Logging (WAL) ke penyimpanan terpisah dari komputasi. Dibandingkan dengan penyimpanan HDFS lokal, layanan OSS-HDFS memberikan fleksibilitas lebih besar dan mengurangi biaya O&M.

Prasyarat

Sebuah Instance ECS dari Alibaba Cloud telah dibeli. Untuk informasi lebih lanjut, lihat Beli instance ECS.
Lingkungan Hadoop telah dibuat. Untuk informasi lebih lanjut, lihat Buat lingkungan runtime Hadoop.
Apache HBase telah diterapkan. Untuk informasi lebih lanjut, lihat Apache HBase.
Layanan OSS-HDFS telah diaktifkan, dan Anda memiliki izin yang diperlukan untuk mengaksesnya. Untuk informasi lebih lanjut, lihat Aktifkan layanan OSS-HDFS.

Prosedur

Hubungkan ke instance ECS. Untuk informasi lebih lanjut, lihat Hubungkan ke instance.
Konfigurasikan JindoSDK.
1. Unduh versi terbaru dari paket JAR JindoSDK. Untuk tautan unduhan, lihat GitHub.
2. Ekstrak paket yang diunduh.
  Contoh berikut menunjukkan cara mengekstrak jindosdk-x.x.x-linux.tar.gz. Jika Anda menggunakan versi JindoSDK yang berbeda, ganti nama paket dengan yang sebenarnya.
```
tar -zxvf jindosdk-x.x.x-linux.tar.gz -C /usr/lib
```
  Catatan
  Dalam contoh ini, x.x.x mewakili nomor versi paket JAR JindoSDK.
3. Konfigurasikan JINDOSDK_HOME.
```
export JINDOSDK_HOME=/usr/lib/jindosdk-x.x.x-linux
export PATH=$JINDOSDK_HOME/bin:$PATH
```
4. Konfigurasikan HADOOP_CLASSPATH.
```
export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:${JINDOSDK_HOME}/lib/*
```
  Penting
  Sebarkan folder instalasi dan variabel lingkungan ke semua node yang diperlukan.
5. Instal paket JAR JindoSDK ke classpath Hadoop.
```
cp jindosdk-x.x.x-linux/lib/jindo-core-x.x.x.jar <HADOOP_HOME>/share/hadoop/hdfs/lib/
cp jindosdk-x.x.x-linux/lib/jindo-sdk-x.x.x.jar <HADOOP_HOME>/share/hadoop/hdfs/lib/
```

Konfigurasikan kelas implementasi layanan OSS-HDFS dan AccessKey.

Konfigurasikan kelas implementasi layanan OSS-HDFS dalam file core-site.xml HBase.

<configuration>
    <property>
        <name>fs.AbstractFileSystem.oss.impl</name>
        <value>com.aliyun.jindodata.oss.JindoOSS</value>
    </property>

    <property>
        <name>fs.oss.impl</name>
        <value>com.aliyun.jindodata.oss.JindoOssFileSystem</value>
    </property>
</configuration>

Tambahkan ID AccessKey dan rahasia AccessKey untuk bucket OSS-HDFS Anda ke file core-site.xml HBase.

<configuration>
    <property>
        <name>fs.oss.accessKeyId</name>
        <value>LTAI********</value>
    </property>

    <property>
        <name>fs.oss.accessKeySecret</name>
        <value>KZo1********</value>
    </property>
</configuration>

Konfigurasikan titik akhir layanan OSS-HDFS.
Untuk mengakses bucket OSS menggunakan layanan OSS-HDFS, Anda harus mengonfigurasi titik akhir. Format jalur yang direkomendasikan adalah oss://{yourBucketName}.{yourBucketEndpoint}/{path}. Sebagai contoh: oss://examplebucket.cn-shanghai.oss-dls.aliyuncs.com/exampleobject.txt. Setelah konfigurasi selesai, JindoSDK menggunakan titik akhir dalam jalur akses untuk mengakses antarmuka layanan OSS-HDFS.
Anda juga dapat mengonfigurasi titik akhir layanan OSS-HDFS dengan cara lain. Metode konfigurasi ini memiliki urutan prioritas. Untuk informasi lebih lanjut, lihat Lampiran 1: Cara lain untuk mengonfigurasi titik akhir.
Tentukan jalur penyimpanan untuk HBase.
Untuk menentukan jalur penyimpanan untuk HBase dan file WAL-nya, ubah nilai parameter hbase.rootdir dalam file konfigurasi hbase-site menjadi jalur OSS. Formatnya adalah oss://bucket.endpoint/hbase-root-dir.
Penting
Sebelum melepaskan kluster, nonaktifkan tabel untuk memastikan bahwa semua file WAL disimpan ke HFiles.