E-MapReduce:Gunakan JindoFS di EMR V3.22.0 hingga V3.26.3

Cara kerja JindoFS

JindoFS menggunakan mekanisme multi-backup heterogen: OSS menyediakan penyimpanan tahan lama, sedangkan disk lokal menyimpan salinan redundan untuk mempercepat pembacaan. Namespace Service lokal mengelola metadata.

JindoFS mendukung dua mode penyimpanan:

Semua path JindoFS menggunakan awalan jfs://. Untuk menggunakan JindoFS, ganti awalan hdfs:// dengan jfs:// dalam perintah dan konfigurasi pekerjaan Anda.

Semua nama parameter mengikuti pola jfs.namespaces.<name>.<param>, di mana <name> adalah nama namespace Anda. Anda dapat mendefinisikan beberapa namespace dan mengonfigurasi masing-masing secara independen.

Prasyarat

Sebelum memulai, pastikan Anda telah memiliki:

• Kluster EMR yang menjalankan versi 3.22.0 atau lebih baru, dengan layanan SmartData dipilih saat pembuatan

• Bucket OSS di wilayah yang sama dengan kluster EMR Anda (disarankan untuk akses tanpa kata sandi)

Siapkan JindoFS

Langkah 1: Buat kluster EMR dengan SmartData

Saat membuat kluster, pilih versi EMR 3.22.0 atau lebih baru, lalu aktifkan SmartData di bawah Optional Services.

Untuk langkah-langkah pembuatan kluster, lihat Buat kluster.

Langkah 2: Konfigurasi JindoFS

Semua konfigurasi JindoFS disimpan di komponen Bigboot. Terdapat dua metode yang tersedia:

• Setelah pembuatan kluster (disarankan untuk kluster yang sudah ada): ubah parameter Bigboot di Konsol EMR, lalu restart SmartData.

• Saat pembuatan kluster: teruskan konfigurasi sebagai array JSON di bawah Custom Software Settings.

Contoh berikut mengonfigurasi namespace bernama test.

Konfigurasi setelah pembuatan kluster

1. Di Konsol EMR, buka Service Configuration dan klik tab bigboot.

   

2. Klik Custom Configuration.

   

3. Tambahkan parameter yang diperlukan. Tabel berikut mencantumkan semua item konfigurasi; item yang ditandai sebagai wajib harus diatur.

   Parameter	Wajib	Deskripsi	Contoh
   jfs.namespaces	Ya	Namespace yang akan diaktifkan. Pisahkan beberapa namespace dengan koma.	test
   jfs.namespaces.test.uri	Ya	Backend penyimpanan OSS untuk namespace ini. Atur ke root bucket atau direktori tertentu; direktori tersebut menjadi root namespace.	oss://oss-bucket/oss-dir
   jfs.namespaces.test.mode	Ya	Mode penyimpanan: block atau cache.	block
   jfs.namespaces.test.oss.access.key	Tidak	ID AccessKey untuk backend OSS. Abaikan jika kluster EMR dan bucket OSS berada di wilayah yang sama di bawah akun yang sama (berlaku akses tanpa kata sandi).	xxxx
   jfs.namespaces.test.oss.access.secret	Tidak	Rahasia AccessKey untuk backend OSS. Abaikan jika menggunakan akses tanpa kata sandi.	—

4. Simpan dan terapkan konfigurasi, lalu restart semua komponen dalam layanan SmartData.

   

Konfigurasi saat pembuatan kluster

Teruskan array JSON berisi entri konfigurasi di bawah Custom Software Settings selama pembuatan kluster. Contoh berikut mengonfigurasi namespace test dengan akses OSS tanpa kata sandi:

[
  {
    "ServiceName": "BIGBOOT",
    "FileName": "bigboot",
    "ConfigKey": "jfs.namespaces",
    "ConfigValue": "test"
  },
  {
    "ServiceName": "BIGBOOT",
    "FileName": "bigboot",
    "ConfigKey": "jfs.namespaces.test.uri",
    "ConfigValue": "oss://oss-bucket/oss-dir"
  },
  {
    "ServiceName": "BIGBOOT",
    "FileName": "bigboot",
    "ConfigKey": "jfs.namespaces.test.mode",
    "ConfigValue": "block"
  }
]

Setelah kluster dibuat, layanan akan otomatis berjalan dengan parameter kustom Anda.

Gunakan JindoFS

JindoFS kompatibel dengan tool berbasis HDFS. Ganti awalan hdfs:// dengan jfs:// dalam perintah dan konfigurasi pekerjaan Anda. Sistem ini mendukung Hadoop, Hive, Spark, Flink, Presto, dan Impala.

Perintah shell

hadoop fs -ls jfs://your-namespace/
hadoop fs -mkdir jfs://your-namespace/test-dir
hadoop fs -put test.log jfs://your-namespace/test-dir/
hadoop fs -get jfs://your-namespace/test-dir/test.log ./

Pekerjaan MapReduce

hadoop jar /usr/lib/hadoop-current/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.5.jar teragen \
  -Dmapred.map.tasks=1000 10737418240 jfs://your-namespace/terasort/input

hadoop jar /usr/lib/hadoop-current/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.5.jar terasort \
  -Dmapred.reduce.tasks=1000 jfs://your-namespace/terasort/input jfs://your-namespace/terasort/output

Spark SQL

CREATE EXTERNAL TABLE IF NOT EXISTS src_jfs (key INT, value STRING)
  LOCATION 'jfs://your-namespace/Spark_sql_test/';

Kelola disk space

JindoFS menyimpan data di OSS, sehingga kapasitas total praktis tidak terbatas. Disk lokal digunakan untuk caching dan salinan redundan. JindoFS mengelola penggunaan disk lokal secara otomatis menggunakan dua parameter watermark:

Watermark tinggi harus lebih besar daripada watermark rendah. Secara default, JindoFS menggunakan kapasitas total semua disk data.

Tetapkan kebijakan penyimpanan

JindoFS menyediakan empat kebijakan penyimpanan untuk menyeimbangkan kinerja, keandalan data, dan biaya. Kebijakan default adalah WARM. File baru mewarisi kebijakan penyimpanan dari direktori induknya.

jindo dfsadmin -R -setStoragePolicy <path> <policy>

jindo dfsadmin -getStoragePolicy <path>

Tool administrasi

Tool jindo dfsadmin menyediakan perintah administrasi untuk JindoFS. Jalankan jindo dfsadmin --help untuk melihat semua opsi yang tersedia.

jindo dfsadmin -archive <path>

jindo dfsadmin -R -diff <path>

jindo dfsadmin -R -sync <path>