E-MapReduce:Percepat OSS dengan caching transparan JindoCache

Prasyarat

• Anda telah membuat kluster E-MapReduce (EMR) dan memilih layanan JindoCache. Untuk informasi selengkapnya, lihat Create a cluster.

• Anda telah mengaktifkan Object Storage Service (OSS). Untuk informasi selengkapnya, lihat Activate OSS.

Batasan

File disimpan sebagai objek di OSS.

Prosedur

JindoCache menggunakan CacheSets untuk mengelola kebijakan caching. Anda dapat menentukan kebijakan caching berbeda untuk path berbeda, dan satu kluster dapat memiliki satu atau beberapa CacheSet.

1. Pilih kebijakan caching.

   1. Login ke kluster. Untuk informasi selengkapnya, lihat Log on to a cluster.

   2. Buat file cacheset.xml.

      Dalam contoh ini, file cacheset.xml berada di direktori /path.

      <?xml version="1.0" encoding="UTF-8"?>
      <cachesets>
          <cacheset>
              <name>name1</name>
              <path>oss://emr-test/dir1</path>
              <cacheStrategy>DISTRIBUTED</cacheStrategy>
              <metaPolicy>
                  <type>ALWAYS</type>
              </metaPolicy>
              <readPolicy>CACHE_ASIDE</readPolicy>
              <writePolicy>WRITE_AROUND</writePolicy>
          </cacheset>
          <cacheset>
              <name>name2</name>
              <path>oss://emr-test/dir2</path>
              <cacheStrategy>DHT</cacheStrategy>
              <metaPolicy>
                  <type>ONCE</type>
              </metaPolicy>
              <readPolicy>CACHE_ASIDE</readPolicy>
              <writePolicy>WRITE_AROUND</writePolicy>
          </cacheset>
      </cachesets>

      Parameter	Description	Example
      name	Nama CacheSet. Nama harus unik. Menentukan nama duplikat akan menimpa CacheSet yang sudah ada.	name1
      path	Path induk tempat kebijakan caching diterapkan. Semua subpath mewarisi kebijakan dari CacheSet ini.	oss://emr-test/dir1
      cacheStrategy	Strategi caching. Nilai yang valid: DISTRIBUTED dan DHT (Distributed Hash Table). Strategi DHT adalah kebijakan akselerasi read-only yang cocok untuk file kecil. Pilih strategi sesuai kebutuhan Anda.	DISTRIBUTED
      metaPolicy	Kebijakan caching metadata. Nilai yang valid: ALWAYS dan ONCE. ALWAYS: Metadata tidak di-cache. Semua operasi metadata langsung mengakses penyimpanan remote. ONCE: Metadata di-cache. Metadata dibaca dari penyimpanan remote hanya saat pertama kali. Pembacaan berikutnya menggunakan cache lokal. Pilih kebijakan sesuai kebutuhan Anda. Catatan Jika cacheStrategy diatur ke DHT, metaPolicy harus diatur ke ONCE.	ALWAYS
      readPolicy	Kebijakan baca untuk file. Hanya CACHE_ASIDE yang didukung. Kebijakan ini memprioritaskan pembacaan data dari cache.	CACHE_ASIDE
      writePolicy	Kebijakan tulis untuk file. Kebijakan berikut didukung: WRITE_AROUND: Data ditulis langsung ke penyimpanan remote. CACHE_ONLY: Data ditulis ke area staging. Catatan Kebijakan CACHE_ONLY harus digunakan bersama kebijakan ONCE. WRITE_THROUGH: Data ditulis ke cache.	WRITE_AROUND

   3. Jalankan perintah berikut untuk merefresh konfigurasi CacheSet di sistem JindoCache.

      jindocache -refreshCacheSet -path /path/cacheset.xml

      Perintah yang berhasil mengembalikan pesan Successfully refresh cacheset !!!. Untuk informasi selengkapnya tentang perintah JindoCache, lihat JindoCache CLI usage instructions.

   4. Anda dapat menggunakan perintah listCacheSet untuk melihat informasi CacheSet dalam sistem.

      jindocache -listCacheSet

2. Konfigurasikan JindoSDK.

   Konfigurasikan kelas implementasi OSS JindoCache di Hadoop-Common. Di Konsol EMR, buka halaman konfigurasi layanan Hadoop-Common, klik tab core-site.xml, lalu atur parameter berikut. Untuk informasi selengkapnya, lihat Manage configuration items.

   Parameter	Description
   fs.xengine	Nilainya harus jindocache. Jika Anda tidak mengisi parameter ini, client tidak menggunakan cache dan berkomunikasi langsung dengan backend.

   Catatan

   Ini adalah konfigurasi sisi client. Anda tidak perlu restart layanan JindoCache.

   Setelah konfigurasi selesai, pekerjaan yang mengakses OSS secara otomatis menggunakan caching. Karena JindoCache melakukan caching secara transparan, tidak diperlukan modifikasi pada pekerjaan. Saat pekerjaan membaca data dari OSS, data tersebut di-cache di JindoCache. Pembacaan data yang sama berikutnya akan mengenai cache, sehingga meningkatkan performa baca.

FAQ

Konfigurasi kredensial OSS

JindoCache mendukung akses tanpa password ke OSS. Untuk akses lintas akun, Anda harus mengonfigurasi kredensial, termasuk ID AccessKey, Rahasia AccessKey, dan Titik akhir.

1. Buka tab common layanan JindoCache.

   1. Login ke E-MapReduce console.

   2. Di bilah navigasi atas, pilih wilayah dan kelompok sumber daya.

   3. Di halaman Clusters, temukan kluster target lalu klik Services di kolom Actions.

   4. Di bagian layanan JindoCache, klik Configure.

   5. Klik tab common.

2. Tambahkan dan terapkan item konfigurasi.

   1. Klik Add Configuration Item.

   2. Di kotak dialog Add Configuration Item, tambahkan item konfigurasi berikut.

      Untuk informasi selengkapnya tentang cara menambahkan dan menerapkan item konfigurasi, lihat Manage configuration items.

      Catatan

      Ganti XXX dengan nama Bucket OSS.

      Parameter	Description
      jindocache.oss.bucket.XXX.accessKeyId	ID AccessKey untuk Bucket OSS.
      jindocache.oss.bucket.XXX.accessKeySecret	Rahasia AccessKey untuk Bucket OSS.
      jindocache.oss.bucket.XXX.endpoint	Titik akhir Bucket OSS.