FAQ - E-MapReduce - Alibaba Cloud Documentation Center

Topik ini menjawab beberapa pertanyaan umum tentang Alluxio.

Apa yang harus dilakukan jika muncul pesan kesalahan "No FileSystem for scheme: alluxio"?
Apa yang harus dilakukan jika Alluxio tidak berfungsi sesuai harapan?
Bagaimana cara mempercepat akses ke data di OSS dengan men-cache data?
Bagaimana cara mengubah parameter terkait Alluxio?

Apa yang harus saya lakukan jika pesan kesalahan "No FileSystem for scheme: alluxio" muncul?

Masalah ini tidak akan terjadi jika Anda memilih Alluxio dari layanan opsional saat membuat kluster E-MapReduce (EMR). Masalah ini biasanya terjadi karena Anda menambahkan layanan Alluxio setelah membuat kluster EMR, tetapi belum memulai ulang layanan tersebut.

Setelah menambahkan layanan Alluxio, Anda perlu memulai ulang layanan untuk memuat konfigurasi Hadoop. Untuk informasi lebih lanjut tentang cara memulai ulang layanan, lihat Mulai ulang layanan.

Apa yang harus saya lakukan jika Alluxio tidak bekerja sesuai harapan?

Identifikasi node tempat layanan Alluxio bermasalah berdasarkan pesan kesalahan dan periksa log layanan Alluxio untuk pemecahan masalah.

Dalam banyak kasus, log layanan Alluxio disimpan di direktori /mnt/disk1/log/alluxio/.

Bagaimana cara mempercepat akses ke data di OSS dengan men-cache data?

Secara default, HDFS berfungsi sebagai Under File Storage (UFS) dari Alluxio di EMR. Kami merekomendasikan menggunakan direktori Object Storage Service (OSS) sebagai titik pemasangan.

Anda dapat menjalankan perintah berikut untuk mempercepat akses ke data di OSS dengan men-cache data:

alluxio fs mount --option fs.oss.accessKeyId=<OSS_ACCESS_KEY_ID> \
  --option fs.oss.accessKeySecret=<OSS_ACCESS_KEY_SECRET> \
  --option fs.oss.endpoint=<OSS_ENDPOINT> \
  /oss_dir <path>/

Deskripsi parameter:

<OSS_ACCESS_KEY_ID>: ID AccessKey akun Alibaba Cloud Anda yang digunakan untuk mengakses OSS.
<OSS_ACCESS_KEY_SECRET>: Rahasia AccessKey akun Alibaba Cloud Anda yang digunakan untuk mengakses OSS.
<OSS_ENDPOINT>: Titik akhir OSS, dalam format oss-xxxx-internal.aliyuncs.com. Anda dapat melihat titik akhir OSS di konsol OSS. Pastikan kluster EMR dibuat di wilayah yang sama dengan OSS. Kami merekomendasikan menggunakan titik akhir internal OSS, seperti oss-cn-shanghai-internal.aliyuncs.com.
<path>: Jalur penyimpanan file di OSS, seperti oss://<OSS_YOURBUCKETNAME>/<OSS_DIRECTORY>. <OSS_YOURBUCKETNAME> adalah nama Bucket OSS Anda.

Bagaimana cara mengubah parameter terkait Alluxio?

Anda dapat menggunakan salah satu metode berikut untuk mengubah parameter terkait Alluxio:

Konfigurasi parameter global
Buka halaman layanan Alluxio di konsol EMR dan ubah parameter. Untuk informasi lebih lanjut, lihat Kelola parameter untuk layanan.
Konfigurasi parameter dinamis
- Shell Alluxio
  Masuk ke kluster Anda dan tambahkan perintah dalam format Dproperty=value untuk menambahkan konfigurasi kustom. Contoh perintah:
```
alluxio fs copyFromLocal hello.txt /dir/tmp -Dalluxio.user.file.writetype.default=CACHE_THROUGH
```
  Catatan hello.txt adalah file lokal Anda. /dir/tmp adalah direktori di Alluxio. Untuk informasi lebih lanjut tentang perintah copyFromLocal, lihat Perintah umum.
- Pekerjaan Spark
  Tambahkan perintah dalam format -Dproperty=value ke spark.executor.extraJavaOptions dari executor Spark dan ke spark.driver.extraJavaOptions dari driver Spark untuk melewatkan parameter JVM ke pekerjaan Spark.
  Sebagai contoh, atur jenis penulisan file menjadi CACHE_THROUGH saat mengirimkan pekerjaan Spark. Contoh potongan kode:
```
spark-submit \
--conf 'spark.driver.extraJavaOptions=-Dalluxio.user.file.writetype.default=CACHE_THROUGH' \
--conf 'spark.executor.extraJavaOptions=-Dalluxio.user.file.writetype.default=CACHE_THROUGH' \
```
- Pekerjaan MapReduce
  Tambahkan perintah dalam format -Dproperty=value ke hadoop jar atau yarn jar untuk mengonfigurasi atribut untuk pekerjaan MapReduce.
  Sebagai contoh, atur jenis penulisan file menjadi CACHE_THROUGH dalam pekerjaan MapReduce. Contoh potongan kode:
```
hadoop jar <HADOOP_HOME>/share/hadoop/mapreduce/hadoop-mapreduce-examples-x.x.x.jar wordcount \
-Dalluxio.user.file.writetype.default=CACHE_THROUGH \
-libjars /<PATH_TO_ALLUXIO>/client/alluxio-x.x.x.-client.jar \
<path1> <path2>
```
  Catatan <path1> adalah jalur file input. <path2> adalah jalur file output. x.x.x adalah versi paket JAR. <HADOOP_HOME>/share/hadoop/mapreduce/hadoop-mapreduce-examples-x.x.x.jar dan <PATH_TO_ALLUXIO>/client/alluxio-x.x.x.-client.jar keduanya merupakan contoh.