E-MapReduce:JindoFuse User Guide

# CentOS
sudo yum install -y fuse3 fuse3-devel

# Debian
sudo apt install -y fuse3 libfuse3-dev

# Build dependencies (Debian: apt install -y pkg-config meson ninja-build)
sudo yum install -y meson ninja-build

# CentOS only: install a newer C++ compiler from devtoolset-8
sudo yum install -y scl-utils
sudo yum install -y alinux-release-experimentals
sudo yum install -y devtoolset-8-gcc devtoolset-8-gdb devtoolset-8-binutils devtoolset-8-make devtoolset-8-gcc-c++
sudo su -c "echo 'source /opt/rh/devtoolset-8/enable' > /etc/profile.d/g++.sh"
source /opt/rh/devtoolset-8/enable
sudo ln -s /opt/rh/devtoolset-8/root/bin/gcc /usr/local/bin/gcc
sudo ln -s /opt/rh/devtoolset-8/root/bin/g++ /usr/local/bin/g++

# Download and compile libfuse
wget https://github.com/libfuse/libfuse/releases/download/fuse-3.11.0/fuse-3.11.0.tar.xz
xz -d fuse-3.11.0.tar.xz
tar xf fuse-3.11.0.tar
cd fuse-3.11.0/
mkdir build; cd build
meson ..
sudo ninja install

# List the top-level contents
ls /mnt/oss/

# Create a directory
mkdir /mnt/oss/dir1

# Write a file
echo "hello world" > /mnt/oss/dir1/hello.txt

# Read the file back
cat /mnt/oss/dir1/hello.txt
# Output: hello world

# Delete a directory and its contents
rm -rf /mnt/oss/dir1/

umount <mount_point>

killall -9 jindo-fuse

Paramètres de montage

Transmettez des paramètres au moment du montage pour contrôler le comportement de JindoFuse. Les paramètres spécifiés au moment du montage ont priorité sur les valeurs du fichier de configuration.

jindo-fuse <mount_point> -ouri=[<oss_path>] -ofs.oss.endpoint=[<endpoint>] -ofs.oss.accessKeyId=[<access_key_id>] -ofs.oss.accessKeySecret=[<access_key_secret>]

Paramètres de configuration

Définissez ces paramètres dans le fichier de configuration JindoSDK. Les paramètres de montage ont priorité sur eux.

Comment identifier la cause d'une erreur ?

JindoFuse ne peut afficher que les codes d'erreur prédéfinis par le système d'exploitation, qui ne sont souvent pas assez spécifiques pour diagnostiquer la cause racine. Pour obtenir des messages d'erreur détaillés de JindoSDK, consultez le jindosdk.log dans le répertoire spécifié par le logger.dir (par défaut : /tmp/bigboot-log).

Fonctionnement de flush() dans OSS

Le comportement de flush() sur OSS dépend de la version de JindoFuse :

JindoFuse antérieur à 6.7.0 :

• Mode ajout : La fermeture d'un fichier (close()) déclenche flush(), qui vide les données mises en tampon dans le cache du noyau, puis les écrit dans OSS via AppendObject. Consultez Limites d'AppendObject pour connaître les restrictions.

• Autres modes : flush() n'a aucun effet. Les données ne sont pas écrites dans OSS lors de la fermeture du fichier.

JindoFuse 6.7.0 et versions ultérieures :

Le fs.oss.fuse.flush.enable est défini par défaut sur true. Avec ce paramètre :

• flush() écrit les données dans OSS quel que soit le mode d'ouverture du fichier (open(), O_APPEND ou autres modes), sans affecter OSS-HDFS.

• Les données sont écrites à l'aide de PutObject ou du téléchargement multipart (MPU), et non de AppendObject.

• L'appel de flush() sur un objet existant, ou l'appel de flush() deux fois sur un nouvel objet, augmente les coûts d'E/S car JindoFuse doit relire et retélécharger les données.

Définissez fs.oss.fuse.flush.enable=false pour revenir au comportement limité au mode ajout.