Memasang sistem file CPFS for AI pada ECS atau EGS - Cloud Parallel File Storage

Instans ECS dan EGS mengakses sistem file CPFS for AI melalui titik pemasangan VPC. Pendekatan ini cocok untuk pra-pemrosesan data, migrasi data, dan pelatihan skala kecil, serta mendukung akses baik dalam zona yang sama maupun lintas zona.

Prasyarat

Anda telah membuat sistem file.
Anda telah menambahkan titik pemasangan VPC untuk sistem file CPFS, dan instans ECS atau EGS berada dalam VPC yang sama dengan titik pemasangan tersebut.

Sistem operasi instans ECS atau EGS Anda harus memenuhi persyaratan berikut:

Operating system	Support status
Alibaba Cloud Linux 3 (kernel 5.10.134-13 atau lebih baru)	Supported (x86_64, ARM)
Alibaba Cloud Linux 4 (kernel 6.6.102-5.3 atau lebih baru)	Supported (x86_64, ARM)
Ubuntu 24.04 (kernel 6.8.0-60 atau lebih baru)	Supported (x86_64)

Catatan

Image Alibaba Cloud Linux 3 terbaru yang tersedia di Konsol ECS sudah mencakup versi kernel yang diperlukan secara default.

Memasang sistem file

Langkah 1: Instal kmod-fuse

Elastic File Client (EFC) memerlukan modul kernel FUSE yang ditingkatkan. Instal modul ini sebelum melanjutkan.

Alibaba Cloud Linux 4

# Unduh dan instal paket RPM fuse kmod terbaru pada instans.
sudo bash -c "yum install -y http://mirrors.cloud.aliyuncs.com/alinux/aiext/2.0/alinux-4/$(uname -m)/Packages/alinux-aiext-repo-2.0-2.0-1.alnx4.noarch.rpm"
sudo bash -c "yum install kmod-fuse-$(uname -r)"

# Unmount fuse ctl jika ada.
sudo umount /sys/fs/fuse/connections

# Hapus muatan modul fuse lama.
# Catatan: Jika perintah rmmod fuse melaporkan bahwa modul tidak ada, Anda dapat melanjutkan ke langkah berikutnya. Jika muncul error "busy", reboot instans tersebut. Setelah reboot, lewati perintah rmmod dan modprobe, lalu lanjutkan langsung ke pemeriksaan konsistensi versi.
sudo rmmod fuse
lsmod | grep fuse

# Muat modul fuse baru.
sudo modprobe fuse

# Verifikasi konsistensi versi. Perintah yang berhasil akan menghasilkan output "same" (Konsisten).
diff -q <(cat /lib/modules/$(uname -r)/extra/fs/fuse/fuse.srcversion) <(cat /sys/module/fuse/srcversion) >/dev/null && echo "same" || echo "not same"

Alibaba Cloud Linux 3

# Instal kmod-fuse.
sudo bash -c "yum install -y http://mirrors.cloud.aliyuncs.com/alinux/aiext/0.5/alinux-3/$(uname -m)/Packages/alinux-aiext-repo-0.5-0.5-1.al8.noarch.rpm"
sudo bash -c "yum install -y kmod-fuse-$(uname -r)"

# Unmount fuse ctl jika ada.
sudo umount /sys/fs/fuse/connections

# Hapus muatan modul fuse lama.
# Catatan: Jika perintah rmmod fuse melaporkan bahwa modul tidak ada, Anda dapat melanjutkan ke langkah berikutnya. Jika muncul error "busy", reboot instans tersebut. Setelah reboot, lewati perintah rmmod dan modprobe, lalu lanjutkan langsung ke pemeriksaan konsistensi versi.
sudo rmmod fuse
lsmod | grep fuse

# Muat modul fuse baru.
sudo modprobe fuse

# Verifikasi konsistensi versi. Perintah yang berhasil akan menghasilkan output "same" (Konsisten).
diff -q <(cat /lib/modules/$(uname -r)/extra/fs/fuse/fuse.srcversion) <(cat /sys/module/fuse/srcversion) >/dev/null && echo "same" || echo "not same"

Ubuntu 24.04 (x86_64)

# Tambahkan sumber deb AIExt.
echo "deb [trusted=yes] http://mirrors.cloud.aliyuncs.com/alinux/aiext/1.0/ubuntu-24.04/x86_64/ /" > /etc/apt/sources.list.d/aliyun-aiext.list
apt update

apt -y install ubuntu-aiext-repo
apt update

# Instal kmod-fuse.
apt -y install kmod-fuse=$(uname -r)*

# Nonaktifkan modul fuse bawaan dalam kernel Ubuntu agar modul kmod-fuse yang dimuat.
cp /etc/default/grub /etc/default/grub.bak.$(date +%Y%m%d-%H%M%S)
sed -i 's#^\(GRUB_CMDLINE_LINUX=\".*\)\"#\1 initcall_blacklist=fuse_init\"#g' /etc/default/grub
update-grub

# Reboot instans agar perubahan diterapkan.
reboot

Langkah 2: Instal klien EFC

Note: Anda harus menyelesaikan Langkah 1 sebelum menginstal klien EFC.

Penting

Ketika klien EFC menerima pembaruan fitur utama atau perbaikan bug, Anda harus melakukan upgrade proses EFC pada instans ECS Anda. Upgrade tersebut tidak menyebabkan error I/O atau gangguan, tetapi mungkin menimbulkan I/O jitter singkat yang berlangsung beberapa detik. Masuk ke instans dan jalankan skrip upgrade.

Alibaba Cloud Linux 3/4 (x86_64)

# Dapatkan wilayah instans saat ini.
region=$(curl -s http://100.100.100.200/latest/meta-data/region-id)

# Unduh paket RPM klien EFC.
wget "https://aliyun-alinas-eac-${region}.oss-${region}-internal.aliyuncs.com/aliyun-alinas-utils-latest.al7.noarch.rpm"
wget "https://aliyun-alinas-eac-${region}.oss-${region}-internal.aliyuncs.com/alinas-efc-latest.x86_64.rpm"

# Instal paket RPM. Kedua paket memiliki dependensi dan harus diinstal bersamaan.
sudo yum install -y ./aliyun-alinas-utils-latest.al7.noarch.rpm ./alinas-efc-latest.x86_64.rpm

# Verifikasi instalasi. Output harus menampilkan dua paket.
rpm -qa | grep alinas

Note: Anda dapat mengabaikan pesan ERROR atau WARNING yang muncul selama instalasi, asalkan proses berhasil diselesaikan.

Alibaba Cloud Linux 3/4 (ARM/aarch64)

# Tetapkan wilayah. Ganti <YOUR-REGION> dengan wilayah aktual Anda, misalnya cn-wulanchabu.
region=<YOUR-REGION>

# Unduh paket RPM klien EFC.
wget "https://aliyun-alinas-eac-${region}.oss-${region}-internal.aliyuncs.com/alinas-efc-latest.aarch64.rpm"
wget "https://aliyun-alinas-eac-${region}.oss-${region}-internal.aliyuncs.com/aliyun-alinas-utils-latest.aarch64.rpm"

# Instal paket RPM.
sudo yum install -y ./aliyun-alinas-utils-latest.aarch64.rpm ./alinas-efc-latest.aarch64.rpm

# Verifikasi instalasi.
rpm -qa | grep alinas

Ubuntu 24.04 (x86_64)

# Tetapkan wilayah. Ganti <YOUR-REGION> dengan wilayah aktual Anda, misalnya cn-wulanchabu.
region=<YOUR-REGION>

# Unduh paket .deb klien EFC.
wget "https://aliyun-alinas-eac-${region}.oss-${region}-internal.aliyuncs.com/alinas-efc-latest.amd64.deb"
wget "https://aliyun-alinas-eac-${region}.oss-${region}-internal.aliyuncs.com/aliyun-alinas-utils-latest.noarch.deb"

# Instal paket .deb.
sudo dpkg -i ./aliyun-alinas-utils-latest.noarch.deb ./alinas-efc-latest.amd64.deb

# Verifikasi instalasi.
apt list --installed | grep alinas

Langkah 3: Pasang sistem file

Pemasangan manual

# Buat direktori pemasangan.
sudo mkdir -p /mnt/cpfs

# Pasang sistem file.
sudo mount -t alinas -o efc,protocol=efc,net=tcp,fstype=cpfs <mount-target-domain-name>:/ /mnt/cpfs

# Verifikasi pemasangan.
df -h | grep cpfs

Deskripsi parameter

Parameter	Description
`-t alinas`	Jenis sistem file.
`-o efc,protocol=efc,net=tcp,fstype=cpfs`	Menggunakan klien EFC, protokol TCP, dan jenis sistem file CPFS.
`<mount-target-domain-name>`	Nama domain titik pemasangan VPC. Anda dapat menemukannya di tab Mounting and Using di Konsol CPFS.
`:/`	Memasang direktori root sistem file.
`/mnt/cpfs`	Direktori pemasangan lokal. Anda dapat menyesuaikan path ini.

Pemasangan otomatis saat startup

Untuk memasang sistem file secara otomatis saat instans dinyalakan, tambahkan konfigurasi pemasangan ke /etc/fstab:

# Tambahkan baris berikut ke /etc/fstab.
# Ganti <mount-target-domain-name> dengan nama domain titik pemasangan VPC aktual Anda.
# Ganti /mnt/cpfs dengan direktori pemasangan lokal aktual Anda. Direktori tersebut harus sudah ada.
echo "<mount-target-domain-name>:/ /mnt/cpfs alinas _netdev,efc,protocol=efc,net=tcp,fstype=cpfs 0 0" | sudo tee -a /etc/fstab

# Verifikasi konfigurasi dan pasang sistem file.
sudo mount -a
df -h | grep cpfs

Parameter _netdev memastikan sistem hanya memasang sistem file setelah jaringan siap.

Langkah 4: Verifikasi akses

Setelah pemasangan, verifikasi bahwa Anda dapat membaca dan menulis ke direktori pemasangan:

# Daftar file dalam direktori.
ls /mnt/cpfs

# Tulis data ke file uji.
echo "test" > /mnt/cpfs/test.txt

# Baca data dari file uji.
cat /mnt/cpfs/test.txt

Lepaskan pemasangan sistem file

Pastikan tidak ada proses yang mengakses direktori pemasangan.
```
fuser -m /mnt/cpfs
```
Lepaskan pemasangan sistem file.
```
sudo umount /mnt/cpfs
```

Jika Anda mengonfigurasi pemasangan otomatis saat startup, hapus entri yang sesuai dari /etc/fstab agar sistem file tidak dipasang otomatis setelah reboot.

sudo vi /etc/fstab
# Temukan dan hapus baris yang berisi titik pemasangan CPFS, contohnya:
# <mount-target-domain-name>:/ /mnt/cpfs alinas _netdev,efc,protocol=efc,net=tcp,fstype=cpfs 0 0

Akses lintas availability zone

Instans ECS dan EGS dapat mengakses sistem file CPFS for AI lintas availability zone melalui titik pemasangan VPC. Perintah pemasangan sama baik untuk akses dalam zona maupun lintas zona. Untuk detail kinerja akses VPC, termasuk perbedaan antara akses dalam zona dan lintas zona, lihat spesifikasi produk.

FAQ

Pemasangan gagal: "mount command not found"

Klien EFC tidak terinstal dengan benar. Ikuti petunjuk pada Langkah 2 untuk menginstal ulang klien EFC.

Pemasangan gagal: "connection timed out"

Periksa konfigurasi berikut:

Pastikan instans ECS atau EGS berada dalam VPC yang sama dengan titik pemasangan.
Pastikan aturan security group mengizinkan instans ECS atau EGS mengakses titik pemasangan.
Pastikan status titik pemasangan VPC adalah Available.