Pasang sistem file CPFS pada Alibaba Cloud Linux - Cloud Parallel File Storage

Topik ini menjelaskan cara menginstal klien CPFS-POSIX pada sistem operasi Alibaba Cloud Linux 2 dan memasang sistem file Cloud Parallel File Storage (CPFS).

Informasi latar belakang

Instance Elastic Compute Service (ECS) target dalam topik ini adalah node komputasi tempat sistem file CPFS dipasang.
Sistem file CPFS kompatibel dengan API berbasis POSIX. Anda dapat menginstal klien CPFS-POSIX untuk memasang dan menggunakan sistem file CPFS. Klien CPFS-POSIX merupakan layanan kustom yang dapat diinstal pada sistem operasi Alibaba Cloud Linux 2. Jika ingin mengakses sistem file CPFS menggunakan protokol NFS, lihat Gunakan klien CPFS-NFS untuk memasang sistem file.
Setelah Anda menambahkan titik pemasangan POSIX, CPFS secara otomatis membuat tiga instance ECS node bidang kontrol. Instance-instance tersebut diberi nama <FSID>-<GENID>-qr-001, <FSID>-<GENID>-qr-002, dan <FSID>-<GENID>-qr-003. Instance ECS node bidang kontrol pertama dalam daftar, <FSID>-<GENID>-qr-001, merupakan node instalasi default untuk klien CPFS-POSIX.

Prasyarat

Sistem file telah dibuat. Untuk informasi selengkapnya, lihat Buat sistem file.
Titik pemasangan POSIX telah ditambahkan. Untuk informasi selengkapnya, lihat Tambahkan titik pemasangan POSIX.
Anda telah membuat satu atau beberapa instance ECS yang menjalankan Alibaba Cloud Linux 2. Instance-instance tersebut harus memenuhi persyaratan berikut:
- Versi: Alibaba Cloud Linux 2.1903 LTS 64-bit
- Versi kernel: 4.19.91-27.4.al7.x86_64 atau lebih lama.
  Anda dapat menjalankan perintah uname -r untuk memeriksa versi kernel.

Langkah 1: Konfigurasi grup keamanan instance ECS target

Sebelum memasang sistem file pada instance ECS prasyarat, tambahkan grup keamanan instance ECS node bidang kontrol CPFS-POSIX ke instance ECS target. Hal ini mencegah kegagalan koneksi jarak jauh dan transmisi data antara instance ECS target dan kluster CPFS.

Dapatkan informasi grup keamanan instance ECS node kuorum.
1. Masuk ke Konsol NAS.
2. Pada panel navigasi di sebelah kiri, pilih File System > File System List.
3. Di pojok kiri atas halaman, pilih kelompok sumber daya dan wilayah tempat sistem file tujuan berada.
4. Klik ID sistem file tujuan untuk membuka halaman detail, lalu klik Mount.
5. Pada bagian Client Management Nodes, klik ID instance ECS pertama dalam daftar untuk membuka halaman detailnya.
6. Pada halaman Instance Details, klik tab Security Group dan catat ID/Nama Grup Keamanan node kuorum CPFS-POSIX.
  Nama grup keamanan node kuorum memiliki format <FSID>-<GENID>-qr-sg.
  <FSID> adalah ID sistem file CPFS. <GENID> adalah nomor seri titik pemasangan, yang bertambah setiap kali titik pemasangan CPFS dibuat.
Tambahkan grup keamanan node bidang kontrol CPFS-POSIX ke instance ECS target.
1. Pada panel navigasi di sebelah kiri, pilih Instances & Images > Instances.
2. Pada halaman Instances, klik ID instance ECS tempat Anda ingin memasang sistem file CPFS. Klik tab Security Group, lalu klik Change Security Group.
3. Pada kotak dialog Change Security Group, pilih grup keamanan node kuorum (<FSID>-<GENID>-qr-sg) yang Anda peroleh di Langkah 1 dari daftar drop-down Security Group. Kemudian, klik OK.

Langkah 2: Instal klien CPFS-POSIX

Masuk ke Konsol NAS.
Pada panel navigasi di sebelah kiri, pilih File System > File System List.
Di pojok kiri atas halaman, pilih kelompok sumber daya dan wilayah sistem file target.
Klik sistem file target. Pada halaman detail sistem file, klik Mount.
Pada bagian Client Management node, klik instance ECS node bidang kontrol pertama dalam daftar untuk membuka halaman detailnya.
Klik Remote Connection untuk masuk ke node instalasi klien CPFS-POSIX.
Aktifkan logon tanpa kata sandi antara node bidang kontrol dan instance ECS target.
Catatan
Sebelum mengonfigurasi logon tanpa kata sandi antara node bidang kontrol dan beberapa instance ECS, tetapkan kata sandi logon yang sama untuk instance ECS target. Jika tidak, Anda harus membuat file client.list dan mengulangi Langkah 10 hingga 12 beberapa kali.
1. Buat file client.list dan tambahkan alamat IP internal instance ECS target.
  1. Buat file client.list.
```
touch client.list
```
  2. Jalankan perintah vi client.list untuk membuka file client.list. Lalu, tambahkan alamat IP internal instance ECS target.
```
<Internal IP address of target ECS 1> 
<Internal IP address of target ECS 2>
<Internal IP address of target ECS 3>
```
    Contoh:
```
192.168.1.249
192.168.1.250
192.168.1.251
```
    Catatan
    Anda dapat menambahkan satu atau beberapa instance ECS. Jika menambahkan beberapa instance ECS, masukkan alamat IP internal setiap instance ECS target pada baris baru.
  3. Simpan file dan keluar.
2. Buat file qr.list dan tambahkan alamat IP node bidang kontrol.
  1. Buat file qr.list.
```
touch qr.list
```
  2. Jalankan perintah vi qr.list untuk membuka file qr.list. Lalu, tambahkan alamat IP node bidang kontrol. Contoh keluaran sebagai berikut:
```
10.0.2.41
10.0.2.42
10.0.2.43
```
    Anda dapat menemukan alamat IP node bidang kontrol klien CPFS-POSIX pada bagian Client Management node.
  3. Simpan file dan keluar.
3. Konfigurasi skrip auto_ssh.sh.
  1. Buat file auto_ssh.sh.
```
touch auto_ssh.sh
```
  2. Jalankan perintah vi auto_ssh.sh untuk membuka file auto_ssh.sh. Lalu, tambahkan konten berikut.
```
#!/usr/bin/expect
set timeout 10
set username [lindex $argv 0]
set password [lindex $argv 1]
set hostname [lindex $argv 2]
spawn ssh-copy-id -i /root/.ssh/id_rsa.pub $username@$hostname
expect {
    #first connect, no public key in ~/.ssh/known_hosts
    "Are you sure you want to continue connecting (yes/no)?" {
        send "yes\r"
        expect "password:"
        send "$password\r"
    }
    #already has public key in ~/.ssh/known_hosts
    "password:" {
        send "$password\r"
    }
    "Now try logging into the machine" {
        #it has authorized, do nothing!
    }
    "already exist on the remote" {
        #it has authorized, do nothing!
    }
}
expect eof
```
  3. Simpan file dan keluar.
Jalankan perintah berikut untuk memberikan izin eksekusi pada file auto_ssh.sh.
```
chmod +x auto_ssh.sh
```
Jalankan perintah berikut untuk mencatat kata sandi instance ECS target dalam file client.list.
```
PASSWD='yourpassword'
```
Catatan
Jika instance ECS target menggunakan kata sandi berbeda, Anda harus membuat file client.list terpisah untuk setiap instance dan mengulangi Langkah 8 hingga 10.
Jalankan perintah berikut untuk mengonfigurasi logon tanpa kata sandi untuk node bidang kontrol.
```
cat client.list | xargs -I {} ./auto_ssh.sh root $PASSWD {}
```

Jalankan perintah berikut untuk menginstal klien CPFS secara jarak jauh pada instance ECS yang ditentukan dalam file client.list. Instalasi berhasil jika pesan Complete! dikembalikan.

region_id=`curl http://100.100.100.200/latest/meta-data/region-id`;
wget https://cpfs-${region_id}-pre.oss-${region_id}-internal.aliyuncs.com/cpfs/CPFS2.3.4-CentOS.tar.gz -O /root/CPFS2.3.4-CentOS.tar.gz;
cat client.list | xargs -I {} scp /root/CPFS2.3.4-CentOS.tar.gz {}:/root/
pssh -ih client.list "tar xzvf /root/CPFS2.3.4-CentOS.tar.gz"
pssh -ih client.list "cd /root/CPFS2.3.4-CentOS/CentOS7;yum install -y gpfs.adv-*.x86_64.rpm gpfs.base-*.x86_64.rpm gpfs.docs-*.noarch.rpm gpfs.gpl-*.noarch.rpm gpfs.gskit-*.x86_64.rpm gpfs.gss.pmsensors-*.x86_64.rpm gpfs.license.dm-*.x86_64.rpm gpfs.msg.en_US-*.noarch.rpm"

Jalankan perintah berikut untuk mengompilasi ekstensi kernel secara jarak jauh untuk instance ECS yang ditentukan dalam file client.list.
```
pssh -ih client.list "/usr/bin/yum -y install cpp gcc-c++ elfutils-libelf-devel" 
pssh -ih client.list "export LINUX_DISTRIBUTION=KERNEL_ORG_LINUX; /usr/lpp/mmfs/bin/mmbuildgpl"
```
Setelah konfigurasi selesai, Anda dapat membuat gambar kustom lingkungan tersebut. Untuk menambahkan instance ECS baru guna mengakses sistem file CPFS, Anda dapat menggunakan gambar tersebut untuk membuat instance, sehingga tidak perlu mengonfigurasi ulang lingkungan. Untuk informasi selengkapnya tentang cara membuat gambar kustom, lihat Buat gambar kustom.

Langkah 3: Pasang sistem file

Pada panel navigasi di sebelah kiri, klik Instances.
Pada halaman Instances, temukan instance ECS node instalasi klien CPFS-POSIX (qr-001). Di kolom Tindakan, klik Remote Connection untuk masuk ke node tersebut.
Anda dapat menemukan kata sandi logon instance ECS node instalasi klien CPFS-POSIX pada bagian Client management node.

Jalankan perintah berikut untuk memperbarui file hosts pada node bidang kontrol dan instance ECS target.

pssh -ih client.list "hostname;ifconfig eth0 | grep -v inet6 | grep inet | awk '{print \$2}'" | grep -v SUCC | sed 'N;s/\n/ /' > /tmp/ip-host-client.list
pssh -ih qr.list "hostname;ifconfig eth0 | grep -v inet6 | grep inet | awk '{print \$2}'" | grep -v SUCC | sed 'N;s/\n/ /' > /tmp/ip-host-qr.list
cat /tmp/ip-host-client.list | awk '{print $2,$1,$1"t_MAGICTAG"}' > /etc/client-hosts.append
cat /tmp/ip-host-qr.list | awk '{print $2,$1,$1"t_MAGICTAG"}' > /etc/qr-hosts.append
pssh -ih client.list "cp /etc/hosts hosts.bak"
pssh -ih qr.list "cp /etc/hosts hosts.bak"
cat client.list | xargs -I {} scp /etc/client-hosts.append {}:/etc/
cat client.list | xargs -I {} scp /etc/qr-hosts.append {}:/etc/
cat qr.list | xargs -I {} scp /etc/client-hosts.append {}:/etc/
pssh -ih client.list "cat /etc/client-hosts.append >> /etc/hosts"
pssh -ih client.list "cat /etc/qr-hosts.append >> /etc/hosts"
pssh -ih qr.list "cat /etc/client-hosts.append >> /etc/hosts"

Jalankan perintah berikut untuk menambahkan instance ECS target ke kluster CPFS.

Jalankan perintah.

mmaddnode -N client.list
mmchlicense client --accept -N client.list
mmchnode --perfmon -N client.list
mmstartup -N client.list
mmgetstate -a

Lihat contoh tanggapan.

Jika status node instance ECS target berubah menjadi active, node tersebut berhasil ditambahkan ke kluster CPFS.

 Node number  Node name                            GPFS state  
---------------------------------------------------------------
           1  cpfs-2989198****323d3-000001-qr-001  active
           2  cpfs-2989198****323d3-000001-qr-002  active
           3  cpfs-2989198****323d3-000001-qr-003  active
           4  iZ0jl91t3p5kehvr6i5****              active

Jalankan perintah berikut untuk memastikan bahwa daftar node berisi instance ECS target.

Jalankan perintah.
```
mmlscluster
```