Alibaba Cloud Linux：Gunakan SMC

Persiapan

1. Buat instance Elastic Compute Service (ECS) yang mendukung Network Interface eRDMA (ERI).

   SMC-R bergantung pada Akses Memori Langsung Jarak Jauh (RDMA). Untuk menggunakan SMC-R di Alibaba Cloud, Anda harus membuat instance ECS yang mendukung fitur ERI untuk mendapatkan kemampuan elastic RDMA (eRDMA) di cloud. Untuk informasi lebih lanjut, lihat Aktifkan eRDMA pada Instance Tingkat Perusahaan.

   Penting

   • Perangkat eRDMA Alibaba Cloud dan SMC tidak mendukung alamat IPv6. Jika aplikasi menggunakan IPv6, SMC akan kembali ke TCP. Untuk informasi lebih lanjut, lihat SMC Kembali ke TCP Saat Alamat IPv6 Digunakan.

   • Mulai dari versi kernel ANCK 5.10.134-17.3, SMC mendukung alamat IPv4-mapped IPv6.

2. Jalankan perintah berikut untuk memuat modul kernel smc dan smc_diag:

   sudo modprobe smc
   sudo modprobe smc_diag

   Jalankan perintah dmesg untuk melihat pesan terkait kernel. Jika modul kernel dimuat, informasi berikut ditampilkan:

   smc: smc: load SMC module with reserve_mode
   NET: Registered protocol family 43
   smc: netns <netns ID> reserved ports [65500 ~ 65515] for eRDMA OOB
   smc: adding ib device erdma_0 with port count 1
   smc:    ib device erdma_0 port 1 has pnetid

   (Opsional) Jika Anda tidak lagi menggunakan SMC, jalankan perintah berikut untuk menghapus modul SMC:

   sudo rmmod smc_diag
   sudo rmmod smc

3. Jalankan perintah berikut untuk menginstal alat O&M smc-tools dan aliyun-smc-extensions:

   sudo yum install -y smc-tools
   sudo yum install -y aliyun-smc-extensions

Jalankan aplikasi socket TCP pada tumpukan SMC

Alibaba Cloud Linux 3 SMC-R memungkinkan Anda mengonversi aplikasi dari socket TCP ke socket SMC pada level namespace jaringan dan level proses.

smc_run ./<foo>

Memuat alat smc-ebpf

Jalankan perintah berikut untuk memuat alat smc-ebpf:

sudo smc-ebpf policy load

• Keluaran perintah berikut menunjukkan bahwa alat smc-ebpf telah dimuat:

  # sudo smc-ebpf policy load
  Registered smc_sock_negotiator_ops anolis_smc id xxx

• Keluaran perintah yang berbeda menunjukkan bahwa alat tersebut tidak dapat digunakan dalam lingkungan saat ini. Lakukan operasi berikut untuk mendiagnosis masalah:

  • Konfirmasikan bahwa versi kernel sistem operasi adalah ANCK 5.10.134-016 atau lebih baru. Anda dapat melihat versi kernel dengan menggunakan perintah uname -r.

  • Konfirmasikan bahwa Anda memiliki izin untuk memuat program BPF. Alasan umum mungkin karena pod kontainer yang Anda gunakan tidak memiliki kemampuan untuk memuat program BPF, atau tingkat hak istimewa Anda tidak cukup. Anda dapat berkonsultasi dengan penyedia lingkungan Anda untuk informasi lebih lanjut.

Perilaku default kebijakan port

Setelah alat smc-ebpf dimuat, jika tidak ada kebijakan port yang cocok dengan port target, port target dilarang menggunakan negosiasi SMC.

Contoh:

• Jika alat smc-ebpf dimuat tanpa kebijakan port yang dikonfigurasi, semua port dilarang menggunakan negosiasi SMC.

• Jika alat smc-ebpf dimuat dengan hanya satu kebijakan yang mengizinkan port 80 menggunakan negosiasi SMC, port lain yang digunakan, seperti port 8080, dilarang menggunakan negosiasi SMC karena tidak ada kebijakan yang cocok dengan port 8080.

Secara spesifik, Anda dapat menjalankan perintah berikut untuk mengatur --mode ke enable untuk port 0 untuk mengubah perilaku default menjadi mengizinkan penggunaan negosiasi SMC saat tidak ada kebijakan port yang cocok dengan port:

sudo smc-ebpf policy config --port 0 --mode enable

Demikian pula, Anda dapat menjalankan perintah berikut untuk mengatur --mode ke disable untuk port 0 untuk mengubah perilaku default kembali menjadi melarang penggunaan negosiasi SMC saat tidak ada kebijakan port yang cocok dengan port:

sudo smc-ebpf policy config --port 0 --mode disable

Konfigurasikan kebijakan port

Anda dapat menambahkan kebijakan untuk port tertentu berdasarkan perilaku default.

Contoh:

• Contoh 1: Izinkan hanya port 80 untuk menggunakan negosiasi SMC, dan larang semua port lainnya menggunakan negosiasi SMC.

  Jalankan perintah berikut untuk menambahkan kebijakan yang mengizinkan port 80 menggunakan negosiasi SMC:

  sudo smc-ebpf policy config --port 80 --mode enable

  Jalankan perintah berikut untuk memeriksa apakah kebijakan port telah ditambahkan:

  sudo smc-ebpf policy dump

  Keluaran perintah contoh:

  • "key": 80 menunjukkan bahwa kebijakan menargetkan port 80.

  • "mode": menunjukkan apakah penggunaan negosiasi SMC diizinkan. Nilai 2 menunjukkan bahwa penggunaan negosiasi SMC diizinkan, dan nilai 0 menunjukkan bahwa penggunaan negosiasi SMC dilarang.

  # sudo smc-ebpf policy dump
  [{
          "key": 80,
          "value": {
              "mode": 2,
              [Bidang lain yang tidak perlu diperhatikan oleh pengguna biasa]
          }
      }
  ]

  Jika Anda tidak lagi memerlukan kebijakan tersebut, jalankan perintah berikut untuk menghapus kebijakan untuk port 80:

  sudo smc-ebpf policy delete --port 80

  Jalankan perintah dump lagi. Keluaran perintah berikut menunjukkan bahwa kebijakan telah dihapus:

  # sudo smc-ebpf policy dump
  []

• Contoh 2: Larang port 80 menggunakan negosiasi SMC, dan izinkan semua port lainnya menggunakan negosiasi SMC.

  Jalankan perintah berikut untuk mengubah perilaku default menjadi mengizinkan penggunaan negosiasi SMC saat tidak ada kebijakan port yang cocok dengan port target dan menambahkan kebijakan yang melarang port 80 menggunakan negosiasi SMC:

  sudo smc-ebpf policy config --port 0 --mode enable
  sudo smc-ebpf policy config --port 80 --mode disable

  Setelah perintah-perintah di atas dijalankan, hanya port 80 yang dilarang menggunakan negosiasi SMC, dan semua port lainnya diizinkan menggunakan negosiasi SMC saat tidak ada kebijakan port yang cocok dengan port-port tersebut.

Perilaku default kebijakan alamat IPv4

Berbeda dengan kebijakan port, kebijakan alamat IPv4 hanya berlaku untuk socket klien dan digunakan untuk mengontrol apakah klien menggunakan negosiasi SMC saat terhubung ke server berdasarkan alamat IPv4 server.

Setelah alat smc-ebpf dimuat, jika tidak ada kebijakan alamat IPv4 yang cocok dengan alamat IP server target, klien diizinkan menggunakan negosiasi SMC untuk alamat IP server target.

Contoh:

• Jika alat smc-ebpf dimuat tanpa kebijakan alamat IPv4 yang dikonfigurasi, socket klien diizinkan menggunakan negosiasi SMC saat terhubung ke semua alamat IP server.

• Setelah alat smc-ebpf dimuat, alat tersebut mengonfigurasi hanya satu kebijakan yang melarang penggunaan negosiasi SMC untuk akses ke 192.168.1.0/24. Dalam hal ini, tidak ada kebijakan yang cocok dengan 192.168.3.11, dan negosiasi SMC diizinkan saat 192.168.3.11 diakses.

Secara spesifik, Anda dapat menjalankan perintah berikut untuk mengatur --mode ke disable untuk 0.0.0.0/32 guna mengubah perilaku default menjadi melarang penggunaan negosiasi SMC saat tidak ada kebijakan alamat IPv4 yang cocok dengan alamat IP server:

sudo smc-ebpf policy config --ip 0.0.0.0 --mask 32 --mode disable

Demikian pula, Anda dapat menjalankan perintah berikut untuk mengatur --mode ke enable untuk 0.0.0.0/32 guna mengembalikan perilaku default menjadi mengizinkan penggunaan negosiasi SMC saat tidak ada kebijakan alamat IPv4 yang cocok dengan alamat IP server:

sudo smc-ebpf policy config --ip 0.0.0.0 --mask 32 --mode enable

Konfigurasikan kebijakan alamat IPv4

Anda dapat mengonfigurasi kebijakan alamat IPv4 berdasarkan perilaku default untuk mengontrol apakah klien menggunakan negosiasi SMC saat terhubung ke alamat IP server tertentu.

Contoh:

• Contoh 1: Izinkan klien menggunakan negosiasi SMC hanya saat terhubung ke 192.168.2.0/24, dan larang klien menggunakan negosiasi SMC saat mengakses alamat IP server lainnya.

  Jalankan perintah berikut untuk mengatur --mode ke disable untuk 0.0.0.0/32 guna mengubah perilaku default menjadi melarang penggunaan negosiasi SMC saat tidak ada kebijakan alamat IPv4 yang cocok dengan alamat IP server, serta menambahkan kebijakan yang mengizinkan penggunaan negosiasi SMC untuk alamat IP server dalam 192.168.2.0/24:

  sudo smc-ebpf policy config --ip 0.0.0.0 --mask 32 --mode disable
  sudo smc-ebpf policy config --ip 192.168.2.0 --mask 24 --mode enable

  Jalankan perintah berikut untuk melihat pengaturan kebijakan IPv4:

  sudo smc-ebpf policy dump

  Keluaran perintah contoh:

  • key: menunjukkan alamat IPv4 yang ditargetkan oleh kebijakan.

  • value: menunjukkan apakah penggunaan negosiasi SMC diizinkan. Nilai pass menunjukkan bahwa penggunaan negosiasi SMC diizinkan, dan nilai denied menunjukkan bahwa penggunaan negosiasi SMC dilarang.

  # sudo smc-ebpf policy dump
  key:     0.0.0.0/32           value:   "denied"
  key:     192.168.2.0/24       value:   "pass"

  Jika Anda tidak lagi memerlukan kebijakan alamat IPv4 di atas, jalankan perintah berikut untuk menghapus kebijakan untuk 0.0.0.0/32 dan 192.168.2.0/24:

  sudo smc-ebpf policy delete --ip 192.168.2.0 --mask 24
  sudo smc-ebpf policy delete --ip 0.0.0.0 --mask 32

• Contoh 2: Larang klien menggunakan negosiasi SMC hanya saat terhubung ke 192.168.2.0/24, dan izinkan klien menggunakan negosiasi SMC saat mengakses alamat IP server lainnya.

  Jalankan perintah berikut untuk menambahkan kebijakan yang melarang penggunaan negosiasi SMC untuk alamat IP server dalam 192.168.2.0/24:

  sudo smc-ebpf policy config --ip 192.168.2.0 --mask 24 --mode disable

  Tidak diperlukan operasi tambahan karena setelah alat smc-ebpf dimuat, jika tidak ada kebijakan alamat IPv4 yang cocok dengan alamat IP server target, klien diizinkan menggunakan negosiasi SMC untuk alamat IP server target. Penggunaan negosiasi SMC diizinkan untuk alamat IP server selain 192.168.2.0/24.

Kebijakan yang jelas

Jalankan perintah berikut untuk menghapus semua kebijakan yang telah dikonfigurasi:

sudo smc-ebpf policy clear

Setelah menjalankan perintah di atas, semua kebijakan yang telah dikonfigurasi akan dihapus, dan perilaku default dipulihkan menjadi melarang negosiasi SMC. Dalam hal ini, penggunaan negosiasi SMC dilarang untuk semua port dan diizinkan untuk semua alamat IPv4. Kebijakan port dan kebijakan alamat IPv4 dievaluasi menggunakan logika AND. Akibatnya, semua koneksi dilarang menggunakan negosiasi SMC.

Konfigurasikan parameter berikut menggunakan sysfs

Studi kasus: Gunakan EID untuk mencegah komunikasi SMC-R lintas zona

Untuk lebih memanfaatkan SMC-R untuk akselerasi kinerja, kami merekomendasikan agar Anda menggunakan SMC-R dalam zona yang sama dan komunikasi TCP lintas zona. Dengan menambahkan ID zona sebagai EID, Anda dapat mengimplementasikan SMC-R dalam zona yang sama dan fallback otomatis ke TCP lintas zona.

• Metode 1: Konfigurasikan EID Langkah demi Langkah

  1. Jalankan perintah berikut untuk mendapatkan ID zona dari metadata instance Alibaba Cloud ECS Instance Metadata:

     ZONE_ID=$(curl -s -m 1 100.100.100.200/latest/meta-data/zone-id | tr "[:lower:]" "[:upper:]")

  2. Jalankan perintah berikut untuk menambahkan ID zona sebagai EID:

     sudo smcr ueid add $ZONE_ID

  3. Jalankan perintah berikut untuk menghapus nilai SMCV2-DEFAULT-UEID:

     smcr ueid | grep SMCV2-DEFAULT-UEID > /dev/null && sudo smcr ueid del SMCV2-DEFAULT-UEID

• Metode 2: Gunakan Layanan aliyunsmc-ueid dari Alat aliyun-smc-extensions untuk Mengonfigurasi EID dengan Satu Klik

  1. Jalankan perintah berikut untuk memulai layanan aliyunsmc-ueid. Layanan ini secara otomatis menambahkan ID zona sebagai EID dan menghapus EID default.

     sudo systemctl start aliyunsmc-ueid

  2. (Opsional) Jalankan perintah berikut untuk mengonfigurasi layanan aliyunsmc-ueid agar mulai secara otomatis saat boot. Ini karena konfigurasi EID tidak persisten dan akan dikembalikan ke keadaan default saat sistem operasi di-restart.

     sudo systemctl enable aliyunsmc-ueid

Studi kasus: Gunakan PNET ID untuk mengasosiasikan antarmuka Ethernet pod dengan ERI host

Dalam skenario kontainer yang dibangun sendiri di mana beberapa pod berbagi satu atau lebih ERI pada host, Anda dapat menetapkan PNET ID yang sama untuk antarmuka Ethernet virtual (vEth) pod dan ERI host. Dengan cara ini, setelah SMC-R diaktifkan dalam kontainer, tumpukan protokol kernel dapat dengan benar mendeteksi ERI host dan menggunakan jaringan RDMA untuk mempercepat lalu lintas jaringan pada vEth dalam kontainer.

Lakukan langkah-langkah berikut:

1. Konfigurasikan PNET ID untuk vEth, seperti eth0, dalam namespace jaringan kontainer.

   sudo ip netns exec <pod netns> smc_pnet -a <PNET ID> -I eth0

2. Konfigurasikan PNET ID untuk ERI, seperti erdma_0, dalam namespace jaringan host.

   sudo smc_pnet -a <PNET ID> -D erdma_0