Alibaba Cloud Linux:Using Shared Memory Communication (SMC)

Ön Koşullar

1. Elastic RoCE Altyapısı (ERI) özelliğini destekleyen bir Elastic Compute Service (ECS) Örneği oluşturun.

   Alibaba Cloud'da SMC-R'yi kullanmak için Elastic Remote Direct Memory Access (eRDMA) yeteneğine sahip bir Elastic Compute Service (ECS) Örneğine ihtiyacınız vardır. Daha fazla bilgi için bkz. Kurumsal düzeydeki bir örnekte eRDMA'yı etkinleştirme.

   Önemli

   • Alibaba Cloud eRDMA aygıtları ve SMC şu anda IPv6 adreslerini desteklememektedir. Uygulamanız bir IPv6 adresi kullanıyorsa SMC, TCP'ye geri döner. Daha fazla bilgi için bkz. IPv6 adreslerinde SMC'nin TCP'ye geri dönmesi.

   • ANCK 5.10.134-17.3 sürümünden itibaren SMC, IPv4-mapped IPv6 adreslerini destekler.

2. smc ve smc_diag Çekirdek Modüllerini yükleyin.

   sudo modprobe smc
   sudo modprobe smc_diag

   Çekirdek günlük iletilerini görüntülemek için dmesg komutunu çalıştırın. Aşağıdakine benzer bir çıktı görüyorsanız modüller başarıyla yüklenmiştir.

   smc: smc: load SMC module with reserve_mode
   NET: Registered protocol family 43
   smc: netns <netns ID> reserved ports [65500 ~ 65515] for eRDMA OOB
   smc: adding ib device erdma_0 with port count 1
   smc:    ib device erdma_0 port 1 has pnetid

   (Söz konusu değil) Artık SMC modüllerine ihtiyacınız yoksa bunları kaldırmak için aşağıdaki komutları çalıştırın:

   sudo rmmod smc_diag
   sudo rmmod smc

3. smc-tools ve aliyun-smc-extensions yardımcı programlarını yüklemek için aşağıdaki komutları çalıştırın.

   sudo yum install -y smc-tools
   sudo yum install -y aliyun-smc-extensions

TCP uygulamalarını SMC yığını üzerinde çalıştırma

Alibaba Cloud Linux 3 SMC-R, iki düzeyde şeffaf soket protokolü dönüşümünü destekler.

Net ad alanı düzeyinde soket dönüşümü

Alibaba Cloud Linux 3, net namespace düzeyinde soketleri şeffaf bir şekilde dönüştürmek için bir özellik sağlar. Aşağıdaki koşulları karşılamaları durumunda bir net namespace içindeki tüm TCP soketlerini SMC soketlerine dönüştürmek için sysctl net.smc.tcp2smc anahtarını kullanabilirsiniz:

• family değeri AF_INET'tir.

• type değeri SOCK_STREAM'dir.

• protocol değeri IPPROTO_IP(0) veya IPPROTO_TCP(6)'dır.

Aşağıdaki şekil dönüşüm sürecini göstermektedir.

net namespace düzeyinde şeffaf dönüşümü etkinleştirmek için şu adımları izleyin.

1. net namespace için genel net.smc.tcp2smc anahtarını etkinleştirmek üzere aşağıdaki komutu çalıştırın.

   Yeni oluşturulan TCP soketleri SMC soketlerine dönüştürülür. Mevcut TCP soketleri etkilenmez.

   sudo sysctl net.smc.tcp2smc=1

   Varsayılan olarak sysctl net.smc.tcp2smc değeri 0 olarak ayarlanır; bu, özelliğin devre dışı olduğu anlamına gelir.

2. Geçerli net namespace içinde herhangi bir TCP soket uygulaması çalıştırın.

   Örnekteki <foo> ifadesini kendi uygulama adınızla değiştirin.

   ./<foo>

   foo uygulaması tarafından oluşturulan TCP soketleri şeffaf bir şekilde SMC soketleriyle değiştirilir ve SMC-R Protokol Yığını uygulamanın ağ davranışını yönetir. Genel Bakış bölümünde açıklandığı gibi eş taraf da SMC-R protokolünü destekliyor ve anlaşma başarılı olursa her iki uç da verileri RDMA ağı üzerinden aktarır. Aksi takdirde iletişim güvenli bir şekilde TCP ağına geri döner.

3. (Söz konusu değil) net namespace için genel değiştirme anahtarını devre dışı bırakmak üzere aşağıdaki komutu çalıştırın. Yeni oluşturulan TCP soketleri artık dönüştürülmez. Mevcut SMC soketleri etkilenmez.

   sudo sysctl net.smc.tcp2smc=0

İşlem düzeyinde soket dönüşümü

Alibaba Cloud Linux 3 ayrıca smc-tools yardımcı programı kullanılarak etkinleştirilen işlem düzeyinde şeffaf protokol dönüşümü de sağlar.

Bir uygulamayı smc_run betiğiyle çalıştırdığınızda LD_PRELOAD ortam değişkenini kullanarak libsmc-preload.so dinamik kitaplığının öncelikli olarak yüklenmesini sağlar. libsmc-preload.so kitaplığı aşağıdaki koşulları karşılayan TCP soketlerini uygulama ve alt işlemlerinde SMC soketlerine dönüştürür:

• family değeri AF_INET'tir.

• type değeri SOCK_STREAM'dir.

• protocol değeri IPPROTO_IP(0) veya IPPROTO_TCP(6)'dır.

Not

smc_run, glibc içindeki socket() sistem çağrısını engellemek için LD_PRELOAD kullanır. Bu nedenle statik olarak bağlanan veya glibc kullanmayan uygulamalarda çalışmaz.

Aşağıdaki şekil değiştirme sürecini göstermektedir.

İşlem düzeyinde şeffaf dönüşümü etkinleştirmek için şu adımları izleyin.

foo uygulamanız için komutunuzdan önce smc_run ön ekini ekleyerek aşağıdaki komutu çalıştırın.

Örnekteki <foo> ifadesini işlem adınızla değiştirin.

smc_run ./<foo>

foo uygulaması tarafından oluşturulan TCP soketleri şeffaf bir şekilde SMC soketleriyle değiştirilir ve SMC-R Protokol Yığını uygulamanın ağ davranışını yönetir. Genel Bakış bölümünde açıklandığı gibi eş taraf da SMC-R protokolünü destekliyor ve anlaşma başarılı olursa her iki uç da verileri RDMA ağı üzerinden aktarır. Aksi takdirde iletişim güvenli bir şekilde TCP ağına geri döner.

smc-ebpf policy help

smc-ebpf policy help
 Usage: smc-ebpf policy COMMAND [OPTIONS]
        smc-ebpf policy load [OPTIONS]    load policy
    --init                                load policy with pre-defination config
        smc-ebpf policy stop              stop policy
        smc-ebpf policy unload            unload policy
        smc-ebpf policy init              init policy with default config
        smc-ebpf policy clear             clear all policy config
        smc-ebpf policy dump              display all policy config
        smc-ebpf policy config [OPTIONS]  config policy
        smc-ebpf policy delete [OPTIONS]  delete policy
    --ip [IPv4]                           target IPv4 address
    --port                                target port
    --mode [auto|disable|enable]          target mode
 Examples:
    smc-ebpf policy load
    #disable port 80 to use smc
    smc-ebpf policy config --port 80 --mode disable
    #delete ip xxx.xxx.x.x/24 policy
    smc-ebpf policy delete --ip xxx.xxx.x.x --mask 24

smc-ebpf yükleme

smc-ebpf yüklemek için aşağıdaki komutu çalıştırın.

sudo smc-ebpf policy load

• Aşağıdaki çıktı komutun başarılı olduğunu gösterir:

  # sudo smc-ebpf policy load
  Registered smc_sock_negotiator_ops anolis_smc id xxx

• Aksi takdirde bu özelliği geçerli ortamda kullanamazsınız. Olası nedenler şunlardır:

  • İşletim sistemi Çekirdek Sürümünün ANCK 5.10.134-016 veya üzeri olduğunu doğrulayın. Çekirdek Sürümünü denetlemek için uname -r komutunu çalıştırabilirsiniz.

  • BPF programlarını yüklemek için izniniz olduğunu doğrulayın. Yaygın bir sorun kullandığınız pod konteynerinin BPF programlarını yükleme yeteneğine sahip olmaması veya kullanıcı ayrıcalık düzeyinizin yetersiz olmasıdır. Daha fazla bilgi için ortam sağlayıcınıza danışabilirsiniz.

Bağlantı noktası ilkelerinin varsayılan davranışı

Varsayılan olarak smc-ebpf yüklendikten sonra bir ilkeyle eşleşmeyen herhangi bir bağlantı noktası için SMC anlaşmasını reddeder.

Örneğin:

• Herhangi bir bağlantı noktası ilkesi yapılandırılmadan smc-ebpf yüklenirse tüm bağlantı noktaları için SMC anlaşması reddedilir.

• smc-ebpf yüklenir ve yalnızca 80 numaralı bağlantı noktasında SMC anlaşmasına izin veren tek bir ilke yapılandırılırsa 8080 numaralı bağlantı noktasıyla hiçbir ilke eşleşmediği için bu bağlantı noktasını kullanan herhangi bir bağlantı için SMC anlaşması reddedilir.

Aşağıdaki komutu çalıştırarak bağlantı noktası 0 değerini enable olarak ayarlayıp bu varsayılan davranışı değiştirebilirsiniz. Bu ayarla birlikte hedef bağlantı noktasıyla hiçbir bağlantı noktası ilkesi eşleşmezse söz konusu bağlantı noktası için SMC anlaşmasına izin verilir.

sudo smc-ebpf policy config --port 0 --mode enable

Benzer şekilde bağlantı noktası 0 değerini disable olarak ayarlayarak orijinal varsayılan davranışa geri dönebilirsiniz. Bu durumda eşleşen bir ilkesi olmayan herhangi bir bağlantı noktası için SMC anlaşması yeniden reddedilir.

sudo smc-ebpf policy config --port 0 --mode disable

Bağlantı noktası tabanlı ilkeler

Varsayılan davranışa ek olarak belirli bağlantı noktaları için ilkeler ekleyebilirsiniz.

Örneğin:

• Örnek 1: SMC anlaşmasına yalnızca 80 numaralı bağlantı noktasında izin verin ve diğer tüm bağlantı noktalarında reddedin.

  80 numaralı bağlantı noktasında SMC anlaşmasına izin veren bir ilke eklemek için aşağıdaki komutu çalıştırın.

  sudo smc-ebpf policy config --port 80 --mode enable

  Bağlantı noktası ilkesi yapılandırmasını görüntülemek için aşağıdaki komutu çalıştırın.

  sudo smc-ebpf policy dump

  Örnek çıktı:

  • "key": 80 ifadesi ilkenin 80 numaralı bağlantı noktasına uygulandığını gösterir.

  • "mode" SMC anlaşmasına izin verilip verilmediğini gösterir. 2 izin verildiğini 0 ise reddedildiğini ifade eder.

  # sudo smc-ebpf policy dump
  [{
          "key": 80,
          "value": {
              "mode": 2,
              [Other fields can be ignored by general users]
          }
      }
  ]

  Bu ilkeye artık ihtiyaç duyulmuyorsa 80 numaralı bağlantı noktası için ilkeyi silmek üzere aşağıdaki komutu çalıştırın.

  sudo smc-ebpf policy delete --port 80

  dump komutunu tekrar çalıştırın. Aşağıdaki çıktı yapılandırmanın başarıyla silindiğini gösterir.

  # sudo smc-ebpf policy dump
  []

• Örnek 2: SMC anlaşmasına yalnızca 80 numaralı bağlantı noktasında izin vermeyin ve diğer tüm bağlantı noktalarında buna izin verin.

  Varsayılan davranışı eşleşmeyen bağlantı noktaları için SMC anlaşmasına izin verecek şekilde değiştirmek ve ardından 80 numaralı bağlantı noktası için SMC anlaşmasını özellikle reddeden bir ilke eklemek için aşağıdaki komutları çalıştırın.

  sudo smc-ebpf policy config --port 0 --mode enable
  sudo smc-ebpf policy config --port 80 --mode disable

  Bundan sonra SMC anlaşması yalnızca 80 numaralı bağlantı noktası için reddedilir. Belirli bir ilkeyle eşleşmeyen diğer tüm bağlantı noktalarının SMC anlaşması kullanmasına izin verilir.

IPv4 adresi ilkelerinin varsayılan davranışı

Bağlantı noktası ilkelerinden farklı olarak IPv4 adresi ilkeleri yalnızca istemci soketleri için geçerlidir. Bir bağlantı kurulurken sunucunun IPv4 adresine göre bir istemcinin SMC anlaşması kullanıp kullanmayacağını denetlerler.

Varsayılan olarak smc-ebpf yüklendikten sonra bir IPv4 adresi ilkesiyle eşleşmeyen herhangi bir sunucu IP'si için SMC anlaşmasına izin verir.

Örneğin:

• Herhangi bir IPv4 adresi ilkesi yapılandırılmadan smc-ebpf yüklenirse istemci soketlerinin herhangi bir sunucu IP'sine bağlanırken SMC anlaşması kullanmasına izin verilir.

• smc-ebpf yüklenir ve yalnızca 192.168.1.0/24 ağı için SMC anlaşmasını reddeden tek bir ilke yapılandırılırsa 192.168.3.11 ile hiçbir ilke eşleşmediği için 192.168.3.11 adresine yapılan bir bağlantının SMC anlaşması kullanmasına izin verilir.

Aşağıdaki komutu çalıştırarak 0.0.0.0/32 değerini disable olarak ayarlayıp bu varsayılan davranışı değiştirebilirsiniz. Bu ayarla birlikte hedef sunucu IP'siyle hiçbir IPv4 adresi ilkesi eşleşmezse söz konusu sunucu IP'si için SMC anlaşması reddedilir.

sudo smc-ebpf policy config --ip 0.0.0.0 --mask 32 --mode disable

Benzer şekilde aşağıdaki komutu çalıştırarak varsayılan davranışı geri yükleyebilirsiniz. Bu durumda eşleşen bir ilkesi olmayan herhangi bir sunucu IP'si için SMC anlaşmasına yeniden izin verilir.

sudo smc-ebpf policy config --ip 0.0.0.0 --mask 32 --mode enable

IPv4 adresi tabanlı ilkeler

Varsayılan davranışa ek olarak belirli IPv4 adresleri için ilkeler yapılandırarak bir istemci soketinin belirli bir sunucu IP'sine bağlanırken SMC anlaşması kullanıp kullanmayacağını denetleyebilirsiniz.

Örneğin:

• Örnek 1: Bir istemcinin yalnızca 192.168.2.0/24 ağındaki sunuculara bağlanırken SMC anlaşması kullanmasına izin verin. Diğer tüm sunucu adreslerinde bunu reddedin.

  Varsayılan davranışı eşleşmeyen sunucu IP'leri için SMC anlaşmasını reddedecek şekilde değiştirmek ve ardından 192.168.2.0/24 ağı için buna izin veren bir ilke eklemek için aşağıdaki komutları çalıştırın.

  sudo smc-ebpf policy config --ip 0.0.0.0 --mask 32 --mode disable
  sudo smc-ebpf policy config --ip 192.168.2.0 --mask 24 --mode enable

  IPv4 ilkesi yapılandırmasını görüntülemek için aşağıdaki komutu çalıştırın.

  sudo smc-ebpf policy dump

  Örnek çıktı:

  • key: İlkenin hedef IPv4 adresi.

  • value: SMC anlaşmasına izin verilip verilmediğini gösterir. pass izin verildiğini denied ise reddedildiğini ifade eder.

  # sudo smc-ebpf policy dump
  key:     0.0.0.0/32           value:   "denied"
  key:     192.168.2.0/24       value:   "pass"

  Bu ilkelere artık ihtiyaç duyulmuyorsa 0.0.0.0/32 ve 192.168.2.0/24 ilkelerini silmek için aşağıdaki komutları çalıştırın.

  sudo smc-ebpf policy delete --ip 192.168.2.0 --mask 24
  sudo smc-ebpf policy delete --ip 0.0.0.0 --mask 32

• Örnek 2: Bir istemcinin yalnızca 192.168.2.0/24 ağına bağlanırken SMC anlaşması kullanmasını reddedin. Diğer tüm sunucu adreslerinde buna izin verin.

  192.168.2.0/24 sunucu adres aralığı için SMC anlaşmasını devre dışı bırakan bir ilke eklemek için aşağıdaki komutu çalıştırın.

  sudo smc-ebpf policy config --ip 192.168.2.0 --mask 24 --mode disable

  Başka bir işlem gerekmez. Varsayılan olarak smc-ebpf yüklendikten sonra bir ilkeyle eşleşmeyen herhangi bir sunucu IP'si için SMC anlaşmasına izin verilir. Bu nedenle 192.168.2.0/24 aralığındakiler hariç tüm sunucu adresleri için SMC anlaşmasına izin verilir.

İlkeleri temizleme

Yapılandırılan tüm ilkeleri temizlemek için aşağıdaki komutu çalıştırın.

sudo smc-ebpf policy clear

Bu komutu çalıştırmak tüm yapılandırmaları siler. Davranış varsayılan duruma döner: Tüm bağlantı noktaları için SMC anlaşması reddedilir ancak tüm IPv4 adresleri için buna izin verilir. İki ilke türü arasındaki AND mantığı nedeniyle bu durum tüm bağlantıların SMC anlaşması kullanmasını engeller.

Sysfs parametreleri

Kullanım durumu: EID'ler ile AZ'lar arası SMC-R iletişimini önleme

En iyi SMC-R hızlandırması için aynı Kullanılabilirlik Alanı içindeki iletişim için SMC-R kullanmanızı ve Kullanılabilirlik Alanları arası iletişim için TCP kullanmanızı öneririz. Kullanılabilirlik Alanı Kimliğini bir EID olarak ekleyerek bu davranışı otomatik olarak sağlayabilirsiniz. Yapılandırmak için aşağıdaki adımları izleyin.

• Yöntem 1: EID'yi adım adım yapılandırın

  1. Alibaba Cloud Elastic Compute Service (ECS) Örnek Meta Verilerinden Kullanılabilirlik Alanı Kimliğini almak için aşağıdaki komutu çalıştırın. Daha fazla bilgi için bkz. Örnek Meta Verileri.

     ZONE_ID=$(curl -s -m 1 100.100.100.200/latest/meta-data/zone-id | tr "[:lower:]" "[:upper:]")

  2. Kullanılabilirlik Alanı Kimliğini bir EID olarak eklemek için aşağıdaki komutu çalıştırın.

     sudo smcr ueid add $ZONE_ID

  3. Varsayılan SMCV2-DEFAULT-UEID değerini silmek için aşağıdaki komutu çalıştırın.

     smcr ueid | grep SMCV2-DEFAULT-UEID > /dev/null && sudo smcr ueid del SMCV2-DEFAULT-UEID

• Yöntem 2: Tek tıklamayla yapılandırma için aliyun-smc-extensions aracındaki aliyunsmc-ueid hizmetini kullanın

  1. aliyunsmc-ueid hizmetini başlatmak için aşağıdaki komutu çalıştırın. Bu hizmet, Kullanılabilirlik Alanı Kimliğini otomatik olarak bir EID olarak ekler ve varsayılan EID'yi kaldırır.

     sudo systemctl start aliyunsmc-ueid

  2. (İsteğe bağlı) aliyunsmc-ueid hizmetinin önyüklemede başlamasını etkinleştirmek için aşağıdaki komutu çalıştırın. EID yapılandırması kalıcı olmadığından ve işletim sistemi yeniden başlatıldığında sıfırlandığından bu işlem gereklidir.

     sudo systemctl enable aliyunsmc-ueid

Kullanım durumu: pod veth'i ana bilgisayar eRDMA ile ilişkilendirme

Tek bir Ana Bilgisayardaki birden çok pod'un bir ERI'yi paylaştığı senaryolarda, bir pod'un veth arabirimi trafiğini RDMA kullanarak hızlandırabilirsiniz. Bunu yapmak için pod'un veth Ethernet arabirimi ile Ana Bilgisayarın eRDMA arabirimine aynı PNET ID'yi atayın. Bu, konteyner içindeki çekirdek Protokol Yığınının SMC-R etkinleştirildiğinde Ana Bilgisayarın eRDMA arabirimini doğru şekilde bulmasını sağlar.

Yapılandırmak için aşağıdaki adımları izleyin.

1. Konteynerin net namespace alanında, konteynerin Ethernet arabirimi (örneğin, eth0) için bir PNET ID yapılandırın.

   sudo ip netns exec <pod netns> smc_pnet -a <PNET ID> -I eth0

2. Ana Bilgisayarın net namespace alanında, eRDMA arabirimi (örneğin, erdma_0) için aynı PNET ID'yi yapılandırın.

   sudo smc_pnet -a <PNET ID> -D erdma_0