Elastic Compute Service：基於ECS執行個體部署3FS

步驟一：準備環境

準備部署3FS相關節點的ECS執行個體，並且通過配置eRDMA使執行個體間具備彈性RDMA通訊的能力。

購買一台ECS執行個體同時作為meta、用戶端節點，購買五台ECS執行個體作為儲存節點，所有節點之間內網互連。各個節點需要開通公網下載AC2鏡像資源。

建立過程中所有執行個體需注意以下配置項，其他參數，請參見自訂購買執行個體：

• 地區：本樣本中選擇杭州地區。

• 執行個體規格：選擇支援eRDMA的執行個體規格：

  • meta節點：ecs.g8i.48xlarge

  • 儲存節點：ecs.i4.32xlarge

• 執行個體鏡像：選擇支援eRDMA的Ubuntu 22鏡像。

• 彈性RDMA網卡：為執行個體網卡開啟彈性RDMA介面，使用彈性RDMA通訊模式。

  重要

  樣本中的IP地址即開啟了彈性RDMA介面的網卡的主私網IP地址，本樣本中為主網卡。如果您是在輔助網卡上進行RDMA通訊測試，請注意更換IP地址。

  

步驟二：部署meta節點

1. 遠端連線meta節點執行個體。

   具體操作，請參見使用Workbench終端串連登入Linux執行個體（SSH）。

2. 在執行個體上執行以下命令，安裝erdma驅動。

   curl -O http://mirrors.cloud.aliyuncs.com/erdma/env_setup.sh
   sudo /bin/bash env_setup.sh > /var/log/erdma_install.log 2>&1

   執行安裝指令碼後，指令碼會自動協助您安裝eRDMA驅動所需的軟體依賴包以及eRDMA驅動，等待安裝指令碼執行結束即可。

3. 執行以下命令，驗證erdma是否正常配置。

   ibv_devinfo

   返回資訊如下所示，表示eRDMA在執行個體上正常啟用（eRDMA驅動正確安裝、網卡的彈性RDMA介面已正確配置）。eRDMA驅動的安裝可能需要一段時間，請您耐心等待。如果返回異常，請參見驗證eRDMA配置的正確性進行修複。

   

4. 執行以下命令，設定RDMA建鏈方式為相容模式。

   重要

   • 目前支援eRDMA的CPU執行個體規格，預設eRDMA核心驅動安裝模式為Standard，此模式下僅支援RDMA_CM建鏈。

   • eRDMA提供了相容模式（compat mode）用於OOB情境下的應用。相容模式下，會額外佔用30608~30623範圍內的16個TCP連接埠。

   sudo sh -c "echo 'options erdma compat_mode=Y' >> /etc/modprobe.d/erdma.conf"
   sudo rmmod erdma
   sudo modprobe erdma compat_mode=Y

5. 執行以下命令，安裝docker。

   說明

   使用AC2需要首先設定Docker運行環境。Docker的安裝視不同的作業系統步驟略有不同，具體操作，參見安裝Docker。本文中以Ubuntu為例，設定Docker運行環境。

   apt update
   apt install docker.io -y

   安裝完畢後，通過以下命令查看Docker版本號碼，檢查是否安裝成功。

   

6. 執行以下命令，部署並啟動clickhouse，用於持久化叢集運行狀態指標（如節點狀態、資源使用率、IO等）。

   docker run -d --network=host --name clickhouse-server --ulimit nofile=262144:262144 ac2-registry.cn-hangzhou.cr.aliyuncs.com/ac2/clickhouse:25.3.1.2703-ubuntu22.04

   • --net=host：配置容器的通訊模式為host。容器內的應用程式可以直接使用主機的網路介面和網路設定，從而實現與主機相同的網路通訊能力。

   • --ulimit nofile：設定容器內進程的檔案描述符數量限制（即一個進程能同時開啟的最大檔案數），避免因進程過度佔用檔案控制代碼導致系統不穩定。

7. 執行以下命令，部署並啟動foundation db，保證叢集交易記錄配置與資料存放區。

   docker run -d --network=host --name fdb ac2-registry.cn-hangzhou.cr.aliyuncs.com/ac2/fdb:7.3.63-ubuntu22.04

8. 執行以下命令，部署並啟動3fs monitor，負責收集和分析系統運行時的各種指標，如輸送量、延遲、資源使用方式等。

   docker run -d --network=host --name monitor --ulimit memlock=-1 --privileged --device=/dev/infiniband/uverbs0 --device=/dev/infiniband/rdma_cm ac2-registry.cn-hangzhou.cr.aliyuncs.com/ac2/3fs:b71ffc55-fdb7.3.63-fuse3.16.2-ubuntu22.04 ./monitor.sh

   • --ulimit memlock=-1：將maxlockedmemory設定為unlimited表示不限制非root使用者鎖定記憶體的數量。這可以確保eRDMA應用程式在非root使用者下能夠鎖定所需的記憶體量，從而有效地使用eRDMA功能。

   • --device=/dev/infiniband/uverbsX和--device=/dev/infiniband/rdma_cm：將eRDMA對應的使用者態字元裝置暴露到容器中。

     執行以下命令，查看字元裝置名稱（uverbsX中的X）：

     ls /dev/infiniband | grep uverbs

     

9. 執行以下命令，部署並啟動3fs叢集管理服務mgmtd，負責管理叢集中的儲存節點和資源分派。

   docker run -d --network=host --name mgmtd --ulimit memlock=-1 --privileged --device=/dev/infiniband/uverbs0 --device=/dev/infiniband/rdma_cm --env FDB_CLUSTER=`docker exec fdb cat /etc/foundationdb/fdb.cluster` --env REMOTE_IP="172.16.20.172:10000" --env MGMTD_SERVER_ADDRESSES="RDMA://172.16.20.172:8000" ac2-registry.cn-hangzhou.cr.aliyuncs.com/ac2/3fs:b71ffc55-fdb7.3.63-fuse3.16.2-ubuntu22.04 ./mgmtd.sh

   • --env REMOTE_IP：設定monitor的服務地址，IP地址為monitor服務所在的節點的主私網IP地址（本樣本中和meta同節點）。

   • --env MGMTD_SERVER_ADDRESSES：設定mgmtd服務的地址，IP地址改為啟動了mgmtd服務的節點的主私網IP地址（本樣本中和meta、monitor同節點）。

10. 執行以下命令，部署並啟動3fs的中繼資料服務meta。

    docker run -d --network=host --name meta --ulimit memlock=-1 --privileged --device=/dev/infiniband/uverbs0 --device=/dev/infiniband/rdma_cm --env FDB_CLUSTER=`docker exec fdb cat /etc/foundationdb/fdb.cluster` --env META_NODE_ID=100 --env REMOTE_IP="172.16.20.172:10000" --env MGMTD_SERVER_ADDRESSES="RDMA://172.16.20.172:8000" ac2-registry.cn-hangzhou.cr.aliyuncs.com/ac2/3fs:b71ffc55-fdb7.3.63-fuse3.16.2-ubuntu22.04 ./meta.sh

    • --env META_NODE_ID：設定meta節點的順序編號，本樣本中1台meta節點，設定為100。

    • --env REMOTE_IP：設定monitor的服務地址，IP地址為monitor服務所在的節點的主私網IP地址（本樣本中和meta同節點）。

    • --env MGMTD_SERVER_ADDRESSES：設定mgmtd服務的地址，IP地址改為啟動了mgmtd服務的節點的主私網IP地址（本樣本中和meta、monitor同節點）。

11. 執行以下命令，查看以上啟動的節點服務（docker容器）。

    docker ps

    

步驟三：部署儲存節點

以下步驟需要在五台儲存節點的每一台執行。

1. 遠程登入儲存節點執行個體。

   具體操作，請參見使用Workbench終端串連登入Linux執行個體（SSH）。

2. 在執行個體上執行以下命令，安裝erdma驅動。

   curl -O http://mirrors.cloud.aliyuncs.com/erdma/env_setup.sh
   sudo /bin/bash env_setup.sh > /var/log/erdma_install.log 2>&1

   執行安裝指令碼後，指令碼會自動協助您安裝eRDMA驅動所需的軟體依賴包以及eRDMA驅動，等待安裝指令碼執行結束即可。

3. 執行以下命令，驗證erdma是否配置正確。

   ibv_devinfo

   返回資訊如下所示，表示eRDMA在執行個體上正常啟用（eRDMA驅動正確安裝、網卡的彈性RDMA介面已正確配置）。eRDMA驅動的安裝可能需要一段時間，請您耐心等待。如果返回異常，請參見驗證eRDMA配置的正確性進行修複。

   

4. 執行以下命令，設定RDMA建鏈方式為相容模式。

   重要

   • 目前支援eRDMA的CPU執行個體規格，預設eRDMA核心驅動安裝模式為Standard，此模式下僅支援RDMA_CM建鏈。

   • eRDMA提供了相容模式（compat mode）用於OOB情境下的應用。相容模式下，會額外佔用30608~30623範圍內的16個TCP連接埠。

   sudo sh -c "echo 'options erdma compat_mode=Y' >> /etc/modprobe.d/erdma.conf"
   sudo rmmod erdma
   sudo modprobe erdma compat_mode=Y

5. 執行以下命令，格式化並掛載NVMe SSD。本樣本中，掛載儲存節點上的8塊本地碟，並格式化為xfs檔案系統（高效能，適合大檔案）。

   mkdir -p /storage/data{0..7}
   for i in {0..7};do mkfs.xfs -L data${i} /dev/nvme${i}n1;mount -o noatime,nodiratime -L data${i} /storage/data${i};done;
   mkdir -p /storage/data{0..7}/3fs

   如果您反覆測試此步驟，可以先清理儲存空間後再強制掛載(-f)

   for i in {0..7};do umount /storage/data${i};done
   for i in {0..7};do mkfs.xfs -f -L data${i} /dev/nvme${i}n1;mount -o noatime,nodiratime -L data${i} /storage/data${i};done;

   掛載完成後，可通過以下命令查看分區情況：

   

6. 執行以下命令，安裝docker。

   說明

   使用AC2需要首先設定Docker運行環境。Docker的安裝視不同的作業系統步驟略有不同，具體操作，參見安裝Docker。本文中以Ubuntu為例，設定Docker運行環境。

   apt update
   apt install docker.io -y

   安裝完畢後，通過以下命令查看Docker版本號碼，檢查是否安裝成功。

   

7. 執行以下命令，啟動儲存服務storage。

   docker run -d --network=host --name storage --ulimit memlock=-1 --privileged -v /storage:/storage --device=/dev/infiniband/uverbs0 --device=/dev/infiniband/rdma_cm --env STORAGE_NODE_ID=10001 --env TARGET_PATHS="/storage/data0/3fs","/storage/data1/3fs","/storage/data2/3fs","/storage/data3/3fs","/storage/data4/3fs","/storage/data5/3fs","/storage/data6/3fs","/storage/data7/3fs" --env REMOTE_IP="172.16.20.172:10000" --env MGMTD_SERVER_ADDRESSES="RDMA://172.16.20.172:8000" ac2-registry.cn-hangzhou.cr.aliyuncs.com/ac2/3fs:b71ffc55-fdb7.3.63-fuse3.16.2-ubuntu22.04 ./storage.sh

   • --device=/dev/infiniband/uverbsX和--device=/dev/infiniband/rdma_cm：將eRDMA對應的使用者態字元裝置暴露到容器中。

     執行以下命令，查看字元裝置名稱（uverbsX中的X）：

     ls /dev/infiniband | grep uverbs

     

   • --env STORAGE_NODE_ID：儲存節點順序編號，如五個儲存節點，其編號依次為10001、10002、10003、10004、10005。您需要根據實際情況進行替換。

   • --env TARGET_PATHS：3FS的儲存目錄，在本樣本中為之前在本地碟上建立的目錄。

   • --env REMOTE_IP：設定monitor的服務地址，IP地址為monitor服務所在的節點的主私網IP地址（本樣本中和meta同節點）。

   • --env MGMTD_SERVER_ADDRESSES：設定mgmtd服務的地址，IP地址改為啟動了mgmtd服務的節點的主私網IP地址（本樣本中和meta、monitor同節點）。

8. 執行以下命令，查看以上啟動的節點服務（docker容器）。

   docker ps

   

步驟四：在meta節點上查看當前串連的儲存節點

1. 遠端連線meta節點執行個體。

   具體操作，請參見使用Workbench終端串連登入Linux執行個體（SSH）。

2. 執行以下命令，查看當前串連的節點狀態。

   docker exec -it meta  /opt/3fs/bin/admin_cli -cfg /opt/3fs/etc/admin_cli.toml --config.mgmtd_client.mgmtd_server_addresses '["RDMA://172.16.20.172:8000"]' "list-nodes"

   替換IP為上述配置的mgmtd服務的地址。

   

   admin_cli是用於管理和維護3FS的命令列工具，您可以進行叢集配置、狀態監控、故障排查等操作。詳細資料可以通過以下命令查看：

   docker exec -it meta  /opt/3fs/bin/admin_cli -cfg /opt/3fs/etc/admin_cli.toml --config.mgmtd_client.mgmtd_server_addresses '["RDMA://172.16.20.172:8000"]' "help"

步驟五：meta節點配置相關參數

配置儲存節點相關資訊，如副本數、單個儲存節點的盤數。

1. 遠端連線meta節點執行個體。

   具體操作，請參見使用Workbench終端串連登入Linux執行個體（SSH）。

2. 執行以下命令，配置3FS。

   docker exec \
     --env STORAGE_NODE_NUM=5 \
     --env STORAGE_NODE_BEGIN=10001 \
     --env STORAGE_NODE_END=10005 \
     --env REPLICATION_FACTOR=3 \
     --env NUM_DISKS_PER_NODE=8 \
     --env MGMTD_SERVER_ADDRESSES="RDMA://172.16.20.172:8000" \
     meta \
     ./config_3fs.sh

   • --env STORAGE_NODE_NUM：儲存節點數量，本樣本中為5。

   • --env STORAGE_NODE_BEGIN：儲存節點順序編號的起始，本樣本中為10001。

   • --env STORAGE_NODE_END：儲存節點順序編號的結尾，本樣本中為10005。

   • --env REPLICATION_FACTOR：儲存資料的副本數量，此處填3，使用3副本。

   • --env NUM_DISKS_PER_NODE：單個儲存節點的盤數，本樣本中為8。

   • --env MGMTD_SERVER_ADDRESSES：設定上述配置的mgmtd服務的地址。

   • --env NUM_TARGETS_PER_DISK：單個物理磁碟預期建立的儲存目標數量，預設值為12，即每個SSD劃分12個儲存目標。

   • --env MIN_TARGETS_PER_DISK：單個物理磁碟必須保證的最小儲存目標數量，預設值為12，即每個SSD至少保持12個可用儲存目標。

   config_3fs.sh指令碼中會進行以下操作：

   • 建立管理使用者root並產生認證令牌，令牌會被提取儲存到/opt/3fs/etc/token.txt中，供後續操作認證使用。

   • 根據傳入的參數（STORAGE_NODE_NUM、REPLICATION_FACTOR 等）產生資料分布策略，進一步根據資料分布策略產生鏈式儲存表，並上傳到管理伺服器mgmtd，完成儲存節點的目標（target）和鏈式結構（chain）的部署。

3. 執行以下命令，確認chain是否成功建立並狀態正常。

   docker exec -it meta  /opt/3fs/bin/admin_cli -cfg /opt/3fs/etc/admin_cli.toml --config.mgmtd_client.mgmtd_server_addresses '["RDMA://172.16.20.172:8000"]' "list-chains"

   替換IP為上述配置的mgmtd服務的地址。

   正常可以看到如下所示chain資訊，chain狀態正常是後續FIO測試的關鍵：

   

步驟六：配置fuse用戶端

在meta節點上配置fuse用戶端，使用者通過用戶端掛載遠程儲存，使得可以像操作本地系統一樣進行檔案操作。

1. 遠端連線meta節點執行個體。

   具體操作，請參見使用Workbench終端串連登入Linux執行個體（SSH）。

2. 執行以下命令，擷取token，保證用戶端安全接入。

   docker exec meta cat /opt/3fs/etc/token.txt

3. 執行以下命令，啟動fuse client。

   docker run -d --network=host --name fuse --shm-size=200g --ulimit memlock=-1 --privileged \
     --device=/dev/infiniband/uverbs0 --device=/dev/infiniband/rdma_cm \
     --env REMOTE_IP="172.16.20.172:10000" \
     --env MGMTD_SERVER_ADDRESSES="RDMA://172.16.20.172:8000" \
     --env TOKEN=${token} \
     ac2-registry.cn-hangzhou.cr.aliyuncs.com/ac2/3fs:b71ffc55-fdb7.3.63-fuse3.16.2-ubuntu22.04  \
     ./fuse.sh

   • --shm-size：設定容器內 /dev/shm 共用記憶體地區的大小。

     • 使用FUSE進行測試時，--shm-size可以設定為較小的值，如2g。

     • 使用USRBIO模組進行測試時，測試進程需要通過共用記憶體的方式與FUSE進程共用IO Buffer以實現零拷貝，建議增大--shm-size，如200g。

   • --device=/dev/infiniband/uverbsX和--device=/dev/infiniband/rdma_cm：將eRDMA對應的使用者態字元裝置暴露到容器中。

     執行以下命令，查看字元裝置名稱（uverbsX中的X）：

     ls /dev/infiniband | grep uverbs

     

   • --env REMOTE_IP：設定monitor的服務地址，IP地址為monitor服務所在的節點的主私網IP地址（本樣本中和meta同節點）。

   • --env MGMTD_SERVER_ADDRESSES：設定mgmtd服務的地址，IP地址改為啟動了mgmtd服務的節點的主私網IP地址（本樣本中和meta、monitor同節點）。

   • --env TOKEN：配置為上一步擷取的token字串。

4. 執行以下命令，查看以上啟動的節點服務（docker容器）。

   docker ps

   

5. 執行以下命令，查看fuse容器內檔案系統的掛載和磁碟使用方式。

   docker exec fuse df -hT | grep 3fs