Elastic Compute Service:ECS インスタンスに基づく 3FS クラスターのデプロイ

ステップ 1: 環境の準備

3FS クラスターノードをデプロイするための ECS インスタンスを準備し、インスタンスで eRDMA を構成します。

meta ノードとクライアントノードとして機能する ECS インスタンスを 1 つ作成し、ストレージノードとして機能する ECS インスタンスを 5 つ作成します。すべてのノードは、内部ネットワークを介して相互に通信できます。すべてのノードは、AC2 イメージリソースをダウンロードするためにインターネットにアクセスできます。

作成中に、すべての ECS インスタンスについて次のパラメーターに注意してください。他のパラメーターについては、「[カスタム起動] タブでインスタンスを作成する」をご参照ください。

• リージョン: この例では、中国 (杭州) リージョンが使用されます。

• インスタンスタイプ: eRDMA をサポートするインスタンスタイプを選択します。

  • Meta ノード: ecs.g8i.48xlarge

  • ストレージノード: ecs.i4.32xlarge

• イメージ: eRDMA をサポートする Ubuntu 22 イメージを選択します。

• eRDMA インターフェイス (ERI): インスタンス上の Elastic Network Interface (ENI) の ERI を有効にして、eRDMA 通信モードを有効にします。

  重要

  この例の IP アドレスは、ERI が有効になっている ENI のプライマリプライベート IP アドレスです。この例では、各インスタンスのプライマリ ENI で ERI が有効になっています。セカンダリ ENI で RDMA 通信をテストする場合は、それに応じて IP アドレスを変更してください。

  

ステップ 2: meta ノードのデプロイ

1. meta ノードとして使用されるインスタンスに接続します。

   詳細については、「Workbench を使用して Linux インスタンスにログインする」をご参照ください。

2. eRDMA ドライバーをインストールします:

   curl -O http://mirrors.cloud.aliyuncs.com/erdma/env_setup.sh
   sudo /bin/bash env_setup.sh > /var/log/erdma_install.log 2>&1

   スクリプトは、必要な依存関係を自動的にインストールし、次に eRDMA ドライバーをインストールします。スクリプトの実行が完了するまで待ちます。

3. eRDMA が正しく構成されているかどうかを確認します:

   ibv_devinfo

   次のコマンド出力は、インスタンスで eRDMA が正しく有効になっていることを示します (eRDMA ドライバーが正しくインストールされ、ERI が正しく構成されています)。eRDMA ドライバーのインストールプロセスには、完了までに時間がかかります。エラーが返された場合は、「eRDMA 構成の正しさを確認する」をご参照ください。

   

4. RDMA 接続モードを互換モードに設定します。

   重要

   • デフォルトでは、eRDMA をサポートする CPU ベースのインスタンスファミリーは、eRDMA カーネルモードドライバーを標準モードでインストールします。このモードでは、RDMA_CM 接続確立方式のみがサポートされます。

   • eRDMA は、アウトオブバンド (OOB) シナリオ向けに互換モードを提供します。互換モードでは、30608 から 30623 の範囲の 16 個の TCP ポートが追加で占有されます。

   sudo sh -c "echo 'options erdma compat_mode=Y' >> /etc/modprobe.d/erdma.conf"
   sudo rmmod erdma
   sudo modprobe erdma compat_mode=Y

5. Docker をインストールします。

   説明

   AC2 イメージを使用する前に、Docker ランタイム環境をセットアップする必要があります。Docker のインストール手順は、オペレーティングシステムによって異なります。詳細については、「Docker と Docker Compose のインストールと使用」をご参照ください。この例では、Ubuntu が使用されます。

   apt update
   apt install docker.io -y

   インストールが完了したら、次のコマンドを実行して Docker のバージョンを表示し、Docker がインストールされているかどうかを確認します。

   

6. ClickHouse をデプロイして起動し、ノードステータス、リソース使用率、I/O などのクラスターのランタイムメトリックを永続化します:

   docker run -d --net=host --name clickhouse-server --ulimit nofile=262144:262144 ac2-registry.cn-hangzhou.cr.aliyuncs.com/ac2/clickhouse:25.3.1.2703-ubuntu22.04

   • --net=host: コンテナーの通信モードを host に設定します。コンテナー内のアプリケーションは、ホストのネットワークインターフェイスとネットワーク構成を直接使用できます。これにより、ホストと同じネットワーク通信機能が提供されます。

   • --ulimit nofile: コンテナー内のプロセスのファイル記述子の制限を指定します。これは、プロセスが同時に開くことができるファイルの最大数です。これにより、プロセスによる過剰なファイルハンドル使用によるシステムの不安定化を防ぎます。

7. FoundationDB をデプロイして起動し、クラスタートランザクションログの設定とデータを保存します:

   docker run -d --network=host --name fdb ac2-registry.cn-hangzhou.cr.aliyuncs.com/ac2/fdb:7.3.63-ubuntu22.04

8. 3FS モニターをデプロイして起動し、スループット、レイテンシー、リソース使用量など、システム実行中のさまざまなメトリックを収集および分析します:

   docker run -d --network=host --name monitor --ulimit memlock=-1 --privileged --device=/dev/infiniband/uverbs0 --device=/dev/infiniband/rdma_cm ac2-registry.cn-hangzhou.cr.aliyuncs.com/ac2/3fs:b71ffc55-fdb7.3.63-fuse3.16.2-ubuntu22.04 ./monitor.sh

   • --ulimit memlock=-1: maxlockedmemory を unlimited に設定します。これは、非 root ユーザーがロックできるメモリ量に制限がないことを意味します。これにより、eRDMA アプリケーションが非 root ユーザーによって実行されたときに必要なメモリ量をロックでき、eRDMA 機能を効果的に使用できるようになります。

   • --device=/dev/infiniband/uverbsX および --device=/dev/infiniband/rdma_cm: eRDMA ユーザーモードキャラクターデバイスをコンテナーに公開します。

     次のコマンドを実行して、キャラクターデバイス名 ( uverbsX の X) を表示します:

     ls /dev/infiniband | grep uverbs

     

9. 3FS クラスターマネージャー (mgmtd) をデプロイして起動し、クラスター内のストレージノードとリソース割り当てを管理します:

   docker run -d --network=host --name mgmtd --ulimit memlock=-1 --privileged --device=/dev/infiniband/uverbs0 --device=/dev/infiniband/rdma_cm --env FDB_CLUSTER=`docker exec fdb cat /etc/foundationdb/fdb.cluster` --env REMOTE_IP="172.16.20.172:10000" --env MGMTD_SERVER_ADDRESSES="RDMA://172.16.20.172:8000" ac2-registry.cn-hangzhou.cr.aliyuncs.com/ac2/3fs:b71ffc55-fdb7.3.63-fuse3.16.2-ubuntu22.04 ./mgmtd.sh

   • --env REMOTE_IP: モニターサービスのアドレスを指定します。これは、サービスが存在するノードのプライマリプライベート IP アドレスです。この例では、サービスは meta サービスと同じノードに存在します。

   • --env MGMTD_SERVER_ADDRESSES: mgmtd サービスのアドレスを指定します。これは、サービスが開始されるノードのプライマリプライベート IP アドレスです。この例では、サービスは meta サービスおよびモニターサービスと同じノードに存在します。

10. 3FS メタデータサービス (meta) をデプロイして起動します:

    docker run -d --network=host --name meta --ulimit memlock=-1 --privileged --device=/dev/infiniband/uverbs0 --device=/dev/infiniband/rdma_cm --env FDB_CLUSTER=`docker exec fdb cat /etc/foundationdb/fdb.cluster` --env META_NODE_ID=100 --env REMOTE_IP="172.16.20.172:10000" --env MGMTD_SERVER_ADDRESSES="RDMA://172.16.20.172:8000" ac2-registry.cn-hangzhou.cr.aliyuncs.com/ac2/3fs:b71ffc55-fdb7.3.63-fuse3.16.2-ubuntu22.04 ./meta.sh

    • --env META_NODE_ID: meta ノードのシーケンシャル番号を指定します。この例では、1 つの meta ノードが使用され、そのシーケンシャル番号は 100 に設定されます。

    • --env REMOTE_IP: モニターサービスのアドレスを指定します。これは、サービスが存在するノードのプライマリプライベート IP アドレスです。この例では、サービスは meta サービスと同じノードに存在します。

    • --env MGMTD_SERVER_ADDRESSES: mgmtd サービスのアドレスを指定します。これは、サービスが開始されるノードのプライマリプライベート IP アドレスです。この例では、サービスは meta サービスおよびモニターサービスと同じノードに存在します。

11. 開始されたノードサービス (Docker コンテナー) を表示します:

    docker ps

    

ステップ 3: ストレージノードのデプロイ

5 つのストレージノードのそれぞれで次の手順を実行します:

1. ストレージノードとして使用されるインスタンスに接続します。

   詳細については、「Workbench を使用して Linux インスタンスにログインする」をご参照ください。

2. eRDMA ドライバーをインストールします:

   curl -O http://mirrors.cloud.aliyuncs.com/erdma/env_setup.sh
   sudo /bin/bash env_setup.sh > /var/log/erdma_install.log 2>&1

   スクリプトは、必要な依存関係を自動的にインストールし、次に eRDMA ドライバーをインストールします。スクリプトの実行が完了するまで待ちます。

3. eRDMA が正しく構成されているかどうかを確認します:

   ibv_devinfo

   次のコマンド出力は、インスタンスで eRDMA が正しく有効になっていることを示します (eRDMA ドライバーが正しくインストールされ、ERI が正しく構成されています)。eRDMA ドライバーのインストールプロセスには、完了までに時間がかかります。エラーが返された場合は、「eRDMA 構成の正しさを確認する」をご参照ください。

   

4. RDMA 接続モードを互換モードに設定します。

   重要

   • デフォルトでは、eRDMA をサポートする CPU ベースのインスタンスファミリーは、eRDMA カーネルモードドライバーを標準モードでインストールします。このモードでは、RDMA_CM 接続確立方式のみがサポートされます。

   • eRDMA は、アウトオブバンド (OOB) シナリオ向けに互換モードを提供します。互換モードでは、30608 から 30623 の範囲の 16 個の TCP ポートが追加で占有されます。

   sudo sh -c "echo 'options erdma compat_mode=Y' >> /etc/modprobe.d/erdma.conf"
   sudo rmmod erdma
   sudo modprobe erdma compat_mode=Y

5. NVMe SSD をフォーマットしてマウントします。この例では、ストレージノード上の 8 つのローカルディスクがマウントされ、eXtensible File System (XFS) ファイルシステムにフォーマットされます。XFS ファイルシステムは高いパフォーマンスを提供し、大容量ファイルに適しています。

   mkdir -p /storage/data{0..7}
   for i in {0..7};do mkfs.xfs -L data${i} /dev/nvme${i}n1;mount -o noatime,nodiratime -L data${i} /storage/data${i};done;
   mkdir -p /storage/data{0..7}/3fs

   この手順を繰り返す場合は、ストレージスペースをクリアしてから -f オプションを指定してファイルシステムを強制的にマウントします。

   for i in {0..7};do umount /storage/data${i};done
   for i in {0..7};do mkfs.xfs -f -L data${i} /dev/nvme${i}n1;mount -o noatime,nodiratime -L data${i} /storage/data${i};done;

   マウントが完了したら、次のコマンドを実行してパーティションのステータスを確認します。

   

6. Docker をインストールします。

   説明

   AC2 イメージを使用する前に、Docker ランタイム環境をセットアップする必要があります。Docker のインストール手順は、オペレーティングシステムによって異なります。詳細については、「Docker と Docker Compose のインストールと使用」をご参照ください。この例では、Ubuntu が使用されます。

   apt update
   apt install docker.io -y

   インストールが完了したら、次のコマンドを実行して Docker のバージョンを表示し、Docker がインストールされているかどうかを確認します。

   

7. ストレージサービス (storage) を開始します:

   docker run -d --network=host --name storage --ulimit memlock=-1 --privileged -v /storage:/storage --device=/dev/infiniband/uverbs0 --device=/dev/infiniband/rdma_cm --env STORAGE_NODE_ID=10001 --env TARGET_PATHS="/storage/data0/3fs","/storage/data1/3fs","/storage/data2/3fs","/storage/data3/3fs","/storage/data4/3fs","/storage/data5/3fs","/storage/data6/3fs","/storage/data7/3fs" --env REMOTE_IP="172.16.20.172:10000" --env MGMTD_SERVER_ADDRESSES="RDMA://172.16.20.172:8000" ac2-registry.cn-hangzhou.cr.aliyuncs.com/ac2/3fs:b71ffc55-fdb7.3.63-fuse3.16.2-ubuntu22.04 ./storage.sh

   • --device=/dev/infiniband/uverbsX および --device=/dev/infiniband/rdma_cm: eRDMA ユーザーモードキャラクターデバイスをコンテナーに公開します。

     次のコマンドを実行して、キャラクターデバイス名 ( uverbsX の X) を表示します:

     ls /dev/infiniband | grep uverbs

     

   • --env STORAGE_NODE_ID: ストレージノードのシーケンシャル番号を指定します。5 つのストレージノードの場合、番号はそれぞれ 10001、10002、10003、10004、10005 です。値を実際の番号に置き換えてください。

   • --env TARGET_PATHS: 3FS のストレージディレクトリを指定します。この例では、前の手順でローカルディスクに作成されたディレクトリが使用されます。

   • --env REMOTE_IP: モニターサービスのアドレスを指定します。これは、サービスが存在するノードのプライマリプライベート IP アドレスです。この例では、サービスは meta サービスと同じノードに存在します。

   • --env MGMTD_SERVER_ADDRESSES: mgmtd サービスのアドレスを指定します。これは、サービスが開始されるノードのプライマリプライベート IP アドレスです。この例では、サービスは meta サービスおよびモニターサービスと同じノードに存在します。

8. 開始されたノードサービス (Docker コンテナー) を表示します:

   docker ps

   

ステップ 4: meta ノードで接続されているストレージノードを表示する

1. meta ノードとして使用されるインスタンスに接続します。

   詳細については、「Workbench を使用して Linux インスタンスにログインする」をご参照ください。

2. meta ノードに接続されているノードのステータスを表示します:

   docker exec -it meta  /opt/3fs/bin/admin_cli -cfg /opt/3fs/etc/admin_cli.toml --config.mgmtd_client.mgmtd_server_addresses '["RDMA://172.16.20.172:8000"]' "list-nodes"

   IP アドレスを mgmtd サービスの IP アドレスに置き換えます。

   

   admin_cli は、3FS を管理および保守するためのコマンドラインツールです。クラスター構成、ステータス監視、トラブルシューティングに使用できます。詳細については、次のコマンドを実行してください:

   docker exec -it meta  /opt/3fs/bin/admin_cli -cfg /opt/3fs/etc/admin_cli.toml --config.mgmtd_client.mgmtd_server_addresses '["RDMA://172.16.20.172:8000"]' "help"

ステップ 5: meta ノードでストレージノード関連のパラメーターを設定する

レプリカ数やストレージノードあたりのディスク数など、ストレージノード関連の情報を構成します。

1. meta ノードとして使用されるインスタンスに接続します。

   詳細については、「Workbench を使用して Linux インスタンスにログインする」をご参照ください。

2. 3FS を構成します:

   docker exec \
     --env STORAGE_NODE_NUM=5 \
     --env STORAGE_NODE_BEGIN=10001 \
     --env STORAGE_NODE_END=10005 \
     --env REPLICATION_FACTOR=3 \
     --env NUM_DISKS_PER_NODE=8 \
     --env MGMTD_SERVER_ADDRESSES="RDMA://172.16.20.172:8000" \
     meta \
     ./config_3fs.sh

   • --env STORAGE_NODE_NUM: ストレージノードの数を指定します。この例では 5 です。

   • --env STORAGE_NODE_BEGIN: ストレージノードの開始シーケンシャル番号を指定します。この例では 10001 です。

   • --env STORAGE_NODE_END: ストレージノードの終了シーケンシャル番号を指定します。この例では 10005 です。

   • --env REPLICATION_FACTOR: 保存されたデータのレプリカ数を指定します。この例では 3 が使用され、3 つのレプリカを示します。

   • --env NUM_DISKS_PER_NODE: ストレージノードあたりのディスク数を指定します。この例では 8 です。

   • --env MGMTD_SERVER_ADDRESSES: mgmtd サービスのアドレスを指定します。

   • --env NUM_TARGETS_PER_DISK: 物理ディスクごとに作成が期待されるストレージターゲットの数を指定します。デフォルト値: 12。これは、各 SSD が 12 のストレージターゲットに分割されることを示します。

   • --env MIN_TARGETS_PER_DISK: 物理ディスクごとに許可されるストレージターゲットの最小数を指定します。デフォルト値: 12。これは、各 SSD が少なくとも 12 の利用可能なストレージターゲットを維持する必要があることを示します。

   config_3fs.sh スクリプトは次の操作を実行します:

   • root 管理者を作成し、認証トークンを生成します。トークンは、後続の操作を認証するために /opt/3fs/etc/token.txt に保存されます。

   • STORAGE_NODE_NUM や REPLICATION_FACTOR などの入力パラメーターに基づいてデータ分布ポリシーが生成されます。次に、このポリシーからチェーン化されたストレージテーブルが生成され、管理サーバー mgmtd にアップロードされて、ストレージノードのターゲットとチェーン構造がデプロイされます。

3. 次のコマンドを実行して、チェーンが作成され、そのステータスが正常であることを確認します。

   docker exec -it meta  /opt/3fs/bin/admin_cli -cfg /opt/3fs/etc/admin_cli.toml --config.mgmtd_client.mgmtd_server_addresses '["RDMA://172.16.20.172:8000"]' "list-chains"

   IP アドレスを、構成された mgmtd サービスのアドレスに置き換えます。

   次の図は、チェーン情報を示しています。後続の FIO テストでは、チェーンのステータスが正常である必要があります。

   

ステップ 6: FUSE クライアントを設定する

meta ノードで FUSE クライアントを構成して、リモートストレージをマウントし、ローカルシステムで操作しているかのようにファイル操作を実行できるようにします。

1. meta ノードとして使用されるインスタンスに接続します。

   詳細については、「Workbench を使用して Linux インスタンスにログインする」をご参照ください。

2. 安全なクライアントアクセスを確保するためにトークンを取得します:

   docker exec meta cat /opt/3fs/etc/token.txt

3. FUSE クライアントを起動します:

   docker run -d --network=host --name fuse --shm-size=200g --ulimit memlock=-1 --privileged \
     --device=/dev/infiniband/uverbs0 --device=/dev/infiniband/rdma_cm \
     --env REMOTE_IP="172.16.20.172:10000" \
     --env MGMTD_SERVER_ADDRESSES="RDMA://172.16.20.172:8000" \
     --env TOKEN=${token} \
     ac2-registry.cn-hangzhou.cr.aliyuncs.com/ac2/3fs:b71ffc55-fdb7.3.63-fuse3.16.2-ubuntu22.04  \
     ./fuse.sh

   • --shm-size: コンテナー内の /dev/shm 共有メモリ領域のサイズを指定します。

     • FUSE を使用する場合、--shm-size パラメーターを 2g などのより小さい値に設定できます。

     • USRBIO を使用する場合、テストプロセスはゼロコピーを実現するために、共有メモリを使用して FUSE プロセスと I/O バッファーを共有する必要があります。--shm-size パラメーターの値を 200g などに増やすことをお勧めします。

   • --device=/dev/infiniband/uverbsX および --device=/dev/infiniband/rdma_cm: eRDMA ユーザーモードのキャラクターデバイスをコンテナーに公開します。

     次のコマンドを実行して、キャラクターデバイス名 (uverbsX の X) を表示します:

     ls /dev/infiniband | grep uverbs

     

   • --env REMOTE_IP: モニターサービスのアドレスを指定します。これは、サービスが存在するノードのプライマリプライベート IP アドレスです。この例では、サービスは meta サービスと同じノードに存在します。

   • --env MGMTD_SERVER_ADDRESSES: mgmtd サービスのアドレスを指定します。これは、サービスが開始されるノードのプライマリプライベート IP アドレスです。この例では、サービスは meta およびモニターサービスと同じノードに存在します。

   • --env TOKEN: 前のステップで取得したトークン文字列を指定します。

4. 開始されたノードサービス (Docker コンテナー) を表示します:

   docker ps

   

5. FUSE コンテナー内のファイルシステムのマウント情報とディスク使用量を表示します:

   docker exec fuse df -hT | grep 3fs