Object Storage Service:EFC を使用した OSS アクセスの高速化

ランタイム環境

ハードウェアリソース要件

EFC クライアントは計算ノードのメモリとディスクリソースを消費します。キャッシュ機能を有効にするかどうかに基づいてリソースを計画できます。

• キャッシュ機能が無効の場合

  • メモリ：常駐メモリ使用量は通常 1 GiB 未満です。バーストワークロードに対応するために、少なくとも 5 GiB の利用可能なメモリを確保する必要があります。

  • ディスク：特別なディスク領域は必要ありません。ただし、システムディスクに運用ログを保存するための十分な空き容量があることを確認する必要があります。

• キャッシュ機能が有効の場合

  キャッシュが有効な場合、リソース消費は主にキャッシュ媒体とインデックスのオーバーヘッドで構成されます。

  • メモリリソース

    • 基本消費量：キャッシュ機能が無効の場合と同じです。

    • メモリキャッシュ：メモリをキャッシュとして設定した場合、設定されたサイズと同量のメモリが消費されます。

    • インデックスのオーバーヘッド：メモリキャッシュまたはディスクキャッシュのいずれを使用する場合でも、データインデックスを維持するために追加のメモリが必要です。総キャッシュ容量の約 0.1% に相当するメモリを確保する必要があります。

    • 計算式：総メモリ消費量 ≈ 基本ランタイムメモリ + メモリキャッシュサイズ + (メモリキャッシュサイズ + ディスクキャッシュサイズ) × 0.001

  • ディスクリソース：

    • ディスクキャッシュ：ディスクをキャッシュ媒体として設定した場合、設定されたサイズと同等のディスク領域を消費します。たとえば、1 TiB のディスクキャッシュ設定は 1 TiB のディスク領域を消費します。

機能上の制限

• アクセスモード：OSS データへの読み取り専用アクセスのみをサポートします。マウント後、ファイルのオーナーは読み取り専用権限を持つ root に固定されます。chmod および chown はサポートされていません。

• POSIX 互換性：open、close、read、readdir、readdirplus、lookup、getattr などの操作をサポートします。readlink、write、rename、setattr、link、symlink などの操作はサポートしていません。

• ストレージクラス：標準および低頻度アクセスストレージクラスのオブジェクトへのアクセスのみをサポートします。アーカイブ、コールドアーカイブ、またはディープコールドアーカイブストレージクラスへの直接アクセスはサポートされていません。

• パスの互換性：

  • パスの競合：OSS バケットに a/b という名前のファイルと a/b/ という名前のフォルダの両方が含まれている場合、マウント後はフォルダ a/b/ のみアクセス可能です。

  • 特殊なパス：キーが / で始まる、連続したスラッシュ (//) を含む、または . や .. を含むオブジェクトにはアクセスできません。

• アクセス権限：OSS のマウントとアクセスには、少なくとも oss:GetBucketStat、oss:ListObjects、oss:GetObject の権限が必要です。

• データの高可用性：EFC は読み取り専用キャッシュであり、データの高可用性を保証するものではありません。ハードウェア障害やノードの交換などの状況でキャッシュデータが失われ、キャッシュが無効になることがあります。対応するデータに再度アクセスすると、オリジンフェッチが発生します。これにより、パフォーマンスの変動が生じる可能性があります。

設定 1：基本マウント (クイック検証)

この設定は、EFC が OSS バケットにアクセスできることを迅速に検証するために使用します。キャッシュアクセラレーションは有効になりません。

STS 認証情報を使用したマウント (推奨)：

# ローカルマウントポイントの作成
mkdir -p /mnt/oss_data

# マウントの実行 (バケットのドメイン名に置き換えてください)
mount -t alinas \
  -o efc,protocol=oss,g_oss_STSFile=/etc/passwd-sts \
  your-bucket.oss-cn-hangzhou.aliyuncs.com:/ /mnt/oss_data

AccessKey を使用したマウント：

# ローカルマウントポイントの作成
mkdir -p /mnt/oss_data

# マウントの実行 (バケットのドメイン名に置き換えてください)
mount -t alinas \
  -o efc,protocol=oss,passwd_file=/etc/passwd-oss \
  your-bucket.oss-cn-hangzhou.aliyuncs.com:/ /mnt/oss_data

コマンドの説明：

• mount -t alinas：EFC クライアント (alinas タイプ) を使用してファイルシステムをマウントします。

• your-bucket.oss-cn-hangzhou.aliyuncs.com:/ /mnt/oss_data：マウントポイントの設定です。your-bucket.oss-cn-hangzhou.aliyuncs.com は OSS バケットのドメイン名で、/mnt/oss_data はローカルマウントポイントです。

• g_oss_STSFile=/etc/passwd-sts：STS 認証情報を含む設定ファイルのパスを指定します。

• passwd_file=/etc/passwd-oss：OSS AccessKey を含むパスワードファイルのパスを指定します。

パラメーターの詳細については、「マウントパラメーターの詳細」をご参照ください。

マウント結果の検証：

# マウントが成功したか確認
df -h | grep /mnt/oss_data
# OSS 内のファイルをリスト表示
ls /mnt/oss_data

OSS バケット内のファイルが表示できれば、基本マウントは成功です。必要に応じてキャッシュアクセラレーションを有効にできます。

設定 2：シングルノードキャッシュモード

現在のノードでメモリキャッシュとディスクキャッシュを有効にします。この設定は基本マウントを基にしており、シングルノードのタスクや簡単なテストに適しています。

注：すでに基本マウントを完了している場合は、まずアンマウントする必要があります：umount /mnt/oss_data

# ディスクキャッシュフォルダの作成
mkdir -p /mnt/cache/

# マウントしてシングルノードキャッシュを有効化 (STS 認証情報を使用)
mount -t alinas \
  -o efc,protocol=oss,g_oss_STSFile=/etc/passwd-sts \
  -o g_tier_DadiIsDistributed=false \
  -o g_tier_DadiMemCacheCapacityMB=1024 \
  -o g_tier_DadiDiskCacheCapacityMB=10240 \
  -o g_tier_DadiDiskCachePath=/mnt/cache/ \
  -o g_server_Port=17871 \
  your-bucket.oss-cn-hangzhou.aliyuncs.com:/ /mnt/oss_data

コマンドの説明：

• mount -t alinas ... your-bucket.oss-cn-hangzhou.aliyuncs.com:/ /mnt/oss_data：EFC クライアントを使用して、OSS バケットをローカルの /mnt/oss_data フォルダにマウントします。

• g_oss_STSFile=/etc/passwd-sts：STS 認証情報を含む設定ファイルのパスを指定します。

• g_tier_DadiIsDistributed=false：シングルノードキャッシュモードです。ノードは他のノードと通信しません。

• g_tier_DadiMemCacheCapacityMB=1024：データキャッシングのために 1 GB のメモリを割り当てます。

• g_tier_DadiDiskCacheCapacityMB=10240：データキャッシングのために 10 GB のディスク領域を割り当てます。

• g_tier_DadiDiskCachePath=/mnt/cache/：ディスクキャッシュファイルが保存されるフォルダです。

• g_server_Port=17871：ポート 17871 を開き、コマンドラインツールを使用してキャッシュヒット率の表示やデータプリフェッチを実行できるようにします。

パラメーターの詳細については、「マウントパラメーターの詳細」をご参照ください。

設定 3：分散キャッシュクラスターモード

このモードは、複数のノードを組み合わせてキャッシュクラスターを形成し、キャッシュデータを共有して P2P ネットワーク経由でデータ分布を高速化します。このモードは、本番環境での大規模なトレーニングや推論に適しています。

1. キャッシュノードリストの設定

すべてのノードで /etc/efc/rootlist ファイルを作成し、クラスター内のすべてのノードの情報を追加します。

# フォーマット: <一意のID>:<ノードの内部IP>:<P2Pポート>
1:192.168.1.1:17980
2:192.168.1.2:17980
3:192.168.1.3:17980

警告：rootlist ファイルは、クラスター全体で同一でなければなりません。不一致があると、一部のノードがキャッシュネットワークに参加できなくなり、キャッシュヒット率が低下する可能性があります。

2. すべてのノードでマウントコマンドを実行

# ディスクキャッシュフォルダの作成
mkdir -p /mnt/cache/

# マウントして分散キャッシュを有効化 (STS 認証情報を使用)
mount -t alinas \
  -o efc,protocol=oss,g_oss_STSFile=/etc/passwd-sts \
  -o g_tier_EnableClusterCache=true \
  -o g_tier_DadiIsDistributed=true \
  -o g_tier_DadiAddr=/etc/efc/rootlist \
  -o g_tier_DadiMemCacheCapacityMB=1024 \
  -o g_tier_DadiDiskCacheCapacityMB=10240 \
  -o g_tier_DadiDiskCachePath=/mnt/cache/ \
  -o g_server_Port=17871 \
  your-bucket.oss-cn-hangzhou.aliyuncs.com:/ /mnt/oss_data

コマンドの説明：

• mount -t alinas ... your-bucket.oss-cn-hangzhou.aliyuncs.com:/ /mnt/oss_data：EFC クライアントを使用して、OSS バケットをローカルの /mnt/oss_data フォルダにマウントします。

• g_oss_STSFile=/etc/passwd-sts：STS 認証情報を含む設定ファイルのパスを指定します。

• g_tier_EnableClusterCache=true, g_tier_DadiIsDistributed=true：EFC のコア機能である分散キャッシュアクセラレーションを有効にします。

• g_tier_DadiAddr=/etc/efc/rootlist：P2P キャッシュネットワークを構築するために使用される、クラスターノード設定ファイルのパスを指定します。

• g_tier_DadiMemCacheCapacityMB=1024：データキャッシングのために 1 GB のメモリを割り当てます。

• g_tier_DadiDiskCacheCapacityMB=10240：データキャッシングのために 10 GB のディスク領域を割り当てます。キャッシュファイルは /mnt/cache/ フォルダに保存されます。

• g_server_Port=17871：ポート 17871 を開き、コマンドラインツールを使用してキャッシュヒット率の表示やデータプリフェッチを実行できるようにします。

パラメーターの詳細については、「マウントパラメーターの詳細」をご参照ください。

データプリフェッチ

この機能は、OSS から事前にデータをキャッシュに読み込むことで、初回アクセスのレイテンシーをなくします。これは、モデル推論などのシナリオで特に重要です。

• パス要件：プリフェッチパスは、マウントポイント配下の相対パスである必要があります。

• タスクステータス：running、completed、canceled、failed。

• 受動的なタスク削除ポリシー：プリフェッチタスクは無期限に保持されません。システムは以下のルールに基づいて、履歴タスクレコードを自動的に削除します。

  • running 状態のタスク：cancel コマンドを使用して能動的にキャンセルすることのみ可能で、受動的に削除することはできません。

  • 完了、キャンセル、または失敗したタスクは、以下のいずれかの条件が満たされた場合に自動的に削除されます。

    • 履歴プリフェッチタスクの総数が 10,000 を超えた場合。

    • タスクレコードが 7 日以上経過した場合。

キャッシュモニタリング

この機能により、ヒット率やスループットなど、キャッシュのリアルタイムな実行状況を表示できます。この情報はパフォーマンスチューニングの鍵となります。

モニタリングデータの表示

• HTTP メソッド (推奨、JSON 形式で返却)

  curl -s "http://localhost:17871/v1/tier"

• コマンドラインメソッド (テキスト形式で返却)

  aliyun-alinas-efc-cli -m <mount_target> -r tier

モニタリングデータのクリア

モニタリングカウンターをリセットします (例：tier_read_hit などのメトリックがゼロにリセットされます)。

• HTTP メソッド

  curl -s "http://localhost:17871/v1/tier/clear"

• コマンドラインメソッド

  aliyun-alinas-efc-cli -m <mount_target> -r tier -c

キャッシュのスケーリング

オンラインでのノードの追加または削除

この操作により、サービスを中断することなく、分散キャッシュクラスター内のノード数を動的に調整できます。

• スケールアウト：すべてのノードの rootlist ファイルに、新しいノードの IP アドレスを追加します。

• スケールイン：すべてのノードの rootlist ファイルから、対象ノードの IP アドレスを削除します。

  ノードが削除されると、システムは LRU メカニズムを使用してキャッシュデータを削除します。これにより、頻繁にアクセスされるホットスポットデータが優先的に保持され、キャッシュヒット率が維持されます。

• 有効化の仕組み：EFC プロセスは定期的 (デフォルトで 5 秒ごと) に rootlist ファイルを再読み込みし、変更を自動的に適用します。

シングルノードのキャッシュ容量の調整

重要：EFC はシングルノードのキャッシュ容量の動的な調整をサポートしていません。調整するには、ファイルシステムをアンマウントして再マウントする必要があります。この操作はオフピーク時に実行できます。

再マウントする際に、以下のパラメーターを変更してキャッシュ容量を調整できます。

マウントパラメーターの動的調整

EFC は、ファイルシステムを手動でアンマウントすることなくマウントパラメーターを変更できる Python スクリプトツールを提供しています。このツールは、起動コマンドを保存する EFC の state ファイルを変更し、現在の EFC プロセスを終了させることで機能します。プロセスは再起動時に新しいパラメーターを自動的に読み込みます。

• ツールのダウンロード

  wget https://aliyun-alinas-eac-ap-southeast-1.oss-ap-southeast-1.aliyuncs.com/cache/efc_runtime_ops.latest.py

• マウントパラメーターの変更

  python3 efc_runtime_ops.py update <local_mount_path> [-o <update_parameters,...>]...

  例：

  python3 update_state_file.py update /mnt/oss_data \
            -o g_tier_EnableClusterCache=true,g_tier_tier_DadiP2PPort=23456 \
            -o g_tier_BlockSize=1048576

• ロールバック

  パラメーターを変更する際、ツールは古い state ファイルを自動的にバックアップします。変更後に EFC が失敗した場合、ロールバックして以前の状態に回復できます。

  python3 efc_runtime_ops.py rollback <local_mount_path> [backup_path]

  例：デフォルトのバックアップファイルパスを使用して state ファイルを復元します。

  python3 efc_runtime_ops.py rollback /mnt/oss_data

ディレクトリキャッシュ管理

EFC は、ls などのディレクトリトラバーサル操作を高速化するために、デフォルトでディレクトリキャッシュを有効にしています。OSS 側のディレクトリ構造が変更され、EFC がそれを迅速に検出しない場合、手動でディレクトリキャッシュをクリアできます。

ディレクトリキャッシュパラメーター (マウント時に指定)：

ディレクトリキャッシュのクリア：

• HTTP メソッド

  curl -s "http://localhost:17871/v1/action/clear_readdir_cache"

• コマンドラインメソッド

  aliyun-alinas-efc-cli -m <mount_target> -r action -k clear_readdir_cache

基本パラメーター

キャッシュ設定パラメーター

メタデータとディレクトリキャッシュのパラメーター

運用保守と高度なパラメーター

権限とセキュリティ

• パスワードファイルの保護：パスワードファイルの権限を 600 に設定し、認証情報の漏洩を防ぐために安全な場所に保管します。

• STS の優先：セキュリティ上の理由から、キー漏洩のリスクを減らすために、長期的な AccessKey の代わりに STS 一時認証情報を使用することを推奨します。

• セキュリティグループの公開範囲の最小化：P2P 通信ポート 17980 はクラスターノード間でのみ開き、管理ポート 17871 のアクセス元を厳密に制限します。

シナリオ別の設定推奨

データ整合性管理

• 結果整合性の理解：EFC は読み取り専用キャッシュです。OSS バックエンドへの変更はリアルタイムで同期されません。したがって、アプリケーションの設計では、ある程度のデータ遅延を許容する必要があります。

• プロアクティブリフレッシュ：頻繁な更新と即時の読み取りが必要なシナリオでは、アプリケーションロジックにディレクトリキャッシュのクリアインターフェイスを呼び出すステップを追加できます。

• メタデータキャッシングの有効化：メタデータが頻繁に変更されないシナリオでは、-o g_metadata_CacheEnable を使用してメタデータキャッシングを有効にできます。これにより、OSS への GetObjectMeta リクエストの数を減らすことができます。