Object Storage Service:OSS リクエストを削減し、マウントポイントのパフォーマンスを向上させる

ファイルアクセス方法

OSS は、ルートディレクトリからトップダウン方式のアクセス方法を使用してファイルにアクセスします。たとえば、/dir/object パスにあるオブジェクトファイルの属性情報を取得するには、stat /dir/object コマンドの実行フローは次のとおりです。

1. 最初に、/dir に対して操作を実行し、GetObjectMeta dir リクエストを送信します。404 Not Found が返された場合は、オブジェクトが存在しないことを示しており、ListObject (max-keys=1)dir/ リクエストが送信されます。200 OK が返された場合は、対応する仮想フォルダが存在することを示します。

2. /dir/object に対して操作を実行し、GetObjectMeta dir/object リクエストを送信します。200 OK が返された場合は、オブジェクト属性情報が正常に取得されます。

上記の分析に基づくと、単一の stat /dir/object コマンドの実行は、最終的に 2 つの GetObjectMeta リクエストと 1 つの ListObject リクエストに変換されます。さらに、ファイルシステムのメタデータリクエストは複数の OSS リクエストに変換され、その数はファイルの深さとともに増加するため、パフォーマンスが大幅に低下します。

ファイルメタデータキャッシュの影響

/dir/ ディレクトリにある 100 個の子ファイルの属性情報を取得する例を取り上げて、ファイルメタデータキャッシングがパフォーマンスに及ぼす影響を説明します。

• メタデータキャッシングなし

  • 既知のファイルリストを使用してファイルにアクセスする：

    ループ内で stat /dir/object-<i> コマンドを実行する場合、各 stat 操作は 1 つの GetObjectMeta リクエストに変換され、最終的にファイル属性を取得するために OSS に送信される GetObjectMeta リクエストが 100 個生成されます。これにより、メタデータリクエストが多すぎてパフォーマンスに影響が出ます。

  • 不明なファイルリストを使用してファイルにアクセスする：

    ls コマンドを実行すると、この操作はファイルリストを取得するために OSS に送信される 1 つの ListObject リクエストに変換され、取得したファイルリストに基づいてファイル属性を取得するためにループ内で stat /dir/object-<i> コマンドが実行されます。これにより、最終的に OSS に送信される ListObject リクエストが 1 つと GetObjectMeta リクエストが 100 個生成され、メタデータリクエストが多すぎてパフォーマンスに影響が出ます。

• メタデータキャッシングあり

  • 既知のファイルリストを使用してファイルにアクセスする：

    ループ内で stat /dir/object-<i> コマンドを実行する場合、各 stat 操作は 1 つの GetObjectMeta リクエストに変換され、最終的に 100 個の GetObjectMeta リクエストが生成されます。これらの 100 個のリクエストは、キャッシュの有効期間内にローカルメタデータキャッシュに直接ヒットしてファイル属性を取得するため、OSS に送信されるリクエストの数が効果的に削減されます。

  • 不明なファイルリストを使用してファイルにアクセスする：

    ls コマンドを実行すると、この操作はローカルメタデータキャッシュを更新しながら OSS に送信される 1 つの ListObject リクエストに変換されます。キャッシュの更新が完了した後、ループ内で stat /dir/object-<i> コマンドを実行すると、メタデータは既にローカルキャッシュにあるため、追加の OSS リクエストは送信されません。

上記の分析に基づくと、メタデータキャッシング機構は OSS に送信される繰り返しのリクエストの数を効果的に削減できます。フォルダ内のすべてのファイルをトラバースする場合、ls を使用するとメタデータキャッシュをプリロードできるため、子ファイルの後続の OSS リクエストが効果的に削減されます。

メタデータキャッシュ時間を延長する

OSS にアップロードされたデータが変更されない場合、または変更間隔がメタデータキャッシュ時間よりもはるかに長い場合は、attr_timeout マウントオプションを使用して、より長いメタデータキャッシュ有効期間を構成することで、繰り返されるメタデータリクエストを削減し、パフォーマンスを向上させることができます。マウントオプションの構成例は次のとおりです。

• ビジネスシナリオ：データアノテーションシナリオでは、システムは以前に収集された生データのバッチを読み取り、処理してから、新しいデータのバッチを生成します。このシナリオでは、生データは OSS にアップロードされると変更されません。

• マウント構成：ossfs 2.0 構成ファイルで、メタデータキャッシュの有効期間を 7200 秒に構成します。

  # バケットエンドポイント（リージョンノード）
  --oss_endpoint=https://oss-cn-hangzhou-internal.aliyuncs.com
  
  # バケット名
  --oss_bucket=bucketName
  
  # メタデータキャッシュの有効期間
  --attr_timeout=7200
  
  # アクセスキー AccessKey ID と AccessKey Secret（ossfs 2.0.1 以降のバージョンではオプション）
  --oss_access_key_id=LTAI******************
  --oss_access_key_secret=8CE4**********************

ファイルリストを取得した後に操作する

ディレクトリ内のすべてのファイルをトラバースする場合、最初に ls コマンドを使用するか、ListObject リクエストを送信して、ターゲットフォルダ内のすべてのファイルのメタデータをローカルメタデータキャッシュにプリロードし、より長いキャッシュ有効期間と組み合わせることで、繰り返されるメタデータリクエストを削減し、最終的に全体的なパフォーマンスを向上させることができます。

ls コマンドは、フォルダの内容を読み取るために使用される任意の高レベル言語プログラムで置き換えることができます。/mnt/data/ ディレクトリ内のファイルリストを取得するための一般的な例を次に示します。

os.listdir('/mnt/data/')

entries, err := os.ReadDir("/mnt/data/")

dir = opendir("/mnt/data/");
if (dir != NULL) {
  struct dirent *entry;
  while((entry = readdir(dir)) != NULL) {} // ディレクトリエントリを処理する
  closedir(dir);
}

ネガティブキャッシュを使用してファイル作成を高速化する

新しいファイルを作成するために、ファイルシステムは lookup と create の 2 つのシステムコールを順番に実行します。

1. lookup 操作は、対応するファイルが存在するかどうかを判断します。ossfs 2.0 では、この操作は GetObjectMeta リクエストと ListObjects リクエストに解析されます。

2. 404 Not Found エラーが返された場合、ossfs は create 操作を使用してファイルを作成します。ossfs 2.0 が create を実行すると、ファイルが OSS に存在するかどうかをクエリするために GetObjectMeta リクエストと ListObjects リクエストも送信します。

したがって、新しいファイルを作成するプロセスには、4 つの OSS メタデータクエリオペレーションが含まれます。

ossfs 2.0 は、OSS から返される `404` リクエストのキャッシュをサポートしており、後続の重複リクエストを削減します。この機能を有効にするには、ファイルシステムをマウントするときに次のオプションを指定します。

• --oss_negative_cache_timeout=30 (デフォルト値は 0 秒です。この値は attr_timeout の値よりも小さく設定することをお勧めします。)

• --oss_negative_cache_size=10000 (デフォルト値: 10000)

OSS ネガティブキャッシュが有効になっている場合、新しいファイルの lookup 操作からの 404 リクエストがキャッシュされます。その結果、create 操作中の後続のクエリはネガティブキャッシュにヒットし、OSS にリクエストは送信されません。これにより、ファイル作成プロセスの OSS リクエスト数が 4 から 2 に削減されます。