ossfs 2.0 は、Object Storage Service (OSS) をファイルシステムとしてマウントすることで、OSS へのパフォーマンス専有型アクセスを提供するクライアントです。優れたシーケンシャル読み取りおよび書き込みパフォーマンスを提供し、OSS の広帯域幅を最大限に活用します。
パフォーマンスの向上
ossfs 2.0 は、シーケンシャル読み取り/書き込み、および小規模ファイルの同時読み取りにおいて、ossfs 1.0 と比較して大幅なパフォーマンス向上を実現します。詳細については、「パフォーマンスのテスト」をご参照ください。
シーケンシャル書き込みパフォーマンス：単一スレッドでの大容量ファイルのシーケンシャル書き込みシナリオにおいて、ossfs 2.0 は ossfs 1.0 の約 18 倍の帯域幅を提供します。
シーケンシャル読み取りパフォーマンス：単一スレッドまたはマルチスレッド (4 スレッド) での大容量ファイルのシーケンシャル読み取りシナリオにおいて、ossfs 2.0 は ossfs 1.0 の 3 倍以上の帯域幅を提供します。
小規模ファイルの同時読み取りパフォーマンス：高同時実行 (128 スレッド) での小規模ファイルの読み取りシナリオにおいて、ossfs 2.0 は ossfs 1.0 の 20 倍以上の帯域幅を提供します。
利用シーン
ossfs 2.0 は、AI トレーニング、推論、ビッグデータ処理、自動運転、その他の計算集約型ワークロードなど、パフォーマンス専有型ストレージアクセスを必要とするシナリオに適しています。これらのワークロードは、主にシーケンシャル読み取り、ランダム読み取り、およびシーケンシャル (追記のみ) 書き込みを伴い、完全な POSIX セマンティクスを必要としません。
ランタイム環境
ossfs 2.0 は Filesystem in Userspace (FUSE) 上に構築されています。
アーキテクチャ | オペレーティングシステム | バージョン | ダウンロード URL |
x86_64 | CentOS | CentOS 7, CentOS 8 | |
Alibaba Cloud Linux | Alibaba Cloud Linux 2, Alibaba Cloud Linux 3 | ||
Ubuntu | Ubuntu 20.04 LTS およびそれ以降の LTS バージョン | ||
Debian | Debian 11 およびそれ以降 | ||
aarch64 | Alibaba Cloud Linux | Alibaba Cloud Linux 3 |
制限事項
権限要件：AccessKey には、対象のバケットまたはプレフィックスに対する完全な権限が必要です。そうでない場合、マウント操作が失敗したり、異常な動作を引き起こしたりする可能性があります。
ストレージクラスの制限：アーカイブストレージ、コールドアーカイブ、またはディープコールドアーカイブのストレージクラスを使用するバケットはマウントできません。
ファイル名の制限：Linux の制約により、ファイル名は 255 文字に制限されています。この制限を超える名前を持つ OSS 内のファイルやフォルダは、マウントポイントに表示されません。
ファイル読み取りの制限：ossfs は、対応するファイルハンドルが閉じられた後にのみ、新しいファイルを OSS にアップロードします。ハンドルが閉じる前にファイルを読み取ると、エラーが発生する可能性があります。
ファイル書き込みの制限：同じファイルへのランダム書き込みおよび同時書き込みはサポートされていません。デフォルトのパートサイズは 8,388,608 バイト (8 MiB) です。したがって、サポートされる最大ファイルサイズは 83,886,080,000 バイト (78.125 GiB) です。パートサイズは、upload_buffer_size マウントオプションを使用して設定できます。
ファイル名の変更操作 (非アトミック)
ファイル：ファイルをコピーしてから、元のリモートファイルを削除します。
フォルダ：この操作では、まずすべてのファイルをコピーし、次にソースファイルを一括操作で削除します。デフォルトでは、フォルダ名の変更操作は 200 万の子孫ファイルに制限されています。この制限は、rename_dir_limit マウントオプションを使用して設定できます。
同時書き込みの整合性：複数のクライアントが同じバケットをマウントし、同じファイルに同時に書き込む場合、データ整合性は保証されません。
POSIX API の互換性：部分的に互換性があります。詳細については、「サポートされている POSIX API」をご参照ください。
機能
機能
基本的な POSIX 互換性を提供し、OSS のサーバーサイドでの読み取りおよび書き込みパフォーマンスの最大化に重点を置いています。
読み取り/書き込みパスのエンドツーエンドの最適化により、大容量ファイルに対して効率的なシーケンシャル読み取りおよび書き込みパフォーマンスを提供します。
最適化されたメタデータ管理により、小規模ファイルの効率的な同時読み込みを可能にします。
fstab を設定することで、起動時に OSS バケットを自動的にマウントできます。
POSIX API のサポート
次の表は、ossfs 1.0 と ossfs 2.0 における POSIX API のサポート状況を比較したものです。
分類 | 操作/機能 | ossfs 1.0 | ossfs 2.0 |
基本的なファイル操作 |
| ||
| |||
| |||
ファイルの読み取りと書き込み |
| ||
| ランダム書き込みをサポート (ディスクキャッシュが必要) | シーケンシャル書き込みのみをサポート (ディスクキャッシュは不要) | |
| (ファイルサイズは調整可能) | ファイル長をゼロに切り詰めることのみをサポート | |
ファイルのメタ操作 |
| ||
| |||
| |||
フォルダ操作 |
| ||
| |||
| |||
権限とプロパティ |
| ||
| |||
| |||
| |||
拡張機能 |
| ||
| |||
|