AI、データウェアハウス、ビッグデータ分析などのビジネスが成長し続けるにつれて、Object Storage Service (OSS) 上で実行されるワークロードには、より低いデータアクセスレイテンシ、より高い QPS、およびより大きなスループットがますます求められています。OSS アクセラレータは、頻繁にアクセスされるオブジェクトを、ご利用のコンピューティングリソースと同じゾーンにある NVMe SSD 高性能ストレージメディアにキャッシュすることで、ミリ秒レベルの低レイテンシと高 QPS のデータアクセスを実現します。
メリット
低レイテンシ
OSS アクセラレータは、ご利用のコンピューティングリソースと同じゾーンにデプロイされるゾーンレベルのサービスであり、ネットワークレイテンシを削減します。ストレージアクセスレイテンシを最小限に抑える NVMe SSD メディアと組み合わせることで、OSS アクセラレータはエンドツーエンドでミリ秒レベルのダウンロードレイテンシを実現します。これは、推論モデルのダウンロードやデータウェアハウスのホットデータクエリに特に効果的です。
高 IOPS
高性能 NVMe SSD メディアは、小さなファイル (数百 KB) や小さなデータブロックの頻繁な読み取りに対して、10 万レベルの読み取り IOPS を実現します。
高スループット密度
OSS アクセラレータは、小規模なデータ量に対して非常に高いスループットを提供し、ホットデータのバースト読み取り需要に対応します。
高スループット容量
アクセラレータの帯域幅は容量に比例して線形にスケールし、最大で数百 GB/s のバーストスループットを提供します。
弾力的スケーリング
コンピューティングタスクは通常周期的であり、各タスクは異なるリソースを必要とします。ニーズに応じてアクセラレータをオンラインでスケールアップまたはスケールダウンでき、リソースの無駄を効果的に回避し、コストを削減できます。アクセラレータは、最小 50 GB から最大数百 TB のキャッシュ領域をサポートします。OSS アクセラレータは、OSS の大規模データストレージの利点を継承し、データウェアハウスから複数のテーブルやパーティションを直接キャッシュすることをサポートします。
ストレージとコンピューティングの分離
コンピューティングサーバー上のキャッシュ領域とは異なり、OSS アクセラレータはコンピューティングサーバーから独立して動作するため、コンピューティングインスタンスに影響を与えることなく、領域とパフォーマンスをオンラインで調整できます。
データ整合性
アクセラレータは、従来のキャッシュソリューションにはない OSS との強力なデータ整合性を提供します。OSS 内のオブジェクトが更新されると、アクセラレータは自動的に変更を識別し、更新されたオブジェクトをキャッシュして、コンピュートエンジンが常に最新のデータを読み取ることを保証します。
複数のプリフェッチ戦略
OSS アクセラレータは、OSS 内の更新されたオブジェクトを自動的に識別し、エンジンが最新のデータを読み取ることを保証します。OSS アクセラレータは、以下のプリフェッチ戦略を提供します。
読み取り時プリフェッチ：アクセラレータへの読み取りリクエストがキャッシュミスになった場合、アクセラレータは標準の OSS からデータを自動的にフェッチし、それを返してアクセラレータのキャッシュに保存します。
同期プリフェッチ：データが OSS に書き込まれると、同時にアクセラレータ領域にキャッシュされます。
非同期プリフェッチ：設定を通じて、OSS 内のデータがアクセラレータ領域にバッチでキャッシュされます。
説明読み取り時プリフェッチはデフォルトで有効になっており、設定することはできません。
同期プリフェッチと非同期プリフェッチは手動で有効にする必要があります。両方の機能は同時に使用できます。
仕組み
アクセラレータが作成されると、ゾーン固有の内部アクセラレーションエンドポイントが割り当てられます。このエンドポイントは内部ネットワーク経由でのみアクセス可能で、パブリックネットワークアクセスはサポートしていません。たとえば、中国 (北京) リージョンのゾーン H のアクセラレーションエンドポイントは cn-beijing-h-internal.oss-data-acc.aliyuncs.com です。アクセラレータと同じ VPC 内にいる場合、アクセラレーションエンドポイントを通じてアクセラレータ内のリソースにアクセスできます。プロセスは次のとおりです。
書き込みリクエスト
読み取り時プリフェッチ：アクセラレーションエンドポイントに送信された書き込みリクエストは、直接 OSS バケットに転送されます。このプロセスは、デフォルトの OSS エンドポイントを使用する場合と同じです。
同期プリフェッチ：アクセラレーションエンドポイントに送信された書き込みリクエストは、OSS バケットと OSS アクセラレータの両方に直接転送されます。
非同期プリフェッチ：プリフェッチが必要なデータは、アクセスリクエストが開始される前に OSS アクセラレータに書き込まれます。
同期 + 非同期プリフェッチ：リクエストは OSS バケットと OSS アクセラレータの両方に直接転送されます。さらに、ホットデータはアクセスリクエストが開始される前に OSS アクセラレータに書き込むことができます。
読み取りリクエスト
説明読み取りリクエストは、プリフェッチ戦略に関係なく同じプロセスに従います。
アクセラレーションエンドポイントに送信された読み取りリクエストは、OSS アクセラレータに転送されます。
アクセラレータが読み取りリクエストを受信すると、キャッシュ領域でターゲットオブジェクトを検索します：
ターゲットオブジェクトがキャッシュ領域に存在する場合、クライアントに直接返されます。
ターゲットオブジェクトがキャッシュ領域に存在しない場合、アクセラレータはバインドされた OSS バケットにそれをリクエストします。OSS がリクエストを受信した後、ターゲットオブジェクトをアクセラレータにキャッシュし、アクセラレータはオブジェクトをクライアントに返します。
アクセラレータのキャッシュがいっぱいになると、アクセラレータはキャッシュファイルの人気度に基づいて、人気度の低いオブジェクトを人気度の高いオブジェクトに置き換えます。
利用シーン
OSS アクセラレータは、高帯域幅と繰り返しデータ読み取りが必要なシナリオに適しています。具体的なシナリオは次のとおりです：
低レイテンシのデータ共有
背景情報
顧客は、モバイルアプリで商品をスキャンして写真を撮り、アップロードすることで自動販売機から商品を購入します。アプリケーションバックエンドは画像を受信し、OSS アクセラレータを通じて保存します。その後、バックエンドのサブシステムが画像に対してコンテンツセキュリティ分析とバーコード認識を実行します。バーコード認識の結果は、課金操作のためにアプリケーションバックエンドにフィードバックされます。画像のダウンロードはミリ秒以内に完了する必要があります。
ソリューション
OSS アクセラレータの同期プリフェッチ (書き込み時プリフェッチ) モードを使用します。OSS アクセラレータは、分析システムの画像読み込みレイテンシを効果的に削減し、トランザクションチェーンを短縮します。OSS アクセラレータは、繰り返しの読み取りを伴う遅延の影響を受けやすいワークロードに非常に適しています。
モデル推論
背景情報
AIGC モデルの推論には、モデルファイルのプルとロードが必要です。推論のデバッグ中には、テストのために新しいモデルファイルを頻繁に切り替える必要があります。モデルファイルのサイズが大きくなり続けるにつれて、推論サーバーがモデルファイルをプルするのに必要な時間が増加します。
ソリューション
OSS アクセラレータの非同期プリフェッチまたは読み取り時プリフェッチモードを使用します。非同期プリフェッチは、ホットモデルファイルの範囲を事前に把握しているシナリオに適しています。読み取り時プリフェッチは、モデルファイルの範囲が不確かなシナリオに適しています。ホットモデルファイルのリストがわかっている場合は、適切なアクセラレータ領域を設定し、アクセラレータ SDK を使用して指定された OSS ファイルをアクセラレータ領域にプリロードできます。また、経験に基づいて特定のサイズのアクセラレータ領域を設定することもできます。アクセラレータは、データ読み取り中にファイルを高性能アクセラレータメディアに自動的にキャッシュし、その後のアクセスを高速化します。アクセラレータ領域は、アクセラレーションの結果に基づいていつでもスケールアップまたはスケールダウンできます。推論プログラムがローカルディレクトリ経由で OSS にアクセスする必要がある場合は、ossfs をデプロイする必要があります。
ACR イメージのロード
背景情報
コンテナイメージのプルは、Pod の起動プロセスで時間のかかるステップの 1 つです。AI の強化学習やモデル評価のシナリオでは、1 つのジョブで数千から数万のコンピューティング Pod を同時にスケジュールする必要がしばしばあります。これらの Pod は同じトレーニングイメージをプルするため、集中したバースト読み取りトラフィックが発生し、イメージリポジトリの OSS 下り帯域幅制限を簡単に超えてしまい、多数の GPU ノードがイメージを待機してアイドル状態になる可能性があります。AI 推論シナリオでは、トラフィックの変動により Pod の弾力的スケーリングが頻繁に発生し、新しい Pod のイメージプルレイテンシが直接コールドスタート時間を増加させ、サービス SLA に影響を与えます。一般的なコンテナ化シナリオでは、クラスターのスケーリング、ローリングアップデート、障害復旧なども、短時間で多数の同時イメージプルリクエストを生成します。
ソリューション
OSS アクセラレータを使用して Container Registry (ACR) のホットイメージファイルをキャッシュし、多数のコンピューティング Pod がイメージファイルをプルする際のバーストスループット需要に対応します。これにより、Pod の準備時間が短縮され、待機によって引き起こされるコンピューティングコストの無駄が大幅に削減されます。新しくアップロードされたイメージファイルが短時間で読み取られる可能性が高い場合は、書き込み時プリフェッチモードを有効にできます。ACR 側の設定については、「OSS ドメイン名ルーティングルールのカスタマイズ」をご参照ください。
ビッグデータ分析
背景情報
ある企業のビジネスデータは日次でパーティション分割され、長期保存のために OSS にアーカイブされます。アナリストは Hive や Spark などのコンピュートエンジンを使用してデータを分析しますが、クエリ範囲については不確かです。アナリストは、クエリ分析時間を最小限に抑えることを求めています。
ソリューション
OSS アクセラレータの読み取り時プリフェッチモードを使用します。このモードは、データ量が大きく、データクエリ範囲が不確実で、正確なプリフェッチが不可能なオフラインクエリシナリオに適しています。たとえば、アナリスト A がクエリしたデータはアクセラレータクラスターにキャッシュされます。アナリスト B がアナリスト A が以前にクエリしたデータを含むデータをクエリすると、分析が高速化されます。
多階層アクセラレーション
背景情報
クライアント側のキャッシュとサーバー側のアクセラレーションは競合せず、ビジネスニーズに基づいて多階層アクセラレーションを実現したい場合があります。
ソリューション
OSS アクセラレータをクライアント側のキャッシュと併用します。クライアント側のキャッシュは、コンピューティングクラスターと一緒にデプロイすることを推奨します。読み取りがクライアント側のキャッシュでミスした場合、データはバックエンドストレージからフェッチされます。OSS アクセラレータでは、読み取り時プリフェッチが使用され、最初のアクセスでデータがプリフェッチされます。クライアントホストのキャッシュ領域は限られているため、クライアント側キャッシュの各ファイルとディレクトリには TTL があります。TTL が切れると、キャッシュは領域を節約するために削除されます。この時点で、OSS アクセラレータのデータはすぐには削除されず、そのキャッシュ領域には数百 TB のデータを保持できます。クライアント側キャッシュにもう存在しないデータが再度読み取られると、OSS アクセラレータから直接ロードでき、2 段階のアクセラレーションが実現します。
メトリック
メトリック | 説明 |
容量 |
ビジネスシナリオでより高い容量が必要な場合は、チケットを起票して容量の増加をリクエストしてください。 |
アクセラレータ帯域幅 | 設定された領域サイズに基づいて、アクセラレータはキャッシュされたデータにスループット帯域幅を提供します。1 TB のアクセラレータ領域ごとに最大 2.4 Gbps の最大帯域幅が提供されます。アクセラレータが提供するスループット帯域幅は、標準の OSS 帯域幅に追加されるものであり、標準の OSS 帯域幅制限の対象にはなりません。OSS の標準帯域幅制限の詳細については、「制限事項とパフォーマンスメトリック」をご参照ください。 たとえば、中国 (深セン) リージョンでは、OSS は 100 Gbps の標準帯域幅を提供します。アクセラレータを有効にし、10 TB のアクセラレータ領域を設定すると、アクセラレータエンドポイントを通じて追加で 24 Gbps の低レイテンシ帯域幅を取得できます。バッチオフラインコンピューティングアプリケーションの場合、OSS 内部エンドポイントと大規模な同時ブロック読み取りを使用して 100 Gbps の標準帯域幅を活用することを推奨します。ホットデータクエリワークロードの場合、OSS アクセラレータエンドポイントを通じて NVMe SSD メディアにキャッシュされたデータにアクセスし、追加で 24 Gbps の低レイテンシスループットを取得できます。 |
読み取り帯域幅 (ピーク) | 式：MAX[600, 300 × 容量 (TB)] MB/s
たとえば、アクセラレータ容量が 2048 GB (つまり 2 TB) に設定されている場合、読み取り帯域幅は (600) MB/s = 600 MB/s です。 |
最大読み取り帯域幅 | 40 GB/s (320Gbps) ビジネスシナリオでより大きな読み取り帯域幅が必要な場合は、チケットを起票して申請してください。 |
シングルストリーム 128 KB の最小読み取りレイテンシ | <10 ms |
スケールアップ/スケールダウン間隔 | 1 時間に 1 回変更可能 |
スケールアップ/スケールダウン方法 | コンソールを通じて手動でスケールアップまたはスケールダウン |
キャッシュ削除ポリシー | LRU (Least Recently Used) キャッシュ削除ポリシーを使用します。LRU キャッシュ削除ポリシーは、頻繁にアクセスされるデータが保持され、長期間アクセスされていないデータが最初に削除されることを保証し、キャッシュ領域の効率的な利用を実現します。 |
課金
OSS アクセラレータを使用する場合、OSS は設定されたアクセラレータ容量と使用期間に基づいて料金を請求します。詳細については、「OSS アクセラレータの料金」をご参照ください。
アクセラレータエンドポイントを通じて OSS データを読み書きする場合、オリジンフェッチが発生しなくても OSS リクエスト料金が発生します。
次のステップ
OSS アクセラレータインスタンスの作成方法と OSS アクセラレータ容量の変更方法については、「OSS アクセラレータの作成、変更、削除」をご参照ください。
一般的な OSS ツールおよび OSS SDK で OSS アクセラレータを設定および使用する方法については、「OSS アクセラレータの使用」をご参照ください。
特定のビジネスシナリオで OSS 内部エンドポイントを使用する場合と OSS アクセラレータを使用する場合のパフォーマンスの違いについては、「パフォーマンスメトリック」をご参照ください。