Object Storage Service:PyTorch トレーニングジョブでの OSS Connector for AI/ML を使用した OSS データへのアクセスと格納

項目

OSS Connector for AI/ML を使用しない場合

OSS Connector for AI/ML を使用する場合

パフォーマンス

パフォーマンスを手動で最適化する必要があり、非効率的な場合があります。

OSS Connector for AI/ML は、OSS データのダウンロードとチェックポイントストレージのパフォーマンスを自動的に最適化します。

データローディング方法

事前にデータをダウンロードする必要があり、コストと管理ワークロードが増加します。

OSS Connector for AI/ML はストリームロードをサポートし、コストと管理の複雑さを軽減します。

データアクセス

アダプターを使用してデータを読み書きする必要があり、アクセスの複雑さが増します。

OSS Connector for AI/ML は OSS のデータを直接読み書きし、アクセスを簡素化します。

設定の難易度

コードをコンパイルする必要があり、設定が困難です。

OSS Connector for AI/ML は、シンプルな設定オプションを提供し、開発効率を向上させます。

項目

機能

クラス

メソッド

マップスタイルデータセット

トレーニング中に特定のデータを迅速に取得するためのランダムアクセスをサポートします。

OssMapDataset

OssMapDataset クラスと OssIterableDataset クラスは、データセットを構築するために同じメソッドを提供します。

• from_prefix()

  OSS_URI プレフィックスからデータセットを構築します。OSS データストレージパスが統一されたルールに従っている場合に最適です。

• from_objects()

  OSS_URI のリストからデータセットを構築します。OSS データストレージパスが既知であるものの、散在している場合に最適です。

• from_manifest_file()

  マニフェストファイルを作成し、それを使用してデータセットを構築します。ファイル数が数千万に及ぶデータセット、頻繁な読み込み、およびバケットでデータインデックスが有効になっている場合に最適です。

反復可能スタイルデータセット

大量の連続データを効率的に処理するための順次ストリーミング読み取りをサポートします。

OssIterableDataset

チェックポイント API 操作

モデルトレーニング中に OSS からチェックポイントをロードし、定期的に OSS にチェックポイントを保存することで、トレーニングワークフローを簡素化します。

OssCheckpoint

• OssCheckpoint()

  モデルトレーニング中にチェックポイントを読み書きするための OssCheckpoint オブジェクトを初期化します。

• reader()

  OSS からチェックポイントを読み取ります。

• writer()

  OSS にチェックポイントを書き込みます。