Object Storage Service:OSS Connector の設定

前提条件

OSS Connector for AI/ML がインストールされていること。詳細については、「OSS Connector for AI/ML のインストール」をご参照ください。

アクセス認証情報の設定

1. credentials という名前のアクセス認証情報設定ファイルを作成します。

   mkdir -p /root/.alibabacloud && touch /root/.alibabacloud/credentials

2. パラメーターを設定し、設定ファイルを保存します。

   • 例：

     {
       "AccessKeyId": "<Access-key-id>",
       "AccessKeySecret": "<Access-key-secret>",
       "SecurityToken": "<Security-Token>",
       "Expiration": "2024-08-02T15:04:05Z"
     }
     

     次の表に、上記のパラメーターを説明します。

     パラメーター	必須	例	説明
     AccessKeyId	はい	STS.L4aB******************	Alibaba Cloud アカウントまたは RAM ユーザーの AccessKey ID と AccessKey Secret。 セキュリティトークンを使用して認証する場合、これらのパラメーターを一時的なアクセス認証情報内の AccessKey ID と AccessKey Secret に設定します。
     AccessKeySecret	はい	At32************************
     SecurityToken	いいえ	STS.6MC2***************************************	セキュリティトークン。このパラメーターは、セキュリティトークンサービス (STS) から取得した一時的なアクセス認証情報を使用して OSS にアクセスする場合に必要です。 Alibaba Cloud アカウントまたは RAM ユーザーの AccessKey ID と AccessKey Secret を使用して認証する場合、このパラメーターは空のままにします。
     Expiration	いいえ	2024-08-02T15:04:05Z	認証情報の有効期限。有効期限が切れると、OSS コネクタは認証情報を再読み込みします。Expiration パラメーターを指定しない場合、認証情報は期限切れになりません。 セキュリティトークンを使用して認証する場合は、このパラメーターを指定することを推奨します。 Alibaba Cloud アカウントまたは RAM ユーザーの AccessKey ID と AccessKey Secret を使用して認証する場合、このパラメーターは空のままにします。

   • AccessKey ID と AccessKey Secret の使用：

     例の <Access-key-id> と <Access-key-secret> を RAM ユーザーの AccessKey ID と AccessKey Secret に置き換えます。AccessKey ID と AccessKey Secret の作成方法の詳細については、「AccessKey ペアの作成」をご参照ください。

     {
       "AccessKeyId": "LTAI************************",
       "AccessKeySecret": "At32************************"
     }
     

   • 一時的なアクセス認証情報の使用：

     説明

     本番環境で長期間アクセス認証情報を使用するシナリオでデータセキュリティを確保するために、AccessKey ID と AccessKey Secret の漏洩を防ぐために一時的なアクセス認証情報を使用することを推奨します。一時的なアクセスを承認する場合は、一時的なアクセス認証情報を取得する必要があります。詳細については、「STS が提供する一時的な認証情報を使用した OSS へのアクセス」をご参照ください。一時的なアクセス認証情報を取得した後、<Access-key-id>、<Access-key-secret>、および <Security-Token> を AccessKey ID、AccessKey Secret、およびセキュリティトークンに置き換えます。

     {
       "AccessKeyId": "STS.L4aB******************",
       "AccessKeySecret": "wyLTSm*************************",
       "SecurityToken": "************",
       "Expiration": "2024-08-15T15:04:05Z"
     }
     

3. chmod 400 /root/.alibabacloud/credentials コマンドを実行して、AccessKey ID と AccessKey Secret のセキュリティを確保するために、credentials ファイルに読み取り専用の権限を付与します。

OSS Connector の設定

1. OSS コネクタ用の config.json という名前の設定ファイルを作成します。

   mkdir -p /etc/oss-connector/ && touch /etc/oss-connector/config.json

2. パラメーターを設定し、設定ファイルを保存します。

   ほとんどの場合、デフォルト設定を使用できます。

   {
       "logLevel": 1,
       "logPath": "/var/log/oss-connector/connector.log",
       "auditPath": "/var/log/oss-connector/audit.log",
       "expireTimeSec": 120,
       "prefetch": {
           "vcpus": 16,
           "workers": 16,
           "maxCacheAdviseGB": -1
       },
       "datasetConfig": {
           "prefetchConcurrency": 24,
           "prefetchWorker": 2
       },
       "checkpointConfig": {
           "prefetchConcurrency": 24,
           "prefetchWorker": 4,
           "uploadConcurrency": 64
       }
   }
   

   次の表にパラメーターを説明します。設定を変更する前に、表の指示をよくお読みください。

   パラメーター		必須	例	説明
   logLevel		いいえ	1	ログレベル。デフォルト値は 1 です。パラメーターを 2 に設定することを推奨します。 有効な値：0、1、2、3。0 は Debug、1 は INFO、2 は WARN、3 は ERROR を指定します。
   logPath		いいえ	/var/log/oss-connector/connector.log	OSS Connector for AI/ML ログのパス。デフォルト値：/var/log/oss-connector/connector.log。
   auditPath		いいえ	/var/log/oss-connector/audit.log	OSS Connector for AI/ML の監査ログのパス。100 ミリ秒を超えるレイテンシーを持つ読み取りおよび書き込みリクエストを記録します。デフォルト値：/var/log/oss-connector/audit.log。
   expireTimeSec		いいえ	120	コネクタがアクセス認証情報ファイルを再読み込みし、期限切れの場合に更新する間隔 (秒単位)。デフォルト：120。
   prefetch	vcpus	いいえ	16	推論シナリオでのプリフェッチ用の vCPU 数。デフォルト：16。
   	workers	いいえ	16	推論シナリオでのプリフェッチ用のワーカースレッド数。デフォルト：16。
   	maxCacheAdviseGB	いいえ	-1	プリフェッチに使用できるメモリキャッシュの最大サイズ (GB)。デフォルト値の -1 は制限なしを示します。モデルファイルのサイズがノードの使用可能なメモリを超える場合、Out of Memory (OOM) エラーを防ぐためにこのパラメーターを設定します。この値は CONNECTOR_MAX_CACHE_ADVISE_GB 環境変数を使用して設定することもでき、この設定が優先されます。
   DatasetConfig	prefetchConcurrency	いいえ	24	データセットを使用して OSS からデータをプリフェッチする際の同時ダウンロードタスク数。デフォルト値：24。
   	prefetchWorker	いいえ	2	データセットを使用して OSS からデータをプリフェッチする際に使用可能な vCPU 数。デフォルト値：2。
   checkpointConfig	prefetchConcurrency	いいえ	24	チェックポイントの読み取りを使用して OSS からデータをプリフェッチする際の同時ダウンロードタスク数。デフォルト値：24。
   	prefetchWorker	いいえ	4	チェックポイントの読み取りを使用して OSS からデータをプリフェッチする際に使用可能な vCPU 数。デフォルト値：4。
   	uploadConcurrency	いいえ	64	チェックポイントの書き込みを使用して OSS にデータをアップロードする際の同時アップロードタスク数。デフォルト値：64。

環境変数の設定

OSS Connector for AI/ML は環境変数を使用して設定することもできます。これらの変数は、設定ファイル内の対応する設定をオーバーライドします。

参考資料

OSS Connector for AI/ML をインストールして設定した後、次のことができます：

• OssMapDataset を使用して、ランダム読み取りに適したマップデータセットを構築します。詳細については、「OSS データを使用してランダム読み取りに適した OssMapDataset データセットを構築する」をご参照ください。

• OssIterableDataset を使用して、シーケンシャルストリーミング読み取りに適したイテラブルデータセットを構築します。詳細については、「OSS 内のデータを使用してシーケンシャルストリーミング読み取りに適したイテラブルデータセットを構築する」をご参照ください。

• OssCheckpoint を使用して、OSS 内のチェックポイントに対して読み取りおよび書き込み操作を実行します。詳細については、「OSS でのチェックポイントの保存とアクセス」をご参照ください。

• OSS Connector for AI/ML を使用して、推論シナリオでのモデルデプロイ効率を向上させます。詳細については、「OSS Connector for AI/ML を使用してモデルデプロイ効率を向上させる」をご参照ください。

• モデルブロードキャスト機能を使用して、モデルデータを複数の推論インスタンスに効率的に配布します。詳細については、「モデルブロードキャスト」をご参照ください。

• モデル推論デプロイメントのために Kubernetes でコネクタ機能を有効にします。詳細については、「Kubernetes でコネクタを有効にする」をご参照ください。