Object Storage Service:OSS アクセラレータの使用

この例では、ossutil は 64 ビット Linux x86 オペレーティングシステムにインストールされています。 他のオペレーティングシステムに ossutil をインストールする方法の詳細については、「ossutil をインストールする」をご参照ください。

1. ossutil をインストールします。

   1. ossutil インストールパッケージをダウンロードします。

      curl -o ossutil-2.0.3-beta.09261200-linux-amd64.zip https://gosspublic.alicdn.com/ossutil/v2-beta/2.0.3-beta.09261200/ossutil-2.0.3-beta.09261200-linux-amd64.zip

   2. ossutil インストールパッケージが保存されているディレクトリに移動し、次の unzip コマンドを実行します。

      unzip ossutil-2.0.3-beta.09261200-linux-amd64.zip

   3. パッケージが解凍されたディレクトリに移動し、次のコマンドを実行します。

      chmod 755 ossutil

   4. 現在のディレクトリで次のコマンドを実行して、ossutil をグローバルに呼び出せるようにします。

      sudo mv ossutil /usr/local/bin/ && sudo ln -s /usr/local/bin/ossutil /usr/bin/ossutil

   5. 次のコマンドを実行します。 ossutil のバージョン番号が返された場合、ossutil 2.0 がインストールされています。

      ossutil version

2. ossutil を構成し、アクセラレータの高速エンドポイントを追加します。

   1. ossutil 構成ファイルを作成します。 構成ファイルのパスと名前を指定できます。

      touch ossutilconfig

   2. パラメーターを構成し、構成ファイルを保存します。 詳細については、「ossutil を構成する」をご参照ください。

      #[profile dev]                  セクションの名前。 セクションの名前を指定できます。
      #accessKeyId, accessKeySecret  RAM ユーザーの AccessKey ID と AccessKey シークレット。
      #region                        バケットが配置されているリージョン。
      # buckets=dev-bucket            dev-bucket セクションのパラメーターを使用します。
      #[buckets dev-bucket]          セクションの名前。 セクションの名前を指定できます。
      #bucketname                    バケットの名前。
      #endpoint                      アクセラレータの高速エンドポイント。
      
      [profile dev]
      accessKeyId=LTA*********************ICT
      accessKeySecret=V0qK**********************OOKp
      region=cn-hangzhou
      buckets=dev-bucket
      
      [buckets dev-bucket]
      bucket-name =
      #アクセラレータのエンドポイントを指定します。
        endpoint=cn-hangzhou-j-internal.oss-data-acc.aliyuncs.com

3. アクセラレータを使用します。

   次の例では、ossutil でアクセラレータが構成されているため、オブジェクトがバケットから test という名前の現在のディレクトリにより速くダウンロードされます。 ossutil コマンドの詳細については、「ossutil コマンド」をご参照ください。

   cp コマンドは、オブジェクトのダウンロードに使用されます。 -r パラメーターを指定して、bucket-name パラメーターで指定されたバケット内のオブジェクトに対して再帰操作を実行できます。 -c パラメーターは、ossutil 構成ファイルのパスを指定します。 --profile パラメーターは、dev セクションの構成を使用します。

   ossutil cp -r oss://bucket-name/ ./test/ -c ./ossutilconfig --profile dev

この例では、ossfs は Ubuntu 16.04 x86 オペレーティングシステムにインストールされています。 別のオペレーティングシステムに異なるバージョンの ossfs をインストールする方法の詳細については、「ossfs をインストールする」をご参照ください。

1. ossfs をインストールします。

   sudo wget https://gosspublic.alicdn.com/ossfs/ossfs_1.91.3_ubuntu16.04_amd64.deb
   sudo apt-get update
   sudo apt-get install gdebi-core
   sudo gdebi ossfs_1.91.3_ubuntu16.04_amd64.deb

2. mime.types ファイルを追加します。

   次のコマンドを実行して mime.types ファイルを追加し、アップロードされたオブジェクトのコンテンツタイプがオブジェクト名拡張子と一致するようにします。

   sudo apt-get install mime-support

3. ossfs を構成し、ossfs を使用してバケットをローカルファイルシステムにマウントし、バケットのアクセラレータを構成します。 ossfs を使用してマウント操作を実行する方法の詳細については、「ストレージスペースをマウントする」をご参照ください。

   1. AccessKey ID と AccessKey シークレットを /etc/passwd-ossfs という名前のアカウント構成ファイルに保存します。

      echo bucket-test:LTAI****************2CT:V0************************OKp > /etc/passwd-ossfs

   2. 構成ファイルの権限を 640 に設定します。

      chmod 640 /etc/passwd-ossfs 

   3. マウントディレクトリを作成します。

      mkdir bucket-test

   4. bucket-test という名前のバケットを /tmp/bucket-test/ ディレクトリにマウントし、アクセラレータの高速エンドポイントを指定します。

      ossfs bucket-test /tmp/bucket-test/ -ourl=cn-hangzhou-j-internal.oss-data-acc.aliyuncs.com

4. アクセラレータを使用します。

   ossfs 用にアクセラレータを構成した後、ローカルファイルシステムにマウントされているバケット内のオブジェクトに対して読み取りおよび書き込み操作を効率的に実行できます。 たとえば、ローカルモデルのトレーニングタスクで OSS に保存されているモデルファイルをより迅速にロードできます。

次の例は、Python 3.12 用の AI/ML 用 OSS コネクタをインストールする方法を示しています。 異なるバージョンの Python 用の AI/ML 用 OSS コネクタをインストールするには、Python のバージョンを特定のバージョン番号に変更します。

1. 前提条件:

• オペレーティングシステム: 64 ビット x86 Linux

• glibc: 2.17 以降

• Python: 3.8 ～ 3.12

• PyTorch: 2.0 以降

• OSS チェックポイント機能を使用するには、Linux カーネルが userfaultfd をサポートしている必要があります。

  説明

  この例では、Ubuntu が使用されています。 sudo grep CONFIG_USERFAULTFD /boot/config-$(uname -r) コマンドを実行して、Linux カーネルが userfaultfd をサポートしているかどうかを確認できます。 CONFIG_USERFAULTFD=y が返された場合、Linux カーネルは userfaultfd をサポートしています。 CONFIG_USERFAULTFD=n が返された場合、Linux カーネルは userfaultfd をサポートしていません。 この場合、OSS チェックポイント機能は使用できません。

2. AI/ML 用 OSS コネクタをインストールします。

   1. pip3.12 install osstorchconnector コマンドを実行して、Linux または Linux ベースのイメージを使用して生成されたコンテナーに AI/ML 用 OSS コネクタをインストールします。

      pip3.12 install osstorchconnector

   2. pip3.12 show osstorchconnector コマンドを実行して、AI/ML 用 OSS コネクタがインストールされているかどうかを確認します。

      pip3.12 show osstorchconnector

      osstorchconnector のバージョン情報が返された場合、AI/ML 用 OSS コネクタがインストールされています。

      

3. AI/ML 用 OSS コネクタを構成します。

   1. アクセス認証情報用の構成ファイルを作成します。

      mkdir -p /root/.alibabacloud && touch /root/.alibabacloud/credentials

   2. 構成ファイルにアクセス認証情報を追加し、構成ファイルを保存します。

      例の <Access-key-id> と <Access-key-secret> を RAM ユーザーの AccessKey ID と AccessKey シークレットに置き換えます。 AccessKey ID と AccessKey シークレットの作成方法の詳細については、「AccessKey ペアを作成する」をご参照ください。 構成項目と一時的なアクセス認証情報を使用した構成の詳細については、「アクセス認証情報を構成する」をご参照ください。

      {
        "AccessKeyId": "LTAI************************",
        "AccessKeySecret": "At32************************"
      }

   3. OSS コネクタの構成ファイルを作成します。

      mkdir -p /etc/oss-connector/ && touch /etc/oss-connector/config.json

   4. OSS コネクタの構成を構成ファイルに追加し、構成ファイルを保存します。 構成項目の詳細については、「OSS コネクタを構成する」をご参照ください。

      ほとんどの場合、次のデフォルト構成を使用できます。

      {
          "logLevel": 1,
          "logPath": "/var/log/oss-connector/connector.log",
          "auditPath": "/var/log/oss-connector/audit.log",
          "datasetConfig": {
              "prefetchConcurrency": 24,
              "prefetchWorker": 2
          },
          "checkpointConfig": {
              "prefetchConcurrency": 24,
              "prefetchWorker": 4,
              "uploadConcurrency": 64
          }
      }
      

4. アクセラレータを使用します。

   次のサンプルコードは、OssMapDataset の from_prefix メソッドを使用してアクセラレータのキャッシュ容量にデータセットを構築する方法の例を示しています。 Endpoint は、アクセラレータの高速エンドポイントを指定します。

   from osstorchconnector import OssMapDataset
   
   # ENDPOINT をアクセラレータの高速エンドポイントに置き換えます。
   ENDPOINT = "cn-hangzhou-j-internal.oss-data-acc.aliyuncs.com"
   # AI/ML 用 OSS コネクタ構成ファイルのパスを指定します。
   CONFIG_PATH = "/etc/oss-connector/config.json"
   # アクセス認証情報構成ファイルのパスを指定します。
   CRED_PATH = "/root/.alibabacloud/credentials"
   # バケットのディレクトリのパスを指定します。
   OSS_URI = "oss://ai-testset/EnglistImg/Img/BadImag/Bmp/Sample001/"
   
   # OssMapDataset の from_prefix メソッドを使用してデータセットを構築します。
   map_dataset = OssMapDataset.from_prefix(oss_uri=OSS_URI, endpoint=ENDPOINT, cred_path=CRED_PATH, config_path=CONFIG_PATH)
   
   # 作成されたデータセット内のオブジェクトにランダムにアクセスします。
   item = map_dataset[0]
   print(item.key)
   content = item.read()
   print(item.size)
   print(len(content))
   
   # データセット内のオブジェクトをトラバースします。
   for item in map_dataset:
       print(item.key)
       print(item.size)
       content = item.read()
       print(len(content))
   

次の例では、OSS アクセラレータは OSS SDK for Java と連携しています。 他のプログラミング言語用の OSS SDK と OSS アクセラレータを併用する場合は、OSSClient インスタンスを初期化するときにアクセラレータの高速エンドポイントを指定します。

1. 前提条件:

   • Java 1.7.0 以降がインストールされています。

   • java -version コマンドを実行して、Java のバージョンを確認できます。

2. OSS SDK for Java の依存関係が Maven プロジェクトに追加されます。 JAR パッケージを OSS SDK for Java にインポートする方法の詳細については、「インストール」をご参照ください。

   Maven で OSS SDK for Java を使用するには、必要な依存関係を pom.xml ファイルに追加するだけです。 この例では、OSS SDK for Java 3.17.4 の依存関係が追加されています。

   <dependency>
       <groupId>com.aliyun.oss</groupId>
       <artifactId>aliyun-sdk-oss</artifactId>
       <version>3.17.4</version>
   </dependency>

   Java 9 以降を使用する場合は、JAXB 関連の依存関係を追加します。 次のサンプルコードは、JAXB 関連の依存関係を追加する方法の例を示しています。

   <dependency>
       <groupId>javax.xml.bind</groupId>
       <artifactId>jaxb-api</artifactId>
       <version>2.3.1</version>
   </dependency>
   <dependency>
       <groupId>javax.activation</groupId>
       <artifactId>activation</artifactId>
       <version>1.1.1</version>
   </dependency>
   <!-- no more than 2.3.3-->
   <dependency>
       <groupId>org.glassfish.jaxb</groupId>
       <artifactId>jaxb-runtime</artifactId>
       <version>2.3.3</version>
   </dependency>

3. アクセラレータを使用します。

   次のサンプルコードは、OSS SDK for Java とアクセラレータを併用してオブジェクトをアップロードする方法の例を示しています。 endpoint パラメーターの値をアクセラレータの高速エンドポイントに置き換えます。

   import com.aliyun.oss.ClientBuilderConfiguration;
   import com.aliyun.oss.OSS;
   import com.aliyun.oss.OSSClientBuilder;
   import com.aliyun.oss.common.auth.CredentialsProviderFactory;
   import com.aliyun.oss.common.auth.EnvironmentVariableCredentialsProvider;
   import com.aliyun.oss.common.comm.SignVersion;
   
   import java.io.ByteArrayInputStream;
   
   public class OssCliectTest {
       public static void main(String[] args) throws Exception {
           // アクセラレータの高速エンドポイントを指定します。
           String endpoint = "cn-hangzhou-j-internal.oss-data-acc.aliyuncs.com";
           // エンドポイントにマッピングされるリージョンの ID を指定します。 例: cn-hangzhou。
           String region = "cn-hangzhou";
   
           // アクセス認証情報を指定します。
           String alibaba_cloud_access_key_id = "LT********************CT";
           String alibaba_cloud_access_key_secret = "V0q***************************OKp";
   
           // バケットの名前を指定します。 例: examplebucket。
           String bucketName = "BucketName";
           // オブジェクトの完全なパスを指定します。 例: exampledir/exampleobject.txt。 完全なパスにバケット名を含めないでください。
           String objectName = "Test.txt";
   
           // OSSClient インスタンスを作成します。
           // OSSClient が不要になったら、shutdown メソッドを呼び出してリソースを解放します。
           ClientBuilderConfiguration clientBuilderConfiguration = new ClientBuilderConfiguration();
           // V4 署名アルゴリズムの使用を明示的に宣言します。
           clientBuilderConfiguration.setSignatureVersion(SignVersion.V4);
           OSS ossClient = OSSClientBuilder.create()
                   .endpoint(endpoint)
                   .credentialsProvider(credentialsProvider)
                   .clientConfiguration(clientBuilderConfiguration)
                   .region(region)
                   .build();
   
           String content = "##################";
           // content 変数の構成をバケットの Test.txt ファイルにアップロードします。
           ossClient.putObject(bucketName,objectName,new ByteArrayInputStream(content.getBytes()));
   
           // OSSClient インスタンスをシャットダウンします。
           ossClient.shutdown();
       }
   }