Platform For AI:ストレージのマウント

さまざまなタイプのストレージをマウントする

• モデル、イメージ、ビデオなど、読み取りが主体の非構造化データには、OSS を使用します。

• small ファイルの読み書きを頻繁に行う場合、または複数のサービスインスタンスで読み取り/書き込みディレクトリを共有する必要がある場合は、汎用型 NAS を使用します。

• 極めて低い待機時間と高いスループットを必要とするハイパフォーマンスコンピューティング (HPC) または AI トレーニングには、超高速型 NAS ファイルシステムまたはCPFSを使用します。

• 大規模な並列計算または AI トレーニングフレームワークには、CPFS を使用します。

{
  "storage": [
        {
            "oss": {
                "path": "oss://bucket/path/", // OSS バケットパス
                "readOnly": false // 読み取り専用かどうか
            },
            "mount_path": "/mnt/data/" // マウントパス
        }
    ]
}

{
  "storage": [
        {
            "nfs": {
                "path": "/", // ファイルシステムパス
                "server": "06ba74****-a****.cn-hangzhou.nas.aliyuncs.com", // マウントポイントアドレス
                "readOnly": false // 読み取り専用かどうか
            },
            "mount_path": "/mnt/data/" // マウントパス
        }
    ]
}

カスタムデータセットをマウントする

データまたは構成ファイルから PAI データセット を作成し、それをパブリック AI アセットとして登録できます。 これにより、サービスのデプロイ時にデータセットを簡単にマウントして参照できます。

次の図は、コンソールでの構成インターフェイスを示しています。

次のコードは、JSON 構成の例を示しています。

"storage": [
        {
            "dataset": {
                "id": "d-pcsah1t86bm8******", // データセット ID
                "version": "v1", // バージョン
                "read_only": false // 読み取り専用かどうか
            },
            "mount_path": "/mnt/data/" // マウントパス
        }
    ]

パラメーター:

コードをマウントする

• Git マウント: Git リポジトリからサービスインスタンスに、読み取り専用モードでコードをマウントします。コードは、インスタンスの起動時にプルされます。コードを変更した場合、その変更を反映させるには、サービスインスタンスを再起動する必要があります。

• コード構成: Git リポジトリから PAI コードセットを作成し、公開 AI アセットとして登録できます。これにより、サービスをデプロイする際に、コードセットを簡単にマウントおよび参照できます。

{
  "storage": [
        {
            "git": {
                "repo": "https://codeup.aliyun.com/xxx/eas/aitest.git", // Git リポジトリアドレス
                "branch": "master", // ブランチ
                "commit": "xxx", // コミット ID
                "username": "username", // ユーザー名
                "password": "password or access token" // パスワードまたはアクセストークン
            },
            "mount_path": "/mnt/data/" // マウントパス
        }
    ]
}

"storage": [
        {
            "code": {
                "id": "code-4d3b42a1152****" // コードセット ID
            },
            "mount_path": "/mnt/data/" // マウントパス
        }
    ]

PAI モデルをマウントする

サービスが必要とするモデルをパブリック PAI AI アセットとして登録して、PAI で一元管理できます。 詳細については、「モデルの登録と管理」をご参照ください。 その後、サービスデプロイ中に、モデルをサービスインスタンスに読み取り専用モードでマウントできます。

次の図は、コンソールでの構成インターフェイスを示しています。

パラメーター:

その他のマウント

• イメージのマウント: このメソッドは、Docker イメージからディレクトリをサービスインスタンスに直接マウントしません。代わりに、まずソースイメージの指定されたディレクトリからローカル共有ボリュームにファイルをコピーし、次にランタイムにローカル共有ボリュームをマウントします。マウントするディレクトリに大量のデータが含まれている場合、このプロセスは大量のローカル記憶域を消費し、インスタンスの起動時間が長くなる可能性があります。この機能は、必要な場合にのみ使用してください。

• EmptyDir マウント: この方法を使用すると、インスタンスは実行時にローカルディスクのディレクトリへの読み取りと書き込みができます。これにより、インスタンスが予期せず再起動した場合でも、書き込まれた内容は失われません。

{
    "storage": [
        {
            "empty_dir": {  // EmptyDir タイプ
              "medium": "memory", // メモリを指定
              "size_limit": 20 // メモリの上限 (GB)
            },
            "mount_path": "/dev/shm" // マウントパス
        }
    ]
}

完全な JSON 構成例

次のコードは、完全な構成例を示しています。 詳細については、「JSON を使用してサービスをデプロイする」をご参照ください。

{
    "name": "service_name", // サービス名
    "model_path": "http://path/to/model", // モデルパス
    "processor": "pmml", // プロセッサ
    "storage": [
        {
            "oss": {
                "path": "oss://bucket/path/", // OSS バケットパス
                "readOnly": false // 読み取り専用かどうか
            },
            "mount_path": "/mnt/data/" // マウントパス
        },
        {
            "nfs": {
                "path": "/", // ファイルシステムパス
                "server": "06ba74****-a****.cn-hangzhou.nas.aliyuncs.com", // マウントポイントアドレス
                "readOnly": false // 読み取り専用かどうか
            },
            "mount_path": "/mnt/data/" // マウントパス
        },
        {
            "image": {
                "image": "registry-vpc.cn-shanghai.aliyuncs.com/eas/test_image:v1", // イメージリポジトリのアドレス
                "path": "/path/to/mount/" // イメージ内のパス
            },
            "mount_path": "/data_image" // マウントパス
        },
        {
            "empty_dir": {
              "medium": "memory", // メモリを指定
              "size_limit": 20 // メモリの上限 (GB)
            },
            "mount_path": "/dev/shm" // マウントパス
        },
        {
            "git": {
                "repo": "https://codeup.aliyun.com/xxx/eas/aitest.git", // Git リポジトリアドレス
                "branch": "master", // ブランチ
                "commit": "xxx", // コミット ID
                "username": "username", // ユーザー名
                "password": "password or access token" // パスワードまたはアクセストークン
            },
            "mount_path": "/mnt/data/" // マウントパス
        }
    ],
    "metadata": {
        "cpu": 1, // CPU 数
        "instance": 1, // インスタンス数
        "resource": "eas-r-xxx" // リソース名
    }
}

よくある質問

1. OSS バケットをマウントした後に「ファイルが見つかりません」というエラーが表示されるのはなぜですか?

   このエラーは通常、パスが正しくないことが原因です。 マウント構成とアクセスパスを確認してください。

   たとえば、oss://my-bucket/ を /mnt/data にマウントする場合、OSS 内の oss://my-bucket/subfolder/myfile.txt ファイルには、コンテナー内の /mnt/data/myfile.txt ではなく、/mnt/data/subfolder/myfile.txt パスを使用してアクセスする必要があります。

2. FTP または SSH ツールを使用してインスタンスに接続してファイルをアップロードまたはダウンロードできますか?

   いいえ。 EAS インスタンスは FTP または SSH アクセスを提供しません。

3. EAS サービスとは異なるリージョンにある OSS バケットをマウントできますか?

   いいえ。 EAS はリージョンをまたいで OSS バケットをマウントできません。 OSS の クロスリージョンレプリケーション 機能を使用して、EAS サービスと同じリージョンにある OSS バケットにデータを同期してください。

4. ストレージがマウントされていない場合、インスタンスにダウンロードしたファイルはどこに保存されますか? ファイルはインスタンスのシステムディスクに保存されます。 インスタンスが再起動または更新されるとシステムディスクはクリアされ、データが失われます。 データを永続化するには、ストレージをマウントする必要があります。