Platform For AI:ストレージマウント

ストレージソリューションの選択

最初にストレージタイプを選択し、次にマウント方法を選択します。

基本的なストレージマウント

{
  "storage": [
        {
            "oss": {
                "path": "oss://bucket/path/",
                "readOnly": false
            },
            "mount_path": "/mnt/data/"
        }
    ]
}

{
  "storage": [
        {
            "nfs": {
                "path": "/",
                "server": "06ba74****-a****.cn-hangzhou.nas.aliyuncs.com",
                "readOnly": false
            },
            "mount_path": "/mnt/data/"
        }
    ]
}

{
  "storage": [
        {
            "git": {
                "repo": "https://codeup.aliyun.com/xxx/eas/aitest.git",
                "branch": "master",
                "commit": "xxx",
                "username": "username",
                "password": "パスワードまたはアクセストークン"
            },
            "mount_path": "/mnt/data/"
        }
    ]
}

プラットフォームアセットのマウント

PAI AI アセットとして登録されたデータセット、コードセット、モデルをマウントすることで、集中管理と再利用が可能になります。

"storage": [
        {
            "dataset": {
                "id": "d-pcsah1t86bm8******",
                "version": "v1",
                "read_only": false
            },
            "mount_path": "/mnt/data/"
        }
    ]

"storage": [
        {
            "code": {
                "id": "code-4d3b42a1152****"
            },
            "mount_path": "/data_image"
        }
    ]

高度なマウントオプション

EAS は以下の追加マウント方法をサポートしています：

• イメージマウント：Docker イメージパスから一時的なローカルボリュームにファイルをコピーし、サービスインスタンスにマウントします。大規模なディレクトリは、ストレージ使用量と起動時間を増加させます。

• emptyDir マウント：実行中のインスタンスの一時ローカルストレージです。予期しない再起動後もコンテンツは保持されます。キャッシュや一時ファイルに使用します。

{
    "storage": [
        {
            "image": {
                "image": "registry-vpc.cn-xxxx.aliyuncs.com/eas/image_name:v1",
                "path": "/path/to/mount/"
            },
            "mount_path": "/data_image"
        }
    ]
}

{
    "storage": [
        {
            "empty_dir": {},
            "mount_path": "/mnt/temp"
        }
    ]
}

{
    "storage": [
        {
            "empty_dir": {
              "medium": "memory",
              "size_limit": 20
            },
            "mount_path": "/dev/shm"
        }
    ]
}

JSON 設定例

完全な設定例です。JSON によるデプロイメントについては、「JSON を使用したサービスのデプロイ」をご参照ください。

{
    "name": "service_name",
    "model_path": "http://path/to/model",
    "processor": "pmml",
    "storage": [
        {
            "oss": {
                "path": "oss://bucket/path/",
                "readOnly": false
            },
            "mount_path": "/mnt/oss_data/"
        },
        {
            "nfs": {
                "path": "/",
                "server": "06ba74****-a****.cn-hangzhou.nas.aliyuncs.com",
                "readOnly": false
            },
            "mount_path": "/mnt/nfs_data/"
        },
        {
            "image": {
                "image": "registry-vpc.cn-shanghai.aliyuncs.com/eas/test_image:v1",
                "path": "/path/to/mount/"
            },
            "mount_path": "/data_image"
        },
        {
            "empty_dir": {
              "medium": "memory",
              "size_limit": 20
            },
            "mount_path": "/dev/shm"
        },
        {
            "git": {
                "repo": "https://codeup.aliyun.com/xxx/eas/aitest.git",
                "branch": "master",
                "commit": "xxx",
                "username": "username",
                "password": "password or access token"
            },
            "mount_path": "/mnt/git_code/"
        }
    ],
    "metadata": {
        "cpu": 1,
        "instance": 1,
        "resource": "eas-r-xxx"
    }
}

よくある質問

1. OSS バケットをマウントした後に "file not found" エラーが表示されるのはなぜですか？

   多くの場合、パスの指定ミスが原因です。マウント設定とアクセスパスを確認してください。

   例えば、oss://my-bucket/ を /mnt/data にマウントする場合、OSS のファイル oss://my-bucket/subfolder/myfile.txt には、/mnt/data/myfile.txt ではなく、コンテナ内のパス /mnt/data/subfolder/myfile.txt からアクセスする必要があります。

2. ネットワーク接続の問題で NAS マウントに失敗した場合はどうすればよいですか？

   NAS をマウントするには、EAS サービスと NAS マウントターゲットが同じ VPC 内に存在する必要があります。以下を確認してください。

   • VPC の整合性：EAS サービスと NAS マウントターゲットの VPC ID が同一であることを確認してください。

   • ネットワーク設定：NAS にアクセスするには、Access public or internal resources from EAS の手順に従ってネットワークを設定してください。

   • マウントターゲットの状態：NAS マウントターゲットが存在し、状態が Available であることを確認してください。

3. 認証エラーにより Git マウントに失敗した場合はどうすればよいですか？

   以下を確認してください。

   • アクセストークンの有効性：Git のアクセストークンが有効期限が切れておらず、リポジトリに対する読み取り権限があることを確認してください。

   • リポジトリの権限：プライベートリポジトリの場合は、ユーザー名とパスワードまたはトークンが正しく、読み取り権限があることを確認してください。

   • リポジトリのアドレス形式: https://github.com/user/repo.git のような HTTPS プロトコルを使用します。Git プロトコルはサポートされていません。

   • ブランチ/コミットの存在：指定したブランチ名またはコミット ID がリポジトリに存在することを確認してください。

4. マウントパスの競合によりサービスの起動に失敗した場合はどうすればよいですか？

   マウントパスの競合は、次のような原因で発生することがあります。

   • マウントパスの重複: 同一サービス内で、複数のストレージ設定が同じマウントパスを使用しています。各ストレージの mount_path が一意になるようにしてください。

   • システムディレクトリの競合: マウントパスとして、/bin、/etc、/usr、または /lib などの重要なシステムディレクトリを指定することはできません。 /mnt または /data 配下のパスを使用してください。

   • 不正なパス形式: マウントパスは、スラッシュ (/) で始まる絶対パスである必要があります。

5. FTP または SSH ツールを使用してインスタンスに接続し、ファイルをアップロードまたはダウンロードできますか？

   できません。EAS インスタンスでは FTP または SSH アクセスは提供されません。

6. EAS サービスとは異なるリージョンにある OSS バケットをマウントできますか？

   できません。EAS はリージョンをまたいで OSS バケットをマウントできません。OSS の クロスリージョンレプリケーション 機能を使用して、EAS サービスと同じリージョンにある OSS バケットにデータを同期してください。

7. ストレージをマウントしていない場合、インスタンスにダウンロードしたファイルはどこに保存されますか？

   ファイルは、インスタンスのシステムディスクに保存されます。このシステムディスクは一時的なものです。インスタンスの再起動または更新を行うと、システムディスク上のデータは失われます。データを永続化するには、外部ストレージをマウントしてください。

8. EAS サービスで OSS のマウントに失敗し、s3fs ログに signal terminated と表示される場合はどうすればよいですか？

   signal terminated は、マウントプロセスが外部シグナルによって終了されたことを示しており、OSS がエラーを返したわけではありません。次の順序でトラブルシューティングを行います。

   • エンドポイントとバケット間のリージョンの一貫性: Uri (oss.path) で指定されたエンドポイントが、ターゲットバケットと同じリージョンにあることを確認してください。内部エンドポイントは、同じリージョン内でのみ利用可能です。バケットが存在するリージョンとは異なるリージョンのエンドポイントを使用すると、s3fs 接続は失敗します。

   • RAM ロールの権限：サービスに設定した RAM ロールに、対象バケットに対する読み取り/書き込み権限があることを確認してください。権限が不足している場合、起動時にマウントプロセスが終了します。

   • curldbg からの詳細なエラー: マウント設定に -o curldbg パラメーターを追加し、サービスを再起動します。このパラメーターを設定すると、ログに詳細な HTTP リクエストエラーが含まれるようになり、ネットワーク、認証、パスの問題を切り分けることができます。

   • ヘルスチェックとリソース制限: サービスのヘルスチェックのタイムアウトが十分に長く、コンテナリソースが超過していないことを確認してください。ヘルスチェックのタイムアウトやリソース制限の超過も、インスタンスプロセスを終了させてデータ損失を引き起こす原因となります。この場合も、ログには signal terminated と報告されます。

9. リージョンをまたいだコンテナイメージのプルに失敗した場合はどうすればよいですか？

   サービスと同じリージョンでランタイムイメージを再ビルドしてプッシュするか、仮想プライベートクラウド (VPC) を設定してクロスリージョンの内部ネットワークに接続してください。詳細なトラブルシューティング手順については、EAS に関するよくある質問 および カスタムイメージの使用 をご参照ください。