Platform For AI：Memasang penyimpanan

Memasang berbagai jenis penyimpanan

• Untuk data tidak terstruktur yang sebagian besar dibaca, seperti model, citra, dan video, gunakan OSS.

• Jika Anda sering membaca dan menulis file kecil, atau jika beberapa instans layanan perlu berbagi direktori baca/tulis, gunakan Sistem file NAS tujuan umum.

• Untuk komputasi kinerja tinggi (HPC) atau Pelatihan AI yang memerlukan latensi sangat rendah dan throughput tinggi, gunakan Sistem file NAS Ekstrem atau CPFS.

• Untuk komputasi paralel berskala besar atau kerangka kerja Pelatihan AI, gunakan CPFS.

{
  "storage": [
        {
            "oss": {
                "path": "oss://bucket/path/",
                "readOnly": false
            },
            "mount_path": "/mnt/data/"
        }
    ]
}

{
  "storage": [
        {
            "nfs": {
                "path": "/",
                "server": "06ba74****-a****.cn-hangzhou.nas.aliyuncs.com",
                "readOnly": false
            },
            "mount_path": "/mnt/data/"
        }
    ]
}

Memasang dataset kustom

Anda dapat membuat PAI dataset dari data atau file konfigurasi Anda dan mendaftarkannya sebagai Aset AI publik. Ini memungkinkan Anda dengan mudah memasang dan merujuk dataset saat menerapkan layanan.

Gambar berikut menunjukkan antarmuka konfigurasi di Konsol.

Kode berikut memberikan contoh konfigurasi JSON:

"storage": [
        {
            "dataset": {
                "id": "d-pcsah1t86bm8******",
                "version": "v1",
                "read_only": false
            },
            "mount_path": "/mnt/data/"
        }
    ]

Parameter:

Memasang kode

• Pemasangan Git: Memasang kode dari repositori Git ke instans layanan dalam mode hanya-baca. Kode ditarik saat instans dimulai. Jika Anda mengubah kode, Anda harus memulai ulang instans layanan agar perubahan berlaku.

• Konfigurasi kode: Anda dapat membuat PAI set kode dari repositori Git dan mendaftarkannya sebagai Aset AI publik. Ini memungkinkan Anda dengan mudah memasang dan merujuk set kode saat menerapkan layanan.

{
  "storage": [
        {
            "git": {
                "repo": "https://codeup.aliyun.com/xxx/eas/aitest.git",
                "branch": "master",
                "commit": "xxx",
                "username": "username",
                "password": "password or access token"
            },
            "mount_path": "/mnt/data/"
        }
    ]
}

"storage": [
        {
            "code": {
                "id": "code-4d3b42a1152****"
            },
            "mount_path": "/mnt/data/"
        }
    ]

Memasang model PAI

Anda dapat mendaftarkan model yang diperlukan oleh layanan sebagai Aset AI PAI publik untuk mengelolanya secara terpusat di PAI. Untuk informasi lebih lanjut, lihat Daftarkan dan kelola model. Anda kemudian dapat memasang model ke instans layanan dalam mode hanya-baca selama penyebaran layanan.

Gambar berikut menunjukkan antarmuka konfigurasi di Konsol.

Parameter:

Pemasangan lainnya

• Pemasangan gambar: Metode ini tidak memasang direktori dari gambar Docker langsung ke instans layanan. Sebaliknya, ia pertama-tama menyalin file dari direktori tertentu di gambar sumber ke volume bersama lokal dan kemudian memasang volume bersama lokal pada waktu proses. Jika direktori yang akan dipasang berisi sejumlah besar data, proses ini dapat mengonsumsi penyimpanan lokal yang signifikan dan meningkatkan waktu startup instans. Gunakan fitur ini hanya jika diperlukan.

• Pemasangan EmptyDir: Gunakan metode ini untuk memungkinkan instans membaca dari dan menulis ke direktori disk lokal pada waktu proses. Ini memastikan bahwa konten yang ditulis tidak hilang jika instans restart secara tak terduga.

{
    "storage": [
        {
            "empty_dir": {
              "medium": "memory",
              "size_limit": 20
            },
            "mount_path": "/dev/shm"
        }
    ]
}

Contoh konfigurasi JSON lengkap

Kode berikut memberikan contoh konfigurasi lengkap. Untuk informasi lebih lanjut, lihat Sebar layanan menggunakan JSON.

{
    "name": "service_name",
    "model_path": "http://path/to/model",
    "processor": "pmml",
    "storage": [
        {
            "oss": {
                "path": "oss://bucket/path/",
                "readOnly": false
            },
            "mount_path": "/mnt/data/"
        },
        {
            "nfs": {
                "path": "/",
                "server": "06ba74****-a****.cn-hangzhou.nas.aliyuncs.com",
                "readOnly": false
            },
            "mount_path": "/mnt/data/"
        },
        {
            "image": {
                "image": "registry-vpc.cn-shanghai.aliyuncs.com/eas/test_image:v1",
                "path": "/path/to/mount/"
            },
            "mount_path": "/data_image"
        },
        {
            "empty_dir": {
              "medium": "memory",
              "size_limit": 20
            },
            "mount_path": "/dev/shm"
        },
        {
            "git": {
                "repo": "https://codeup.aliyun.com/xxx/eas/aitest.git",
                "branch": "master",
                "commit": "xxx",
                "username": "username",
                "password": "password or access token"
            },
            "mount_path": "/mnt/data/"
        }
    ],
    "metadata": {
        "cpu": 1,
        "instance": 1,
        "resource": "eas-r-xxx"
    }
}

FAQ

1. Mengapa saya mendapatkan kesalahan "file tidak ditemukan" setelah memasang bucket OSS?

   Kesalahan ini biasanya disebabkan oleh jalur yang salah. Periksa konfigurasi pemasangan Anda dan jalur akses.

   Sebagai contoh, jika Anda memasang oss://my-bucket/ ke /mnt/data, file oss://my-bucket/subfolder/myfile.txt di OSS harus diakses menggunakan jalur /mnt/data/subfolder/myfile.txt di kontainer, bukan /mnt/data/myfile.txt.

2. Bisakah saya menggunakan alat FTP atau SSH untuk terhubung ke instans untuk mengunggah atau mengunduh file?

   Tidak. Instans EAS tidak menyediakan akses FTP atau SSH.

3. Bisakah saya memasang bucket OSS yang berada di wilayah berbeda dari layanan EAS saya?

   Tidak. EAS tidak dapat memasang bucket OSS lintas wilayah. Gunakan fitur replikasi lintas wilayah dari OSS untuk menyinkronkan data ke bucket OSS di wilayah yang sama dengan layanan EAS.

4. Jika tidak ada penyimpanan yang dipasang, di mana file yang saya unduh ke instans disimpan? File disimpan ke disk sistem instans. Disk sistem akan dibersihkan saat instans dimulai ulang atau diperbarui, mengakibatkan hilangnya data. Untuk membuat data Anda persisten, Anda harus memasang penyimpanan.