Platform For AI:Storage mounts

Pilih solusi penyimpanan

Pertama, pilih jenis penyimpanan, lalu tentukan metode pemasangan.

Pemasangan penyimpanan dasar

{
  "storage": [
        {
            "oss": {
                "path": "oss://bucket/path/",
                "readOnly": false
            },
            "mount_path": "/mnt/data/"
        }
    ]
}

{
  "storage": [
        {
            "nfs": {
                "path": "/",
                "server": "06ba74****-a****.cn-hangzhou.nas.aliyuncs.com",
                "readOnly": false
            },
            "mount_path": "/mnt/data/"
        }
    ]
}

{
  "storage": [
        {
            "git": {
                "repo": "https://codeup.aliyun.com/xxx/eas/aitest.git",
                "branch": "master",
                "commit": "xxx",
                "username": "username",
                "password": "password or access token"
            },
            "mount_path": "/mnt/data/"
        }
    ]
}

Pemasangan aset platform

Pasang dataset, kumpulan kode, dan model yang telah didaftarkan sebagai Aset AI PAI untuk manajemen dan penggunaan ulang terpusat.

"storage": [
        {
            "dataset": {
                "id": "d-pcsah1t86bm8******",
                "version": "v1",
                "read_only": false
            },
            "mount_path": "/mnt/data/"
        }
    ]

"storage": [
        {
            "code": {
                "id": "code-4d3b42a1152****"
            },
            "mount_path": "/mnt/data/"
        }
    ]

Opsi pemasangan lanjutan

EAS mendukung metode pemasangan tambahan berikut:

• Pemasangan image: Menyalin file dari jalur image Docker ke volume lokal sementara, lalu memasangnya ke instans layanan. Direktori besar meningkatkan penggunaan penyimpanan dan waktu startup.

• Pemasangan EmptyDir: Penyimpanan lokal sementara untuk instans yang sedang berjalan. Konten tetap tersedia setelah restart tak terduga. Gunakan untuk caching atau file sementara.

{
    "storage": [
        {
            "image": {
                "image": "registry-vpc.cn-xxxx.aliyuncs.com/eas/image_name:v1",
                "path": "/path/to/mount/"
            },
            "mount_path": "/data_image"
        }
    ]
}

{
    "storage": [
        {
            "empty_dir": {},
            "mount_path": "/mnt/temp"
        }
    ]
}

{
    "storage": [
        {
            "empty_dir": {
              "medium": "memory",
              "size_limit": 20
            },
            "mount_path": "/dev/shm"
        }
    ]
}

Contoh konfigurasi JSON

Contoh konfigurasi lengkap. Penerapan menggunakan JSON dijelaskan dalam Terapkan layanan menggunakan JSON.

{
    "name": "service_name",
    "model_path": "http://path/to/model",
    "processor": "pmml",
    "storage": [
        {
            "oss": {
                "path": "oss://bucket/path/",
                "readOnly": false
            },
            "mount_path": "/mnt/oss_data/"
        },
        {
            "nfs": {
                "path": "/",
                "server": "06ba74****-a****.cn-hangzhou.nas.aliyuncs.com",
                "readOnly": false
            },
            "mount_path": "/mnt/nfs_data/"
        },
        {
            "image": {
                "image": "registry-vpc.cn-shanghai.aliyuncs.com/eas/test_image:v1",
                "path": "/path/to/mount/"
            },
            "mount_path": "/data_image"
        },
        {
            "empty_dir": {
              "medium": "memory",
              "size_limit": 20
            },
            "mount_path": "/dev/shm"
        },
        {
            "git": {
                "repo": "https://codeup.aliyun.com/xxx/eas/aitest.git",
                "branch": "master",
                "commit": "xxx",
                "username": "username",
                "password": "password or access token"
            },
            "mount_path": "/mnt/git_code/"
        }
    ],
    "metadata": {
        "cpu": 1,
        "instance": 1,
        "resource": "eas-r-xxx"
    }
}

FAQ

1. Mengapa saya menerima error "file not found" setelah memasang bucket OSS?

   Umumnya disebabkan oleh jalur yang salah. Verifikasi konfigurasi pemasangan dan jalur akses Anda.

   Sebagai contoh, jika Anda memasang oss://my-bucket/ ke /mnt/data, file di oss://my-bucket/subfolder/myfile.txt di OSS harus diakses dari jalur /mnt/data/subfolder/myfile.txt dalam kontainer, bukan /mnt/data/myfile.txt.

2. Apa yang harus saya lakukan jika pemasangan NAS gagal karena masalah koneksi jaringan?

   Pemasangan NAS mengharuskan layanan EAS dan titik pemasangan NAS berada dalam VPC yang sama. Periksa:

   • Konsistensi VPC: Pastikan ID VPC sama untuk layanan EAS dan titik pemasangan NAS.

   • Konfigurasi jaringan: Untuk mengakses NAS, konfigurasikan jaringan mengikuti petunjuk di Akses sumber daya publik atau internal dari EAS.

   • Status titik pemasangan: Verifikasi bahwa titik pemasangan NAS ada dan berada dalam status Available.

3. Apa yang harus saya lakukan jika pemasangan Git gagal karena error autentikasi?

   Periksa:

   • Validitas Access Token: Pastikan token akses Git Anda belum kedaluwarsa dan memiliki izin baca untuk repositori tersebut.

   • Izin repositori: Untuk repositori pribadi, pastikan username dan password atau token benar serta memiliki izin baca.

   • Format alamat repositori: Gunakan protokol HTTPS, seperti https://github.com/user/repo.git. Protokol Git tidak didukung.

   • Eksistensi branch/commit: Pastikan nama branch atau ID commit yang ditentukan ada di repositori.

4. Apa yang harus saya lakukan jika layanan gagal dimulai karena konflik jalur pemasangan?

   Konflik jalur pemasangan dapat disebabkan oleh alasan berikut:

   • Jalur pemasangan duplikat: Dalam layanan yang sama, beberapa konfigurasi penyimpanan menggunakan jalur pemasangan yang sama. Pastikan mount_path untuk setiap penyimpanan unik.

   • Konflik direktori sistem: Jalur pemasangan tidak boleh berupa direktori sistem penting, seperti /bin, /etc, /usr, atau /lib. Gunakan jalur di bawah /mnt atau /data sebagai gantinya.

   • Format jalur salah: Jalur pemasangan harus merupakan jalur mutlak yang diawali dengan garis miring (/).

5. Bisakah saya menggunakan tool FTP atau SSH untuk terhubung ke instans guna mengunggah atau mengunduh file?

   Tidak. Instans EAS tidak menyediakan akses FTP atau SSH.

6. Bisakah saya memasang bucket OSS yang berada di wilayah berbeda dari layanan EAS saya?

   Tidak. EAS tidak dapat memasang bucket OSS lintas wilayah. Gunakan fitur replikasi lintas wilayah OSS untuk menyinkronkan data ke bucket OSS di wilayah yang sama dengan layanan EAS.

7. Jika tidak ada penyimpanan yang dipasang, di mana file yang saya unduh ke instans disimpan?

   File disimpan ke disk sistem instans, yang bersifat sementara. Data pada disk sistem hilang saat instans direstart atau diperbarui. Untuk menyimpan data secara persisten, pasang penyimpanan eksternal.

8. Apa yang harus saya lakukan jika pemasangan OSS gagal untuk layanan EAS dan log s3fs menunjukkan signal terminated?

   signal terminated menunjukkan bahwa proses pemasangan dihentikan oleh sinyal eksternal, bukan karena error dari OSS. Lakukan troubleshooting dalam urutan berikut:

   • Konsistensi wilayah antara endpoint dan bucket: Pastikan endpoint yang tercantum dalam Uri (oss.path) berada dalam wilayah yang sama dengan bucket target. Endpoint internal hanya tersedia dalam wilayah yang sama. Endpoint dari wilayah lain selain wilayah tempat bucket berada menyebabkan koneksi s3fs gagal.

   • Izin peran RAM: Pastikan peran RAM yang dikonfigurasi untuk layanan memiliki izin baca dan tulis pada bucket target. Jika izin tidak mencukupi, proses pemasangan akan keluar saat startup.

   • Error detail dari curldbg: Tambahkan parameter -o curldbg ke konfigurasi pemasangan dan restart layanan. Parameter ini menyebabkan log mencakup error permintaan HTTP mendasar secara detail, yang membantu membedakan antara masalah jaringan, autentikasi, dan jalur.

   • Pemeriksaan kesehatan dan batas sumber daya: Pastikan timeout pemeriksaan kesehatan untuk layanan cukup lama dan sumber daya kontainer tidak melebihi batas. Timeout pemeriksaan kesehatan atau melebihi batas sumber daya juga menghentikan proses instans dan dapat menyebabkan kehilangan data, yang juga dilaporkan sebagai signal terminated dalam log.

9. Apa yang harus saya lakukan jika pengambilan image kontainer lintas wilayah gagal?

   Bangun ulang dan dorong image runtime di wilayah yang sama dengan layanan, atau konfigurasikan virtual private cloud (VPC) untuk terhubung ke jaringan internal lintas wilayah. Untuk langkah troubleshooting detail, lihat FAQ tentang EAS dan Gunakan custom image.