Konfigurasikan OSS Connector untuk AI/ML - Object Storage Service

Untuk memastikan permintaan akses ke OSS berasal dari pengguna atau aplikasi yang sah dan OSS Connector for AI/ML diinisialisasi dengan benar, Anda harus mengonfigurasi parameter sesuai kebutuhan.

Prasyarat

OSS Connector for AI/ML telah diinstal. Untuk informasi lebih lanjut, lihat Instal OSS Connector untuk AI/ML.

Konfigurasi kredensial akses

Buat file konfigurasi kredensial akses bernama credentials.

mkdir -p /root/.alibabacloud && touch /root/.alibabacloud/credentials

Konfigurasikan parameter dan simpan file konfigurasi tersebut.

Contoh:

{
  "AccessKeyId": "<Access-key-id>",
  "AccessKeySecret": "<Access-key-secret>",
  "SecurityToken": "<Security-Token>",
  "Expiration": "2024-08-02T15:04:05Z"
}

Tabel berikut menjelaskan parameter di atas.

Parameter	Wajib	Contoh	Deskripsi
AccessKeyId	Ya	STS.L4aB******************	ID AccessKey dan Rahasia AccessKey dari Akun Alibaba Cloud Anda atau Pengguna RAM. Jika Anda menggunakan token keamanan untuk autentikasi, atur parameter ini ke ID AccessKey dan Rahasia AccessKey dalam kredensial akses temporary.
AccessKeySecret	Ya	At32************************
SecurityToken	Tidak	STS.6MC2***************************************	Token keamanan. Parameter ini wajib jika Anda menggunakan kredensial akses temporary yang diperoleh dari Security Token Service (STS) untuk mengakses OSS. Jika Anda menggunakan ID AccessKey dan Rahasia AccessKey dari Akun Alibaba Cloud atau Pengguna RAM untuk autentikasi, biarkan parameter ini kosong.
Expiration	Tidak	2024-08-02T15:04:05Z	Waktu kedaluwarsa informasi autentikasi. Setelah waktu kedaluwarsa, connector OSS akan membaca ulang informasi autentikasi. Jika Anda tidak menentukan parameter Expiration, informasi autentikasi tidak akan kedaluwarsa. Jika Anda menggunakan token keamanan untuk autentikasi, kami menyarankan agar Anda menentukan parameter ini. Jika Anda menggunakan ID AccessKey dan Rahasia AccessKey dari Akun Alibaba Cloud atau Pengguna RAM untuk autentikasi, biarkan parameter ini kosong.

Gunakan ID AccessKey dan Rahasia AccessKey:
Ganti <Access-key-id> dan <Access-key-secret> pada contoh dengan ID AccessKey dan Rahasia AccessKey dari Pengguna RAM. Untuk informasi lebih lanjut tentang cara membuat ID AccessKey dan Rahasia AccessKey, lihat Buat Pasangan Kunci Akses.
```
{
  "AccessKeyId": "LTAI************************",
  "AccessKeySecret": "At32************************"
}
```
Gunakan kredensial akses temporary:

Catatan
Untuk menjaga keamanan data dalam skenario produksi jangka panjang, kami menyarankan penggunaan kredensial akses temporary guna mencegah kebocoran ID AccessKey dan Rahasia AccessKey. Jika Anda ingin memberikan otorisasi akses sementara, peroleh kredensial akses temporary terlebih dahulu. Untuk informasi lebih lanjut, lihat Gunakan kredensial temporary yang disediakan oleh STS untuk mengakses OSS. Setelah memperoleh kredensial akses temporary, ganti <Access-key-id>, <Access-key-secret>, dan <Security-Token> dengan ID AccessKey, Rahasia AccessKey, dan token keamanan.
```
{
  "AccessKeyId": "STS.L4aB******************",
  "AccessKeySecret": "wyLTSm*************************",
  "SecurityToken": "************",
  "Expiration": "2024-08-15T15:04:05Z"
}
```

Jalankan perintah chmod 400 /root/.alibabacloud/credentials untuk memberikan izin read-only pada file credentials, sehingga keamanan ID AccessKey dan Rahasia AccessKey terjamin.

Konfigurasi OSS Connector

Buat file konfigurasi bernama config.json untuk connector OSS.

mkdir -p /etc/oss-connector/ && touch /etc/oss-connector/config.json

Konfigurasikan parameter dan simpan file konfigurasi tersebut.

Pada sebagian besar kasus, Anda dapat menggunakan konfigurasi default.

{
    "logLevel": 1,
    "logPath": "/var/log/oss-connector/connector.log",
    "auditPath": "/var/log/oss-connector/audit.log",
    "expireTimeSec": 120,
    "prefetch": {
        "vcpus": 16,
        "workers": 16,
        "maxCacheAdviseGB": -1
    },
    "datasetConfig": {
        "prefetchConcurrency": 24,
        "prefetchWorker": 2
    },
    "checkpointConfig": {
        "prefetchConcurrency": 24,
        "prefetchWorker": 4,
        "uploadConcurrency": 64
    }
}

Tabel berikut menjelaskan parameter tersebut. Baca petunjuk dalam tabel dengan cermat sebelum mengubah konfigurasi.

Parameter		Wajib	Contoh	Deskripsi
logLevel		Tidak	1	Tingkat log. Nilai default adalah 1. Kami menyarankan agar Anda mengatur parameter ini ke 2. Nilai yang valid: 0, 1, 2, dan 3. 0 menunjukkan Debug, 1 menunjukkan INFO, 2 menunjukkan WARN, dan 3 menunjukkan ERROR.
logPath		Tidak	/var/log/oss-connector/connector.log	Jalur log OSS Connector untuk AI/ML. Nilai default: `/var/log/oss-connector/connector.log`.
auditPath		Tidak	/var/log/oss-connector/audit.log	Jalur log audit OSS Connector untuk AI/ML, yang mencatat permintaan baca dan tulis dengan latensi lebih dari 100 milidetik. Nilai default: `/var/log/oss-connector/audit.log`.
expireTimeSec		Tidak	120	Interval, dalam detik, bagi connector untuk membaca ulang file kredensial akses dan merefresh-nya jika sudah kedaluwarsa. Default: 120.
prefetch	vcpus	Tidak	16	Jumlah vCPU untuk pra-ambil dalam skenario inferensi. Default: 16.
	workers	Tidak	16	Jumlah thread pekerja untuk pra-ambil dalam skenario inferensi. Default: 16.
	maxCacheAdviseGB	Tidak	-1	Ukuran maksimum cache memori, dalam GB, yang dapat digunakan untuk pra-ambil. Nilai default -1 menunjukkan tidak ada batas. Jika ukuran file model melebihi memori yang tersedia pada node, atur parameter ini untuk mencegah error Out of Memory (OOM). Anda juga dapat mengatur nilai ini menggunakan variabel lingkungan `CONNECTOR_MAX_CACHE_ADVISE_GB`, yang memiliki prioritas lebih tinggi daripada pengaturan ini.
DatasetConfig	prefetchConcurrency	Tidak	24	Jumlah tugas unduh konkuren saat Anda menggunakan set data untuk pra-ambil data dari OSS. Nilai default: 24.
DatasetConfig	prefetchWorker	Tidak	2	Jumlah vCPU yang tersedia saat Anda menggunakan set data untuk pra-ambil data dari OSS. Nilai default: 2.
checkpointConfig	prefetchConcurrency	Tidak	24	Jumlah tugas unduh konkuren saat Anda menggunakan pembacaan checkpoint untuk pra-ambil data dari OSS. Nilai default: 24.
	prefetchWorker	Tidak	4	Jumlah vCPU yang tersedia saat Anda menggunakan pembacaan checkpoint untuk pra-ambil data dari OSS. Nilai default: 4.
	uploadConcurrency	Tidak	64	Jumlah tugas unggah konkuren saat Anda menggunakan penulisan checkpoint untuk mengunggah data ke OSS. Nilai default: 64.

Konfigurasi variabel lingkungan

Anda juga dapat mengonfigurasi OSS Connector untuk AI/ML melalui variabel lingkungan. Variabel ini akan menggantikan pengaturan yang sesuai dalam file konfigurasi.

Variabel lingkungan	Deskripsi
OSS_AUTHORIZATION_FILE_PATH	Jalur ke file kredensial akses dalam format JSON. Mendukung format ID/Rahasia AccessKey maupun kredensial STS temporary. Format ID/Rahasia AccessKey: `{"AccessKeyId":"LTAI**","AccessKeySecret":"At32"}` Format STS: `{"AccessKeyId":"STS.L4aB","AccessKeySecret":"wyLTSm","SecurityToken":"**","Expiration":"2024-08-15T15:04:05Z"}` Jika diatur, variabel ini memiliki prioritas lebih tinggi daripada variabel lingkungan `OSS_ACCESS_KEY_ID`, `OSS_ACCESS_KEY_SECRET`, dan `OSS_SESSION_TOKEN`.
CONNECTOR_CONFIG_PATH	Menentukan jalur ke file konfigurasi. Default: `/etc/oss-connector/config.json`.
CONNECTOR_UDS_PATH	Jalur file untuk Unix domain socket (UDS). Proses utama dan proses anak connector menggunakan UDS untuk berkomunikasi. Default: `/run/modelconnector.sock`.
CONNECTOR_MAX_CACHE_ADVISE_GB	Mengatur ukuran cache memori, dalam GB, untuk pra-ambil. Pengaturan ini setara dengan `prefetch.maxCacheAdviseGB` dalam file konfigurasi tetapi menggantikannya.

Referensi

Setelah menginstal dan mengonfigurasi OSS Connector untuk AI/ML, Anda dapat:

Menggunakan OssMapDataset untuk membangun set data map yang cocok untuk pembacaan acak. Untuk informasi lebih lanjut, lihat Gunakan data OSS untuk membangun set data OssMapDataset untuk pembacaan acak.
Menggunakan OssIterableDataset untuk membangun set data iterable yang cocok untuk pembacaan streaming sekuensial. Untuk informasi lebih lanjut, lihat Gunakan data di OSS untuk membangun set data iterable yang cocok untuk pembacaan streaming sekuensial.
Menggunakan OssCheckpoint untuk melakukan operasi baca dan tulis pada checkpoint di OSS. Untuk informasi lebih lanjut, lihat Simpan dan akses checkpoint di OSS.
Menggunakan OSS Connector untuk AI/ML guna meningkatkan efisiensi penerapan model dalam skenario inferensi. Untuk informasi lebih lanjut, lihat Gunakan OSS Connector untuk AI/ML guna meningkatkan efisiensi penerapan model.
Menggunakan fitur model broadcasting untuk mendistribusikan data model secara efisien ke beberapa instans inferensi. Untuk informasi lebih lanjut, lihat Model broadcasting.
Mengaktifkan fitur connector di Kubernetes untuk penerapan inferensi model. Untuk informasi lebih lanjut, lihat Aktifkan connector di Kubernetes.