Konfigurasi OSS Connector untuk AI/ML - Object Storage Service

OSS Connector untuk AI/ML memerlukan dua file konfigurasi untuk melakukan autentikasi dengan OSS dan menjalankan pekerjaan pelatihan: file kredensial akses dan file konfigurasi connector.

Prasyarat

Sebelum memulai, pastikan Anda telah:

Menginstal OSS Connector untuk AI/ML. Lihat Instalasi.

Konfigurasikan kredensial akses

OSS Connector membaca kredensial dari /root/.alibabacloud/credentials. Dua jenis kredensial didukung: kredensial temporary dari Security Token Service (STS) dan pasangan AccessKey permanen.

Gunakan kredensial temporary STS di lingkungan produksi. Kredensial temporary kedaluwarsa secara otomatis, sehingga membatasi dampak jika kredensial tersebut dikompromikan. Pasangan AccessKey permanen tidak kedaluwarsa dan membawa risiko lebih tinggi jika bocor.

Langkah 1: Buat file kredensial

mkdir -p /root/.alibabacloud && touch /root/.alibabacloud/credentials

Langkah 2: Tambahkan kredensial Anda

Pilih salah satu format berikut berdasarkan metode autentikasi Anda.

Opsi 1: Kredensial temporary STS (disarankan)

Dapatkan kredensial temporary dari STS terlebih dahulu. Lihat Gunakan kredensial akses temporary yang disediakan oleh STS untuk mengakses OSS. Kemudian tulis konten berikut ke dalam file kredensial:

{
  "AccessKeyId": "STS.L4aB******************",
  "AccessKeySecret": "wyLTSm*************************",
  "SecurityToken": "************",
  "Expiration": "2024-08-15T15:04:05Z"
}

Opsi 2: Pasangan AccessKey permanen

Dapatkan pasangan AccessKey Anda dari Konsol RAM. Lihat Buat pasangan AccessKey. Kemudian tulis konten berikut ke dalam file kredensial:

{
  "AccessKeyId": "LTAI************************",
  "AccessKeySecret": "At32************************"
}

Tabel berikut menjelaskan parameter dalam file kredensial.

Parameter	Wajib	Deskripsi
`AccessKeyId`	Ya	ID AccessKey dari Akun Alibaba Cloud atau RAM user Anda. Saat menggunakan STS, atur nilai ini ke ID AccessKey dari kredensial temporary.
`AccessKeySecret`	Ya	Rahasia AccessKey dari Akun Alibaba Cloud atau RAM user Anda. Saat menggunakan STS, atur nilai ini ke Rahasia AccessKey dari kredensial temporary.
`SecurityToken`	Tidak	Token keamanan dari STS. Wajib saat menggunakan kredensial temporary. Biarkan kosong saat menggunakan pasangan AccessKey permanen.
`Expiration`	Tidak	Waktu kedaluwarsa kredensial dalam format ISO 8601 (misalnya, `2024-08-02T15:04:05Z`). Setelah waktu kedaluwarsa, OSS Connector akan membaca ulang file kredensial. Jika Anda tidak menentukan parameter ini, kredensial tidak akan kedaluwarsa. Atur parameter ini saat menggunakan kredensial STS agar connector dapat mengambil token yang diperbarui tepat waktu. Biarkan kosong untuk pasangan AccessKey permanen.

Langkah 3: Batasi izin file

chmod 400 /root/.alibabacloud/credentials

Ini memberikan akses read-only hanya kepada pemilik file dan mencegah pengguna lain membaca kredensial Anda.

Konfigurasikan OSS Connector

OSS Connector membaca konfigurasi waktu prosesnya dari /etc/oss-connector/config.json. Nilai default berfungsi untuk sebagian besar pengaturan — ubah hanya jika Anda memiliki kebutuhan khusus terkait performa atau logging.

Langkah 1: Buat file konfigurasi

mkdir -p /etc/oss-connector/ && touch /etc/oss-connector/config.json

Langkah 2: Tulis konfigurasi

{
  "logLevel": 1,
  "logPath": "/var/log/oss-connector/connector.log",
  "auditPath": "/var/log/oss-connector/audit.log",
  "datasetConfig": {
    "prefetchConcurrency": 24,
    "prefetchWorker": 2
  },
  "checkpointConfig": {
    "prefetchConcurrency": 24,
    "prefetchWorker": 4,
    "uploadConcurrency": 64
  }
}

Tabel berikut menjelaskan setiap parameter.

Parameter	Default	Deskripsi
`logLevel`	`1`	Tingkat detail log. Nilai yang valid: `0` (Debug), `1` (INFO), `2` (WARN), `3` (ERROR). Atur ke `2` untuk mengurangi volume log di lingkungan produksi.
`logPath`	`/var/log/oss-connector/connector.log`	Jalur untuk log waktu proses OSS Connector.
`auditPath`	`/var/log/oss-connector/audit.log`	Jalur untuk log audit, yang mencatat permintaan baca dan tulis dengan latensi lebih dari 100 milidetik.
`datasetConfig.prefetchConcurrency`	`24`	Jumlah tugas unduh konkuren saat melakukan pra-ambil data dari OSS menggunakan set data.
`datasetConfig.prefetchWorker`	`2`	Jumlah vCPU yang tersedia untuk operasi pra-ambil set data.
`checkpointConfig.prefetchConcurrency`	`24`	Jumlah tugas unduh konkuren saat melakukan pra-ambil data dari OSS selama pembacaan checkpoint.
`checkpointConfig.prefetchWorker`	`4`	Jumlah vCPU yang tersedia untuk operasi pembacaan checkpoint.
`checkpointConfig.uploadConcurrency`	`64`	Jumlah tugas unggah konkuren untuk penulisan checkpoint ke OSS.

Langkah berikutnya

Setelah menginstal dan mengonfigurasi OSS Connector untuk AI/ML, gunakan dalam pekerjaan pelatihan PyTorch Anda:

OssMapDataset — Bangun set data map untuk pembacaan akses acak. Lihat Gunakan data OSS untuk membangun set data OssMapDataset guna pembacaan acak.
OssIterableDataset — Bangun set data iterable untuk pembacaan streaming sekuensial. Lihat Gunakan data di OSS untuk membangun set data iterable yang sesuai untuk pembacaan streaming sekuensial.
OssCheckpoint — Baca dan tulis checkpoint pelatihan di OSS. Lihat Simpan dan akses checkpoint di OSS.