Konfigurasikan OSS Connector

Untuk memastikan bahwa permintaan akses ke OSS dikirim oleh pengguna sah atau aplikasi dan OSS Connector untuk AI/ML diinisialisasi dengan benar, Anda harus mengonfigurasi parameter yang sesuai.

Prasyarat

OSS Connector untuk AI/ML telah terpasang. Untuk informasi lebih lanjut, lihat Instalasi.

Konfigurasikan kredensial akses

Buat file konfigurasi kredensial akses bernama credentials.

mkdir -p /root/.alibabacloud && touch /root/.alibabacloud/credentials

Konfigurasikan parameter dan simpan file konfigurasi.

Contoh:

{
  "AccessKeyId": "<Access-key-id>",
  "AccessKeySecret": "<Access-key-secret>",
  "SecurityToken": "<Security-Token>",
  "Expiration": "2024-08-02T15:04:05Z"
}

Tabel berikut menjelaskan parameter-parameter di atas.

Parameter	Diperlukan	Contoh	Deskripsi
AccessKeyId	Ya	STS.L4aB******************	ID AccessKey dan Rahasia AccessKey dari akun Alibaba Cloud Anda atau pengguna RAM. Jika Anda menggunakan token keamanan untuk otentikasi, atur parameter ini ke ID AccessKey dan Rahasia AccessKey dalam kredensial akses sementara.
AccessKeySecret	Ya	At32************************
SecurityToken	Tidak	STS.6MC2***************************************	Token keamanan. Parameter ini diperlukan saat Anda menggunakan kredensial akses sementara yang diperoleh dari Security Token Service (STS) untuk mengakses OSS. Jika Anda menggunakan ID AccessKey dan Rahasia AccessKey dari akun Alibaba Cloud atau pengguna RAM untuk otentikasi, biarkan parameter ini kosong.
Expiration	Tidak	2024-08-02T15:04:05Z	Waktu kedaluwarsa informasi otentikasi. Setelah waktu kedaluwarsa, konektor OSS membaca ulang informasi otentikasi. Jika Anda tidak menentukan parameter Expiration, informasi otentikasi tidak akan kedaluwarsa. Jika Anda menggunakan token keamanan untuk otentikasi, kami sarankan Anda menentukan parameter ini. Jika Anda menggunakan ID AccessKey dan Rahasia AccessKey dari akun Alibaba Cloud atau pengguna RAM untuk otentikasi, biarkan parameter ini kosong.

Gunakan ID AccessKey dan Rahasia AccessKey:
Ganti <Access-key-id> dan <Access-key-secret> dalam contoh dengan ID AccessKey dan Rahasia AccessKey dari pengguna RAM. Untuk informasi lebih lanjut tentang cara membuat ID AccessKey dan Rahasia AccessKey, lihat Buat pasangan AccessKey.
```
{
  "AccessKeyId": "LTAI************************",
  "AccessKeySecret": "At32************************"
}
```
Gunakan kredensial akses sementara:
Catatan
Untuk memastikan keamanan data dalam skenario di mana kredensial akses digunakan dalam lingkungan produksi untuk jangka waktu panjang, kami sarankan Anda menggunakan kredensial akses sementara untuk mencegah ID AccessKey dan Rahasia AccessKey bocor. Jika Anda ingin memberikan otorisasi akses sementara, Anda harus memperoleh kredensial akses sementara. Untuk informasi lebih lanjut, lihat Gunakan kredensial akses sementara yang disediakan oleh STS untuk mengakses OSS. Setelah Anda memperoleh kredensial akses sementara, ganti <Access-key-id>, <Access-key-secret>, dan <Security-Token> dengan ID AccessKey, Rahasia AccessKey, dan token keamanan.
```
{
  "AccessKeyId": "STS.L4aB******************,
  "AccessKeySecret": "wyLTSm*************************",
  "SecurityToken": "************",
  "Expiration": "2024-08-15T15:04:05Z"
}
```

Jalankan perintah chmod 400 /root/.alibabacloud/credentials untuk memberikan izin baca saja pada file credentials guna memastikan keamanan ID AccessKey dan Rahasia AccessKey.

Buat file konfigurasi bernama config.json untuk OSS connector.

mkdir -p /etc/oss-connector/ && touch /etc/oss-connector/config.json

Konfigurasikan parameter dan simpan file konfigurasi.

Pada sebagian besar kasus, Anda dapat menggunakan konfigurasi default.

{
    "logLevel": 1,
    "logPath": "/var/log/oss-connector/connector.log",
    "auditPath": "/var/log/oss-connector/audit.log",
    "datasetConfig": {
        "prefetchConcurrency": 24,
        "prefetchWorker": 2
    },
    "checkpointConfig": {
        "prefetchConcurrency": 24,
        "prefetchWorker": 4,
        "uploadConcurrency": 64
    }
}

Tabel berikut menjelaskan parameter-parameter tersebut. Baca instruksi dalam tabel dengan cermat sebelum Anda mengubah konfigurasi.

Parameter		Diperlukan	Contoh	Deskripsi
logLevel		Tidak	1	Tingkat log. Nilai default adalah 1. Kami sarankan Anda mengatur parameter ini ke 2. Nilai valid: 0, 1, 2, dan 3. 0 menentukan Debug, 1 menentukan INFO, 2 menentukan WARN, dan 3 menentukan ERROR.
logPath		Tidak	/var/log/oss-connector/connector.log	Path log OSS Connector untuk AI/ML. Nilai default: `/var/log/oss-connector/connector.log`.
auditPath		Tidak	/var/log/oss-connector/audit.log	Path log audit OSS Connector untuk AI/ML, yang mencatat permintaan baca dan tulis yang memiliki latensi lebih dari 100 milidetik. Nilai default: `/var/log/oss-connector/audit.log`.
DatasetConfig	prefetchConcurrency	Tidak	24	Jumlah tugas unduh konkuren saat Anda menggunakan dataset untuk mempramuat data dari OSS. Nilai default: 24.
DatasetConfig	prefetchWorker	Tidak	2	Jumlah vCPU yang tersedia saat Anda menggunakan dataset untuk mempramuat data dari OSS. Nilai default: 2.
checkpointConfig	prefetchConcurrency	Tidak	24	Jumlah tugas unduh konkuren saat Anda menggunakan checkpoint read untuk mempramuat data dari OSS. Nilai default: 24.
	prefetchWorker	Tidak	4	Jumlah vCPU yang tersedia saat Anda menggunakan checkpoint read untuk mempramuat data dari OSS. Nilai default: 4.
	uploadConcurrency	Tidak	64	Jumlah tugas unggah konkuren saat Anda menggunakan checkpoint write untuk mengunggah data ke OSS. Nilai default: 64.

Referensi

Setelah Anda menginstal dan mengonfigurasi OSS Connector untuk AI/ML, Anda dapat melakukan operasi berikut dengan menggunakan pekerjaan pelatihan Pytorch:

Gunakan OssMapDataset untuk membangun dataset peta yang cocok untuk pembacaan acak. Untuk informasi lebih lanjut, lihat Gunakan data OSS untuk membangun dataset OssMapDataset untuk pembacaan acak.
Gunakan OssIterableDataset untuk membangun dataset iterable yang cocok untuk pembacaan streaming berurutan. Untuk informasi lebih lanjut, lihat Gunakan data di OSS untuk membangun dataset iterable yang cocok untuk pembacaan streaming berurutan.
Gunakan OssCheckpoint untuk melakukan operasi baca dan tulis pada checkpoint di OSS. Untuk informasi lebih lanjut, lihat Simpan dan akses checkpoint di OSS.