Kelola dataset di AI Dashboard - Container Service for Kubernetes

Dataset adalah kumpulan data dengan atribut serupa atau digunakan untuk tujuan yang sama. Anda dapat memperbarui dan menghapus data dari berbagai sumber dalam dataset. Topik ini menjelaskan cara mengelola dataset di AI Dashboard.

Prasyarat

Set komponen AI cloud-native telah terpasang. Untuk informasi lebih lanjut, lihat Sebarkan suite AI cloud-native.
Kredensial administrator AI Dashboard telah diperoleh.

Buat dataset yang dipercepat berdasarkan PVC yang ada

Masuk ke AI Dashboard. Untuk informasi lebih lanjut, lihat Akses AI Dashboard.
Di panel navigasi sisi kiri AI Dashboard, pilih Dataset > Dataset List.
Pilih dataset yang ingin Anda percepat dan klik Accelerate di kolom Operator.
Catatan
Jika tidak ada jenis data lain yang tersedia, halaman Dataset List menampilkan semua klaim volume persisten (PVC) di kluster saat ini.
Di kotak dialog Edit Dataset, atur parameter berikut:
- Tentukan name untuk dataset yang ingin Anda percepat dan pilih namespace tempat dataset tersebut berada.
- Pilih PVC untuk Source Type, pilih Data Source, lalu masukkan Sub Dir.
- Atur Runtime Config. Bidang nama harus diatur sesuai dengan nama dataset.
  Contoh template Runtime Config berikut disediakan sebagai referensi:
```
apiVersion: data.fluid.io/v1alpha1
kind: JindoRuntime
metadata:
  name: fluid-imagenet
spec:
  replicas: 4
  data:
    replicas: 1
  tieredstore:
    levels:
      - mediumtype: SSD
        path: /var/lib/docker/alluxio
        quota: 150Gi
        high: "0.99"
        low: "0.8"
```
Klik Save. state dataset menampilkan NotReady. Tunggu beberapa detik. Lalu, state dataset berubah menjadi Ready.

Buat dataset yang dipercepat berdasarkan OSS

Step 1: Create a Secret

Konfigurasi Object Storage Service (OSS) berisi informasi sensitif dan harus dienkripsi sebelum Anda meneruskan informasi tersebut ke AI Dashboard. Anda harus membuat Secret. Template YAML berikut adalah contohnya:

apiVersion: v1
kind: Secret
metadata:
  name: imagenet-oss-xxx
  namespace: default
type: kubernetes.io/basic-auth
stringData:
  username: <ACCESS_ID>
  password: <ACCESS_KEY>

Jalankan perintah berikut untuk membuat Secret:

kubectl create -f oss_access_secret.yaml

Step 2: Create an accelerated dataset based on OSS

Masuk ke AI Dashboard. Untuk informasi lebih lanjut, lihat Akses AI Dashboard.
Di panel navigasi sisi kiri AI Dashboard, pilih Dataset > Dataset List.
Klik Add.

Di kotak dialog Create Dataset, atur parameter berikut:

Tentukan name untuk dataset yang ingin Anda buat dan pilih namespace tempat dataset tersebut berada.

Pilih OSS untuk Source Type. Tabel berikut menjelaskan parameter-parameter tersebut.

AI-6

Parameter	Contoh	Deskripsi
Nama	oss-imagenet	Anda dapat memasukkan nama kustom.
Namespace	default	Atur nilai ke `namespace` yang ditentukan dalam konfigurasi Secret yang Anda buat. Untuk informasi lebih lanjut, lihat Langkah 1: Buat Secret.
Sumber Data	oss://my-dawnbench-v2/	N/A
Sub Dir	mydawnbench-v2	Anda dapat memasukkan subdirektori kustom.
Titik akhir	oss-xxx.aliyuncs.com	N/A
accessKeyId	secret: imagenet-oss-xxx secretKey: username	Atur secret ke `name` Secret yang Anda buat. Untuk informasi lebih lanjut, lihat Langkah 1: Buat Secret. Atur secretkey ke `username` yang ditentukan dalam konfigurasi Secret yang Anda buat. Untuk informasi lebih lanjut, lihat Langkah 1: Buat Secret.
accessKeySecret	secret: imagenet-oss-xxx secretKey: password	Atur secret ke `name` Secret yang Anda buat. Untuk informasi lebih lanjut, lihat Langkah 1: Buat Secret. Atur secretkey ke `password` yang ditentukan dalam konfigurasi Secret yang Anda buat. Untuk informasi lebih lanjut, lihat Langkah 1: Buat Secret.

Untuk memastikan bahwa dataset dibuat pada node yang ingin Anda akses, jalankan perintah berikut untuk menambahkan afinitas node:
```
aliyun.accelerator/nvidia_name in Tesla-V100-SXM2-16GB;Tesla-V100-SXM2-32GB
```

Atur Runtime Config. Bidang nama harus diatur sesuai dengan nama dataset.

Contoh template Runtime Config berikut disediakan sebagai referensi:

apiVersion: data.fluid.io/v1alpha1
kind: JindoRuntime
metadata:
  name: oss-imagenet
spec:
  replicas: 2
  data:
    replicas: 1
  tieredstore:
    levels:
      - mediumtype: SSD
        path: /var/lib/docker/alluxio
        quota: 150Gi
        high: '0.99'
        low: '0.8'

Klik Save. state dataset menampilkan NotReady. Tunggu beberapa detik. Lalu, state dataset berubah menjadi Ready.

Buat dataset yang dipercepat berdasarkan layanan penyimpanan lainnya

Masuk ke AI Dashboard. Untuk informasi lebih lanjut, lihat Akses AI Dashboard.
Di panel navigasi sisi kiri AI Dashboard, pilih Dataset > Dataset List.
Klik Add.
Di kotak dialog Create Dataset, atur parameter berikut:
- Tentukan name untuk dataset yang ingin Anda buat dan pilih namespace tempat dataset tersebut berada.
- Pilih Others untuk Source Type, atur Data Source, lalu atur Sub Dir.
- Atur Runtime Config. Bidang nama harus diatur sesuai dengan nama dataset.
  Contoh template Runtime Config berikut disediakan sebagai referensi:
```
apiVersion: data.fluid.io/v1alpha1
kind: JindoRuntime
metadata:
  name: fluid-imagenet
spec:
  replicas: 4
  data:
    replicas: 1
  tieredstore:
    levels:
      - mediumtype: SSD
        path: /var/lib/docker/alluxio
        quota: 150Gi
        high: "0.99"
        low: "0.8"
```
Klik Save. state dataset menampilkan NotReady. Tunggu beberapa detik. Lalu, state dataset berubah menjadi Ready.

Hapus dataset

Penting

Pengguna biasa tidak dapat menghapus dataset yang tidak dipercepat. Hanya administrator dengan akun Alibaba Cloud terkait yang dapat menghapus dataset di konsol ACK.

Masuk ke AI Dashboard sebagai administrator.
Temukan dataset yang ingin Anda hapus dan klik Delete di kolom Operator.