Cara membuat dan mengelola set data - DataWorks

Fitur set data di DataWorks memungkinkan Anda mengelola data tidak terstruktur, seperti citra dan dokumen, untuk digunakan dalam DataWorks. Topik ini menjelaskan cara membuat dan menggunakan set data.

Latar Belakang

Saat mengembangkan data di DataWorks, Anda dapat menggunakan fitur set data untuk membaca dan menulis data yang disimpan di OSS dan NAS. Fitur ini mendukung pembuatan dan pengelolaan set data beserta versinya. Manajemen versi memungkinkan Anda melacak versi data dan dengan cepat kembali ke versi sebelumnya jika versi baru mengalami masalah, sehingga membantu memastikan kelancaran operasi bisnis Anda.

Perhatian

Fitur set data saat ini berada dalam tahap beta. Fitur akhir dan stabilitasnya mungkin berbeda.

Penagihan

Fitur set data DataWorks tidak dikenai biaya. Namun, penyimpanan data di OSS atau NAS akan dikenai biaya penyimpanan dan akses jaringan. Untuk informasi selengkapnya, lihat penagihan OSS dan penagihan NAS.

Buat set data

Masuk ke Konsol DataWorks. Di bilah navigasi atas, pilih Wilayah yang diinginkan. Di panel navigasi sebelah kiri, pilih Data Governance > Data Map. Pada halaman yang muncul, klik Go to Data Map.
Di panel navigasi sebelah kiri halaman Data Map, klik Data Catalog () untuk membuka halaman Data Catalog. Di Directory List, klik Dataset Catalog.
Temukan ruang kerja tempat Anda ingin membuat set data dan klik namanya. Hal ini akan membuka halaman detail set data untuk ruang kerja tersebut, yang menampilkan semua set data yang ada. Klik tombol Create Dataset dan ikuti petunjuk untuk membuat set data DataWorks.

Kelas penyimpanan: OSS

Konfigurasi set data:
Item konfigurasi
Deskripsi
Storage class
OSS
Content type
Pilih jenis data yang sedang Anda daftarkan. Ini bersifat opsional. Nilai default-nya adalah General.

Konfigurasi impor:

Item konfigurasi	Deskripsi
OSS path	Tentukan path folder OSS yang akan dipasang. Catatan Pastikan Anda memiliki izin Bucket OSS yang diperlukan.
Default mount path	Tentukan path pemasangan default untuk folder OSS. Anda dapat menggunakan path ini untuk mengakses data di DataWorks. Default sistem adalah `/mnt/data/`. Anda dapat mengubah path pemasangan secara manual.

Kelas penyimpanan: NAS

Konfigurasi set data:

Item konfigurasi	Deskripsi
Storage class	Pilih File Storage (General-purpose NAS file systems) atau File Storage (Extreme NAS file systems)
Content type	Pilih jenis data yang sedang Anda daftarkan. Ini bersifat opsional. Nilai default-nya adalah General.

Konfigurasi impor:

Item konfigurasi	Deskripsi konfigurasi
File system	Pilih sistem file NAS tujuan yang dibuat di Wilayah saat ini di bawah Akun Alibaba Cloud Anda.
File system mount target	Konfigurasikan mount target untuk mengakses sistem file NAS. Penting Pastikan VPC dari titik pemasangan terhubung ke VPC kelompok sumber daya: Gunakan VPC yang sama untuk titik pemasangan NAS dan kelompok sumber daya untuk memastikan konektivitas jaringan. Untuk skenario lainnya, lihat Overview of network connectivity solutions untuk menghubungkan VPC titik pemasangan NAS ke VPC yang dikonfigurasi untuk kelompok sumber daya.
File system path	Tentukan path folder NAS yang akan dipasang. Default-nya adalah direktori root `/`. Pastikan path ini ada di sistem file NAS. Jika tidak, kesalahan akan terjadi saat Anda menggunakan set data.
Default mount path	Tentukan path pemasangan default di set data untuk folder NAS. Anda kemudian dapat menggunakan path ini untuk mengakses data di path NAS dari DataWorks. Default sistem adalah `/mnt/data/`. Anda dapat mengubah path pemasangan secara manual.

Kelola set data

Di Data Catalog > Dataset Catalog, arahkan ke daftar set data ruang kerja tujuan. Di kolom Operation set data yang ingin Anda kelola, klik Details. Hal ini akan membuka halaman detail set data. Di halaman ini, Anda dapat melihat informasi Overview dan Dataset Version serta melakukan operasi berikut:

Create Version: Klik tombol Create Version di pojok kanan atas untuk membuka halaman pembuatan versi. Saat membuat versi baru, Anda dapat menyesuaikan OSS Path atau NAS File System Configuration dan mengatur Default Mount Path.
Delete Dataset: Klik tombol Delete di pojok kanan atas halaman detail set data untuk menghapus set data.
View Dataset Data: Operasi ini hanya didukung untuk set data Object Storage Service (OSS). Di bagian Dataset Version, pilih versi yang diinginkan dari menu drop-down di samping judul, lalu klik View In OSS. Anda akan diarahkan ke path penyimpanan versi tersebut di Konsol OSS.
Delete Version: Di bagian Dataset Version, pilih versi yang diinginkan dari menu drop-down di samping judul, lalu klik tombol Delete.

Penting

Menghapus set data atau versi set data tidak akan menghapus file aslinya. Namun, set data atau versi yang dihapus tidak dapat dipulihkan melalui fitur set data DataWorks. Lakukan dengan hati-hati.

Gunakan set data

Anda dapat menggunakan set data yang telah dibuat di Data Studio, seperti Shell nodes, Python nodes, dan Notebook development, serta di personal development environment Anda.

Untuk informasi selengkapnya, lihat Use a dataset.