Set data DataWorks memungkinkan Anda mengelola data tidak terstruktur seperti gambar dan dokumen. Anda dapat membuat set data yang didukung oleh penyimpanan OSS atau NAS serta melacak versi data.
Ikhtisar
Set data memungkinkan Anda membaca dan menulis data yang disimpan di OSS dan NAS dari DataWorks. Anda dapat membuat beberapa versi set data, melacak perubahan, dan kembali ke versi sebelumnya jika diperlukan.
Perhatian
Fitur set data saat ini berada dalam tahap beta. Fitur akhir dan stabilitasnya dapat berubah.
Penagihan
Fitur set data DataWorks gratis. Penyimpanan OSS dan NAS dikenai biaya penyimpanan dan jaringan terpisah (penagihan OSS, penagihan NAS).
Buat set data
-
Masuk ke Konsol DataWorks. Di Wilayah target, klik di panel navigasi sebelah kiri. Pada halaman yang muncul, klik Go to Data Map.
-
Pada halaman Data Map, klik Data Catalog (
) di panel navigasi sebelah kiri. Lalu, di bawah Catalogs, klik DataSet. -
Klik ruang kerja target Anda. Pada halaman daftar set data, klik Create Dataset dan konfigurasikan pengaturan yang dijelaskan di bawah ini.
Jika administrator telah mengonfigurasi atribut kustom untuk tipe set data, Anda dapat mengatur nilai seperti domain bisnis dan tingkat sensitivitas data saat membuat set data. Atribut kustom dapat mewarisi nilai tingkat ruang kerja.
Storage class: OSS
-
Dataset Configuration:
Configuration item
Description
Storage class
OSS
Content type
Opsional. Pilih tipe data. Default: General.
-
Import Configuration:
Configuration item
Description
OSS path
Path folder OSS yang akan dipasang.
CatatanPastikan Anda memiliki izin Bucket OSS yang diperlukan.
Default mount path
Path pemasangan folder OSS di DataWorks. Default:
/mnt/data/. Anda dapat mengubah path pemasangan tersebut.
Storage class: NAS
-
Dataset Configuration:
Configuration item
Description
Storage class
Pilih File Storage (General-purpose NAS) atau File Storage (Extreme NAS file systems)
Content type
Opsional. Pilih tipe data. Default: General.
-
Import Configuration:
Configuration item
Description
File system
Pilih sistem file NAS di Wilayah saat ini di bawah Akun Alibaba Cloud Anda.
File system mount target
Konfigurasikan mount target untuk sistem file NAS.
PentingVPC mount target harus terhubung ke VPC kelompok sumber daya:
-
Gunakan VPC yang sama untuk mount target NAS dan kelompok sumber daya.
-
Untuk skenario cross-VPC, ikuti Ikhtisar untuk menghubungkan VPC mount target NAS ke VPC kelompok sumber daya.
File system path
Path folder NAS yang akan dipasang. Default:
/. Path tersebut harus ada di sistem file NAS.Default mount path
Path pemasangan folder NAS di DataWorks. Default:
/mnt/data/. Anda dapat mengubah path pemasangan tersebut. -
Lihat detail set data
Bagian ini menjelaskan cara mencari set data yang sudah ada, masuk ke halaman detailnya, serta informasi yang tersedia di halaman tersebut. Untuk memodifikasi set data (membuat versi, menghapus, dan sebagainya), lihat Kelola set data.
Untuk membuka halaman detail set data: di bawah , buka daftar set data untuk ruang kerja target, lalu klik Details di kolom Actions set data target.
Halaman detail memiliki dua tata letak. Saat Anda membuka halaman dari panel Data Catalog (default), tombol Create Version dan Delete Dataset tersedia di pojok kanan atas. Saat Anda membukanya langsung dari hasil pencarian global atau tautan eksternal (rute detail mandiri), header halaman juga menyediakan tombol Manage yang membawa Anda kembali ke panel manajemen set data ini di Data Catalog. Konten tab tetap sama pada kedua tata letak tersebut.
Halaman detail berisi tab-tab berikut:
-
Properties: Menampilkan pemilik set data, waktu pembuatan, ruang kerja pemilik, deskripsi, dan bidang inti lainnya. Jika administrator telah mengonfigurasi atribut kustom, kartu atribut kustom yang sesuai juga ditampilkan (untuk informasi lebih lanjut, lihat Atribut kustom; nilai atribut kustom dapat diwariskan dari ruang kerja). Tab ini juga menyematkan blok Dataset Version yang mencantumkan semua versi set data dan menyediakan entri untuk beralih versi serta menuju Konsol OSS guna melihat data asli (lihat Lihat Data Set Data).
-
View Data: Menampilkan pratinjau data sampel berdasarkan tipe penyimpanan dan tipe konten set data, tanpa meninggalkan DataWorks.
CatatanTab ini hanya terlihat untuk set data dengan tipe penyimpanan Object Storage (OSS) dan tipe konten yang didukung oleh daftar pratinjau dalam platform. Untuk set data dengan tipe penyimpanan atau tipe konten lainnya, tab ini tidak ditampilkan; gunakan Lihat Data Set Data untuk menuju Konsol OSS dan memeriksa file aslinya.
-
Lineage Information: Lihat lineage antara set data dengan tabel hulu atau tugas hilir.
-
Usage Notes: Kelola dan baca catatan penggunaan set data; kemampuan setara dengan tab Notes pada detail tabel.
Kelola set data
Di , buka daftar set data untuk ruang kerja target. Di kolom Actions set data target, klik Details. Halaman detail menampilkan informasi Overview dan Dataset Version, serta mendukung operasi berikut:
-
Create Version: Klik Create Version di pojok kanan atas untuk menyesuaikan OSS Path atau NAS File System Configuration dan mengatur Default Mount Path.
-
Delete Dataset: Klik Delete di pojok kanan atas.
-
View Dataset Data: Hanya tersedia untuk set data OSS. Di bagian Dataset Version, pilih versi target dan klik View in OSS untuk melihat path penyimpanan yang sesuai di Konsol OSS.
-
Delete Version: Di bagian Dataset Version, pilih versi tersebut dan klik Delete.
Menghapus set data atau versinya tidak menghapus file asli, tetapi penghapusan tersebut tidak dapat dikembalikan di DataWorks. Lakukan dengan hati-hati.
Gunakan set data
Gunakan set data di Data Studio dengan Shell nodes, Python nodes, Notebook development, atau di lingkungan pengembangan pribadi Anda.