All Products
Search

This Product

    DataWorks:Kelola dataset

    Document Center

    DataWorks:Kelola dataset

    Last Updated:Sep 22, 2026

    Dataset DataWorks menyediakan manajemen terpusat untuk data tidak terstruktur seperti gambar dan dokumen. Dataset dapat didukung oleh Object Storage (OSS atau COS), Penyimpanan File NAS (tujuan umum atau Ekstrem), atau tabel DLF Lance, serta memungkinkan pelacakan data lintas versi.

    Ikhtisar

    Dataset memungkinkan pembacaan dan penulisan data yang disimpan di OSS dan NAS secara langsung dari DataWorks. Anda dapat membuat beberapa versi dataset, melacak perubahan seiring waktu, serta kembali ke versi sebelumnya jika diperlukan.

    Penagihan

    Fitur dataset DataWorks gratis. Penyimpanan OSS dan NAS dikenai biaya penyimpanan dan jaringan terpisah (penagihan OSS, penagihan NAS).

    Buat dataset

    1. Masuk ke DataWorks console. Di wilayah target, klik Data Governance > Data Map di panel navigasi kiri. Pada halaman yang muncul, klik Go to Data Map.

    2. Pada halaman Data Map, klik Data Catalog (image) di panel navigasi kiri. Pastikan Anda berada di tab Default Directory halaman Data Catalog. Lalu, di bawah Catalogs, klik DataSet.

    3. Klik ruang kerja target Anda. Pada halaman daftar dataset, klik Create Dataset dan konfigurasikan pengaturan yang dijelaskan di bawah ini.

    Catatan

    Jika administrator telah mengonfigurasi atribut kustom untuk tipe dataset, Anda dapat menetapkan nilai seperti domain bisnis dan tingkat sensitivitas data saat membuat dataset. Atribut kustom dapat mewarisi nilai tingkat ruang kerja.

    Saat Anda membuat versi baru, nilai atribut kustom diwariskan dari dataset itu sendiri dan tidak dapat diubah pada halaman pembuatan versi. Untuk mengubahnya, edit terlebih dahulu atribut kustom dataset tersebut.

    Pada langkah Dataset Configuration, setelah Anda memilih Storage Type, langkah Import Configuration akan menampilkan bidang yang spesifik untuk tipe tersebut. Tabel berikut mencantumkan tipe penyimpanan yang tersedia; rujuk subbagian yang sesuai untuk detail bidangnya.

    Storage type

    Typical use case

    Availability

    Object Storage (OSS)

    Mount folder di bucket OSS agar node pengembangan data dapat membaca dan menulis data tidak terstruktur.

    Tersedia secara default.

    Object Storage (COS)

    Mount direktori di Tencent Cloud COS, menggunakan kembali sumber data COS yang sudah terdaftar.

    Hanya tersedia jika ruang kerja saat ini memiliki minimal satu sumber data COS yang terdaftar.

    File Storage NAS (General-purpose / Extreme)

    Mount sub-path sistem file NAS Alibaba Cloud. Cocok untuk skenario yang memerlukan akses bersama atau pembacaan dan penulisan konkuren lintas beberapa task.

    Tersedia secara default. NAS tujuan umum dan Ekstrem menggunakan formulir yang sama; varian ditentukan oleh pemilihan sistem file aktual.

    DLF Lance

    Mount tabel Lance yang berada di katalog Paimon di bawah sumber data DLF. Pendaftaran dilakukan pada tingkat granularitas tabel.

    Memerlukan sumber data DLF di ruang kerja saat ini dengan minimal satu katalog Paimon.

    Storage type: Object Storage (OSS)

    • Dataset Configuration:

      Configuration item

      Description

      Storage type

      Object Storage (OSS).

      Content type

      Opsional. Pilih tipe data. Default: General.

    • Import Configuration:

      Configuration item

      Description

      OSS path

      Path folder OSS yang akan dimount. Bucket dan endpoint diurai secara otomatis dari path; tidak diperlukan bidang terpisah.

      Catatan

      Pastikan Anda memiliki izin Bucket OSS yang diperlukan.

      Default mount path

      Path mount untuk folder OSS di DataWorks. Default: /mnt/data/. Anda dapat mengubah path mount; path kustom harus diawali dengan /mnt/.

    Storage type: Object Storage (COS)

    Opsi ini muncul di dropdown Storage Type hanya jika ruang kerja saat ini memiliki minimal satu sumber data COS yang terdaftar. Jika COS tidak tercantum, daftarkan dan bind terlebih dahulu sumber data COS ke ruang kerja.

    • Dataset Configuration:

      Configuration item

      Description

      Storage type

      Object Storage (COS).

      Content type

      Opsional. Pilih tipe data. Default: General.

    • Import Configuration:

      Configuration item

      Description

      COS data source

      Wajib diisi. Pilih sumber data COS yang sudah terdaftar di ruang kerja saat ini. Dropdown mendukung pencarian fuzzy berdasarkan nama sumber data dan menampilkan ID sumber data untuk setiap entri. Jika tidak ada sumber data yang tersedia, gunakan tautan Create Data Source di dropdown untuk membuatnya.

      COS path

      Wajib diisi. Masukkan secara manual path direktori COS yang akan dimount. Pastikan akun memiliki izin baca dan tulis untuk path tersebut.
      Catatan

      Dataset COS tidak mendukung path mount default kustom. Oleh karena itu, langkah Application Configuration tidak ditampilkan dalam formulir pembuatan.

    Storage type: File Storage NAS (General-purpose / Extreme)

    NAS tujuan umum dan NAS Ekstrem menggunakan formulir yang sama; hanya sistem file yang ditampilkan di dropdown File system yang berbeda:

    • Saat Anda memilih File Storage (General-purpose NAS) sebagai Storage Type, dropdown File system hanya mencantumkan sistem NAS tujuan umum dan File system path default-nya adalah direktori root /.

    • Saat Anda memilih File Storage (Extreme NAS) sebagai Storage Type, dropdown File system hanya mencantumkan sistem NAS Ekstrem dan File system path default-nya adalah /share/.

    • Dataset Configuration:

      Configuration item

      Description

      Storage type

      Pilih File Storage (General-purpose NAS) atau File Storage (Extreme NAS file systems).

      Content type

      Opsional. Pilih tipe data. Default: General.

    • Import Configuration:

      Configuration item

      Description

      File system

      Wajib diisi. Pilih sistem file NAS di wilayah saat ini di bawah Akun Alibaba Cloud Anda. Dropdown secara otomatis difilter berdasarkan Storage Type yang dipilih (tujuan umum atau Ekstrem). Sistem file yang menggunakan protokol SMB tidak didukung.

      File system mount target

      Wajib diisi. Konfigurasikan mount target untuk sistem file NAS.

      Penting

      VPC mount target harus terhubung ke VPC kelompok sumber daya:

      • Gunakan VPC yang sama untuk mount target NAS dan kelompok sumber daya.

      • Untuk skenario cross-VPC, ikuti Ikhtisar untuk menghubungkan VPC mount target NAS ke VPC kelompok sumber daya.

      File system path

      Wajib diisi. Path folder NAS yang akan dimount. Nilai default bergantung pada Storage Type: NAS tujuan umum default ke /, NAS Ekstrem default ke /share/. Path harus ada di sistem file NAS; jika tidak, dataset akan gagal saat digunakan.

      Default mount path

      Path mount untuk folder NAS di DataWorks. Default: /mnt/data/. Anda dapat mengubah path mount; path kustom harus diawali dengan /mnt/.

    Storage type: DLF Lance

    Dataset DLF Lance didaftarkan pada tingkat granularitas tabel. Sebelum memulai, daftarkan sumber data DLF di ruang kerja saat ini dan pastikan DLF berisi minimal satu katalog Paimon dan tabel Lance. Tipe penyimpanan ini tidak menampilkan bidang Import format karena impor beroperasi per tabel, bukan per direktori atau format file.

    • Dataset Configuration:

      Configuration item

      Description

      Storage type

      DLF Lance.

      Content type

      Opsional. Pilih tipe data. Default: General.

    • Import Configuration:

      Configuration item

      Description

      Catalog name

      Wajib diisi. Dropdown hanya mencantumkan katalog bertipe Paimon di bawah sumber data DLF.

      Database name

      Wajib diisi. Dropdown diisi berdasarkan katalog yang dipilih dan dinonaktifkan hingga katalog dipilih.

      Lance table name

      Wajib diisi. Dropdown hanya mencantumkan tabel bertipe Lance di bawah database yang dipilih.

      Default mount path

      Path mount untuk tabel Lance di DataWorks. Default: /mnt/data/. Anda dapat mengubah path mount; path kustom harus diawali dengan /mnt/.

    Lihat detail dataset

    Gunakan bagian ini untuk mencari dataset yang sudah ada. Bagian ini menjelaskan cara membuka halaman detail dataset dan informasi apa saja yang tersedia. Untuk mengubah dataset (membuat versi, menghapus, dan sebagainya), lihat Kelola dataset.

    Untuk masuk ke halaman detail dataset: di bawah Data Catalog > DataSet, buka daftar dataset untuk ruang kerja target, lalu klik Details di kolom Actions dataset target.

    Catatan

    Halaman detail memiliki dua tata letak. Saat Anda membuka halaman dari panel Data Catalog (default), tombol Create Version dan Delete Dataset tersedia di pojok kanan atas. Saat Anda membukanya langsung dari hasil pencarian global atau tautan eksternal (rute detail mandiri), header halaman juga menyediakan tombol Manage yang membawa Anda kembali ke panel manajemen dataset ini di Data Catalog. Konten tab tetap sama di kedua tata letak.

    Halaman detail berisi tab-tab berikut:

    • Properties: Menampilkan pemilik dataset, waktu pembuatan, ruang kerja pemilik, deskripsi, dan bidang inti lainnya. Jika administrator telah mengonfigurasi atribut kustom, kartu atribut kustom yang sesuai juga ditampilkan (untuk informasi lebih lanjut, lihat Atribut kustom; nilai atribut kustom dapat diwariskan dari ruang kerja). Tab ini juga menyematkan blok Dataset Version yang mencantumkan semua versi dataset dan menyediakan entri untuk beralih versi serta melompat ke Konsol OSS untuk melihat data asli (lihat Lihat Data Dataset).

    • View Data: Menampilkan pratinjau data sampel berdasarkan tipe penyimpanan dan tipe konten dataset, tanpa meninggalkan DataWorks.

      Catatan

      Tab ini hanya terlihat untuk dataset dengan tipe penyimpanan Object Storage (OSS) dan tipe konten yang didukung oleh daftar pratinjau di platform. Untuk dataset dengan tipe penyimpanan atau konten lain, tab ini tidak ditampilkan; gunakan Lihat Data Dataset untuk melompat ke Konsol OSS dan memeriksa file aslinya.

    • Lineage Information: Lihat lineage antara dataset dan tabel hulu atau task hilir.

    • Usage Notes: Kelola dan baca catatan penggunaan dataset; kemampuan setara dengan tab Notes di detail tabel.

    Kelola dataset

    Gunakan bagian ini untuk mengubah dataset yang sudah ada. Operasi diorganisir berdasarkan tugas dan dipicu dari pojok kanan atas halaman detail dataset (lihat Lihat detail dataset) atau dari blok Dataset Version di tab Properties.

    • Create Version (perbarui target dataset):

      Di pojok kanan atas halaman detail dataset, klik Create Version untuk membuka halaman pembuatan versi. Di area Version Configuration, Anda dapat memasukkan ulang OSS Path atau konfigurasi sistem file NAS (bidang yang ditampilkan bergantung pada tipe penyimpanan dataset) dan mengatur ulang Default Mount Path. Area Dataset Configuration (nama, tipe penyimpanan, tipe konten, atribut kustom, dan sebagainya) bersifat read-only saat Anda membuat versi baru; untuk mengubah nilai-nilai tersebut, edit terlebih dahulu dataset itu sendiri.

    • View dataset data (melompat ke konsol eksternal):

      Hanya tersedia untuk dataset dengan tipe penyimpanan Object Storage (OSS). Di tab Properties, temukan blok Dataset Version, pilih versi target, lalu klik tombol View in OSS di area operasi. Anda akan dialihkan ke Konsol OSS dan langsung dibawa ke path penyimpanan versi tersebut. Jika tipe konten dataset mendukung pratinjau di platform, area operasi justru menampilkan tombol Data View yang membuka tab Data View sehingga Anda dapat melihat pratinjau data tanpa meninggalkan DataWorks.

    • Delete version (mencabut satu versi):

      Di tab Properties, di pojok kanan atas blok Dataset Version, pilih versi target dari dropdown lalu klik Delete. Hanya versi yang dipilih yang dihapus; dataset itu sendiri tetap ada dan versi lainnya tetap dapat diakses.

    • Delete dataset (menghapus seluruh dataset):

      Di pojok kanan atas halaman detail dataset, klik Delete untuk menghapus dataset beserta semua versinya.

    Penting

    Menghapus dataset atau versi hanya menghapus catatan dari fitur dataset DataWorks; tidak menghapus file asli di OSS, NAS, atau penyimpanan dasar lainnya. Namun, penghapusan ini tidak dapat dikembalikan di DataWorks, jadi lakukan dengan hati-hati.

    Gunakan dataset

    Anda dapat menggunakan dataset di Data Studio dengan Shell nodes, Python nodes, Notebook development, atau di personal development environment Anda.

    Gunakan dataset.