DataWorks Data Map menyediakan visualisasi topologis dan manajemen siklus hidup penuh untuk aset AI melalui pusat metadata terpadu, sehingga meningkatkan efisiensi tata kelola aset. Topik ini menjelaskan cara melihat aset AI di Data Map.
Informasi latar belakang
Data Map mengintegrasikan metadata dari aset AI PAI untuk mendukung pencarian global dan manajemen aset AI inti Anda. Antarmuka terpadu memungkinkan Anda menemukan dan mengelola sumber daya tersebut secara efisien serta menggunakan layanan silsilah untuk melacak asal-usul, penggunaan, dan evolusi data serta model.
Layanan silsilah aset AI menyediakan cara intuitif untuk melacak siklus hidup data dan model, yang membantu Anda mengelola dan mengoptimalkan aset AI. Halaman detail setiap objek aset AI menyediakan titik masuk untuk melihat dan menganalisis informasi silsilahnya.
Sebagai contoh, graf silsilah aset AI yang khas menunjukkan rantai lengkap mulai dari file input, seperti jalur penyimpanan Object Storage Service (OSS) dan set data, seperti tabel MaxCompute, melalui tugas pelatihan model PAI di Model Gallery, yang menghasilkan file output seperti file adapter model, file set data berlabel, sebuah model AI, serta layanan model online.
Berikut adalah kasus penggunaan utama layanan silsilah aset AI:
Tata kelola aset AI: Informasi silsilah aset yang detail membantu Anda memahami asal-usul dan penggunaan aset AI. Hal ini tidak hanya meningkatkan kualitas data dan model, tetapi juga memastikan praktik AI Anda memenuhi persyaratan kepatuhan serta mendukung manajemen data dan pengambilan keputusan yang lebih tepat.
Kemampuan telusur model: Dalam konteks Responsible AI, menjaga transparansi model AI sangat penting. Layanan silsilah aset AI memungkinkan Anda melacak set data, metode rekayasa fitur, dan proses penyetelan parameter yang digunakan dalam pelatihan model. Kemampuan telusur ini sangat penting untuk memenuhi persyaratan regulasi, memvalidasi hasil eksperimen, dan melakukan audit model.
Pemecahan masalah dan optimasi: Saat layanan AI mengalami masalah performa, informasi silsilah aset dapat membantu Anda dengan cepat menemukan akar penyebabnya. Misalnya, jika akurasi prediksi model tiba-tiba menurun, penyebabnya mungkin perubahan pada pemrosesan data hulu. Dengan graf silsilah, Anda dapat segera mengidentifikasi dan menyelesaikan masalah tersebut.
Peningkatan pemanfaatan resource: Memahami dependensi antar tugas memungkinkan Anda mengalokasikan resource komputasi secara lebih efektif, menghindari komputasi berlebihan, dan mengurangi biaya. Dalam eksperimen berskala besar, pemahaman tentang dependensi tugas dan data melalui informasi silsilah membantu Anda mengidentifikasi tugas mana yang dapat dijalankan secara paralel, sehingga memungkinkan pemanfaatan dan pemrosesan resource yang lebih efisien.
Peningkatan efisiensi kolaborasi: Di organisasi besar, beberapa tim mungkin berbagi infrastruktur yang sama untuk penelitian. Informasi silsilah tugas yang jelas mendorong kolaborasi lintas tim dan mempercepat proses inovasi.
Prasyarat
Anda harus membuat ruang kerja untuk versi baru DataStudio dan memilih salah satu edisi berikut:
Jika Anda telah membuat ruang kerja PAI, Anda dapat mencari dan melihat jenis aset AI yang sesuai. Saat membuat ruang kerja, Anda harus memilih Create AI Workspace with Same Name.
DataWorks Standard Edition: Untuk menggunakan layanan silsilah aset AI standar, Anda harus mengaktifkan DataWorks Standard Edition.
DataWorks Professional Edition: Jika Anda memerlukan kemampuan pelaporan silsilah untuk tugas pelatihan model Deep Learning Containers (DLC) dan tugas alur kerja, Anda harus mengaktifkan DataWorks Professional Edition.
Aset AI yang didukung
DataWorks memungkinkan Anda mencari dan melihat detail metadata aset AI berikut di Data Map:
Mengumpulkan aset AI
Setelah Anda mengaktifkan layanan PAI untuk ruang kerja Anda, Data Map secara otomatis mengumpulkan metadata aset AI dari ruang kerja AI Anda.
Mencari aset AI
Fitur pencarian memungkinkan Anda melihat informasi dasar dan silsilah semua aset AI di ruang kerja saat ini.
Login ke DataWorks console. Di wilayah target, klik di panel navigasi kiri. Pada halaman yang muncul, klik Go to Data Map.
Di panel navigasi kiri, klik ikon
untuk menuju halaman Search.Di bagian Type di sebelah kiri, pilih tipe aset AI yang ingin Anda lihat, lalu masukkan kata kunci di kotak pencarian untuk menemukan informasi aset AI yang sesuai.
Melihat silsilah aset AI
Di halaman pencarian Data Map, Anda dapat melihat silsilah aset AI dan menavigasi ke Konsol PAI untuk melihat detailnya.
Tampilan silsilah dataset di Data Map menyediakan informasi silsilah agregat untuk semua versi aset AI. Silsilah agregat menggabungkan informasi dari beberapa versi dan memungkinkan Anda melihat silsilah versi tertentu atau semua versi.
Silsilah dataset
Generasi dan pelaporan silsilah
Sistem secara otomatis menghasilkan dan melaporkan silsilah saat Anda membuat atau mengoperasikan dataset dengan cara berikut:
Daftarkan jalur penyimpanan
Saat Anda mendaftarkan jalur penyimpanan sebagai dataset, sistem secara otomatis menghasilkan dan melaporkan silsilah dengan struktur berikut:
Data Source | Description |
Saat Anda mendaftarkan dataset dari OSS, sistem menghasilkan silsilah dari OSS ke dataset. | |
|
Daftarkan tabel data
Saat Anda mendaftarkan dataset dari tabel MaxCompute, sistem menghasilkan silsilah dari tabel MaxCompute ke dataset. Silsilah tersebut memiliki struktur berikut:
Sebagai contoh, jika Anda menghasilkan tabel MaxCompute dengan menjalankan beberapa tugas SQL lalu mendaftarkan tabel tersebut sebagai dataset PAI, silsilah dataset tersebut dilacak kembali ke semua tugas SQL yang digunakan untuk membuat tabel tersebut.
Annotate dataset
Saat Anda menganotasi dataset di iTAG, sistem secara otomatis melaporkan informasi silsilah berikut setelah tugas anotasi data dibuat.
Melihat silsilah dataset
Anda dapat melihat silsilah dataset dari titik masuk berikut.
Titik masuk 1: Data Map
Anda dapat melihat silsilah dataset di Data Map. Lakukan langkah-langkah berikut:
Buka halaman daftar dataset.
Login ke DataWorks console. Di wilayah target, klik di panel navigasi kiri. Pada halaman yang muncul, klik Go to Data Map.
Di panel navigasi kiri, klik ikon
untuk menuju halaman Search.Di bagian Type di sebelah kiri, pilih Dataset. Di bagian Filter Conditions, pilih Data Source Type dan Workspace untuk mendapatkan daftar dataset yang ingin Anda lihat.
Lihat silsilah dataset.
Di daftar dataset, temukan dataset target lalu klik View Lineage di kolom Actions untuk melihat silsilahnya.
Di halaman detail silsilah, node file OSS hulu terkait ditampilkan di sebelah kiri, sedangkan node pusat untuk dataset saat ini beserta versinya disorot berwarna oranye di sebelah kanan.
Di halaman detail silsilah dataset, Anda dapat melakukan operasi berikut:
Lineage Time Range: Di area ①, pilih rentang waktu untuk melihat silsilah dataset yang sesuai.
Dataset Vers.: Di area ②, ganti versi dataset untuk melihat silsilah versi yang sesuai.
Operasi lainnya: Klik kanan dataset lalu pilih View Details untuk menavigasi ke Konsol PAI dan melihat detail dataset, atau pilih View Lineage.
Titik masuk 2: PAI
Di PAI, Anda dapat melihat silsilah versi tertentu dataset di bagian detailnya. Lakukan langkah-langkah berikut:
Login ke PAI console. Setelah beralih ke wilayah target, di panel navigasi kiri, pilih Workspaces lalu klik nama ruang kerja target untuk memasuki ruang kerja tersebut.
Di panel navigasi kiri, pilih .
Di tab Custom Dataset, di bawah Base dataset, temukan nama dataset yang Anda buat.
Klik nama dataset tersebut. Di bagian detail versi tertentu, klik View Lineage untuk menuju halaman PAI Bloodline analysis dan melihat silsilah versi saat ini dari dataset tersebut.
CatatanDi halaman PAI Lineage analysis, klik kanan node apa pun di jalur silsilah lalu pilih View Lineage untuk menuju Data Map dan melihat informasi silsilah hulu dan hilir untuk node tersebut.
Silsilah model AI
Generasi dan pelaporan silsilah
Sistem secara otomatis menghasilkan dan melaporkan silsilah saat Anda membuat atau mengoperasikan model AI dengan cara berikut:
Pelatihan model
Setelah tugas pelatihan model yang dikirimkan di Model Gallery berhasil dijalankan, sistem secara otomatis menghasilkan dan melaporkan informasi silsilah berikut.
Register Model
Setelah Anda mendaftarkan model di halaman manajemen model, sistem secara otomatis melaporkan informasi silsilah berikut.
Service deployment
Setelah Anda menyebarkan model terdaftar ke Elastic Algorithm Service (EAS), sistem secara otomatis melaporkan informasi silsilah berikut.
Melihat silsilah model AI
Anda dapat melihat silsilah model AI dari titik masuk berikut.
Titik masuk 1: Data Map
Anda dapat melihat silsilah model AI di Data Map. Lakukan langkah-langkah berikut:
Buka halaman daftar model AI.
Login ke DataWorks console. Di wilayah target, klik di panel navigasi kiri. Pada halaman yang muncul, klik Go to Data Map.
Di panel navigasi kiri, klik ikon
untuk menuju halaman Search.Di bagian Type di sebelah kiri, pilih AI Model. Di bagian Filter Conditions, pilih Workspace untuk mendapatkan daftar model AI yang ingin Anda lihat.
Lihat silsilah model AI.
Di daftar model AI, temukan model AI target lalu klik View Lineage di kolom Actions untuk melihat silsilahnya.
Di halaman detail silsilah model AI, Anda dapat melakukan operasi berikut:
Lineage Time Range: Di area ①, pilih rentang waktu untuk melihat silsilah model AI yang sesuai.
AI ModelVers.: Di area ②, ganti versi model AI untuk melihat silsilah versi yang sesuai.
Operasi lainnya: Klik kanan model AI lalu pilih View Details untuk menavigasi ke Konsol PAI dan melihat detail model AI, atau pilih View Lineage.
Titik masuk 2: PAI
Di PAI, Anda dapat melihat silsilah versi tertentu model AI di bagian detailnya. Lakukan langkah-langkah berikut:
Login ke PAI console. Setelah beralih ke wilayah target, di panel navigasi kiri, pilih Workspaces lalu klik nama ruang kerja target untuk memasuki ruang kerja tersebut.
Di panel navigasi kiri, pilih .
Di halaman Model, temukan model yang telah Anda daftarkan.
Klik nomor versi terbaru untuk menuju halaman informasi Model Version.
Di bagian Version Overview, klik View Lineage untuk menuju halaman PAI Bloodline analysis dan melihat silsilah versi saat ini dari model AI tersebut.
CatatanDi halaman PAI Lineage analysis, klik kanan node apa pun di jalur silsilah lalu pilih View Lineage untuk menuju Data Map dan melihat informasi silsilah hulu dan hilir untuk node tersebut.
Silsilah tugas algoritma
Generasi dan pelaporan silsilah
Sistem secara otomatis menghasilkan dan melaporkan silsilah saat Anda menjalankan tugas terkait dengan cara berikut.
Untuk tugas yang dikirimkan di Deep Learning Containers (DLC), Anda perlu melaporkan informasi silsilah secara manual dengan mengimpor SDK dan mengonfigurasi input dan output berdasarkan tugas aktual. Metode ini cocok untuk pengguna dengan keterampilan teknis tinggi dan skenario bisnis yang matang; jika tidak, akurasi silsilah mungkin terpengaruh. Jika Anda perlu menggunakan fitur ini, hubungi manajer bisnis Anda untuk menambahkan akun Anda ke daftar izin. Untuk informasi selengkapnya, lihat Model training tasks.
Metode 1: Jalankan Training Task (tugas komponen algoritma)
Setelah tugas pelatihan model yang dikirimkan di Model Gallery berhasil dijalankan, sistem secara otomatis menghasilkan dan melaporkan informasi silsilah berikut.
Workflow Task
Setelah tugas alur kerja yang dibuat di PAI berhasil dijalankan, silsilah dihasilkan antara tabel input atau jalur penyimpanan, model atau dataset output, dan tugas PAIFlow.
Sistem secara otomatis mengumpulkan dan melaporkan silsilah untuk tugas alur kerja PAI yang dijalankan dengan cara berikut:
Tugas yang dikirimkan menggunakan PAIFlow OpenAPI. Untuk informasi selengkapnya, lihat API overview.
Tugas yang dijalankan secara manual di Designer. Untuk informasi selengkapnya, lihat Build and debug a model.
Tugas yang dijalankan secara berkala menggunakan penjadwalan offline DataWorks. Untuk informasi selengkapnya, lihat Use DataWorks to schedule Designer workflows offline.
Distributed training task
Saat Anda membuat dan menjalankan tugas pelatihan terdistribusi, silsilah dihasilkan antara tabel input atau jalur penyimpanan, model atau dataset output, dan tugas DLC. Anda dapat melaporkan informasi silsilah secara manual untuk tugas yang dikirimkan di DLC.
Metode ini cocok untuk pengguna dengan keterampilan teknis tinggi dan skenario bisnis yang matang. Jika tidak, akurasi silsilah mungkin terpengaruh.
Melihat silsilah tugas algoritma
Anda dapat melihat silsilah tugas algoritma dari titik masuk berikut.
Titik masuk 1: Data Map
Fitur silsilah tugas algoritma di Data Map memungkinkan Anda melihat silsilah tugas. Lakukan langkah-langkah berikut:
Buka halaman daftar tugas algoritma.
Login ke DataWorks console. Di wilayah target, klik di panel navigasi kiri. Pada halaman yang muncul, klik Go to Data Map.
Di panel navigasi kiri, klik ikon
untuk menuju halaman Search.Di bagian Type di sebelah kiri, pilih Algorithm Task. Di bagian Filter Conditions, pilih Workspace untuk mendapatkan daftar tugas algoritma yang ingin Anda lihat.
Lihat silsilah tugas algoritma.
Di daftar tugas algoritma, temukan tugas algoritma target lalu klik View Lineage di kolom Actions untuk melihat silsilahnya.
Di halaman detail silsilah tugas algoritma, Anda dapat melakukan operasi berikut:
Lineage Time Range: Pilih rentang waktu untuk melihat silsilah tugas algoritma yang sesuai.
Operasi lainnya: Klik kanan tugas algoritma lalu pilih View Details untuk menavigasi ke Konsol PAI dan melihat detail tugas algoritma, atau pilih View Lineage.
Titik masuk 2: PAI
Di PAI, Anda dapat melihat silsilah tugas algoritma di bagian informasi dasarnya. Lakukan langkah-langkah berikut:
Login ke PAI console. Setelah beralih ke wilayah target, di panel navigasi kiri, pilih Workspaces lalu klik nama ruang kerja target untuk memasuki ruang kerja tersebut.
Di panel navigasi kiri, pilih .
Di halaman Tasks, temukan tab yang berisi tugas algoritma yang Anda buat: Distributed Tasks (DLC), Algorithm Component Tasks, atau Workflow Task.
Klik nama tugas untuk menuju halaman detail tugas.
Di bagian Basic Information, klik View Lineage untuk menuju halaman PAI Bloodline analysis dan melihat silsilah tugas algoritma tersebut.
CatatanDi halaman PAI Lineage analysis, klik kanan node apa pun di jalur silsilah lalu pilih View Lineage untuk menuju Data Map dan melihat informasi silsilah hulu dan hilir untuk node tersebut.
Silsilah layanan model
Generasi dan pelaporan silsilah
Setelah Anda menyebarkan model terdaftar ke Elastic Algorithm Service (EAS), sistem secara otomatis menghasilkan dan melaporkan silsilah antara model dan layanan model.
Melihat silsilah layanan model
Anda dapat melihat silsilah layanan model dari titik masuk berikut.
Titik masuk 1: Data Map
Fitur silsilah layanan model di Data Map memungkinkan Anda melihat silsilah layanan model. Lakukan langkah-langkah berikut:
Buka halaman daftar layanan model.
Login ke DataWorks console. Di wilayah target, klik di panel navigasi kiri. Pada halaman yang muncul, klik Go to Data Map.
Di panel navigasi kiri, klik ikon
untuk menuju halaman Search.Di bagian Type di sebelah kiri, pilih Model Service. Di bagian Filter Conditions, pilih Status tugas dan Resource Group Name untuk mendapatkan daftar layanan model yang ingin Anda lihat.
Lihat silsilah layanan model.
Di daftar layanan model, temukan layanan model target lalu klik View Lineage di kolom Actions untuk melihat silsilahnya.
Di halaman detail silsilah layanan model, Anda dapat melakukan operasi berikut:
Lineage Time Range: Pilih rentang waktu untuk melihat silsilah layanan model yang sesuai.
Operasi lainnya: Klik kanan layanan model lalu pilih View Details untuk menavigasi ke Konsol PAI dan melihat detail layanan model, atau pilih View Lineage.
Titik masuk 2: PAI
Di PAI, Anda dapat melihat silsilah layanan model di bagian informasi dasarnya. Lakukan langkah-langkah berikut:
Login ke PAI console. Setelah beralih ke wilayah target, di panel navigasi kiri, pilih Workspaces lalu klik nama ruang kerja target untuk memasuki ruang kerja tersebut.
Di panel navigasi kiri, pilih .
Di halaman Model Online Services (EAS), buka tab Inference services.
Klik nama tugas untuk menuju halaman ringkasan tugas.
Di bagian Basic Information, klik View Lineage untuk menuju halaman PAI Bloodline analysis dan melihat silsilah layanan model tersebut.
CatatanDi halaman PAI Lineage analysis, klik kanan node apa pun di jalur silsilah lalu pilih View Lineage untuk menuju Data Map dan melihat informasi silsilah hulu dan hilir untuk node tersebut.