Layanan Garis Keturunan Aset AI adalah layanan teknis penting untuk mengoptimalkan manajemen aset AI perusahaan. Layanan ini melacak dan memahami secara menyeluruh asal-usul serta evolusi data dan model, meningkatkan transparansi aset dan efisiensi manajemen secara signifikan. Layanan ini juga memberikan dukungan kuat dan keunggulan kompetitif bagi perusahaan di industri AI.
Pengenalan
Layanan Garis Keturunan Aset AI dirancang untuk membantu perusahaan mengelola dan mengoptimalkan aset AI secara efisien. Layanan ini memungkinkan perusahaan melacak dan memahami asal-usul, penggunaan, serta evolusi data dan model secara efektif. Layanan ini mencakup berbagai aset AI, termasuk dataset (versi), pipeline pemrosesan data, pekerjaan pelatihan, model (versi), layanan model, dan metadata lainnya. Halaman detail setiap aset menyediakan titik masuk untuk melihat informasi garis keturunan agar mudah diakses dan dianalisis.
Layanan Garis Keturunan Aset AI cocok untuk skenario aplikasi berikut:
Manajemen Aset AI: Layanan ini menyediakan informasi garis keturunan aset yang rinci, memungkinkan perusahaan mendapatkan wawasan tentang asal-usul dan penggunaan aset AI mereka. Ini meningkatkan kualitas data dan model serta memastikan bahwa praktik AI perusahaan sesuai dengan standar regulasi untuk mendukung manajemen data dan pengambilan keputusan yang tepat.
Penelusuran Model: Dalam konteks AI yang Bertanggung Jawab, menjaga transparansi model AI sangatlah penting. Layanan ini memungkinkan perusahaan melacak dataset, metode rekayasa fitur, dan penyesuaian parameter yang digunakan dalam pelatihan model untuk memenuhi kepatuhan regulasi, memverifikasi hasil eksperimen, dan melakukan audit model.
Pemecahan Masalah dan Optimasi: Informasi garis keturunan aset dapat digunakan untuk dengan cepat menemukan penyebab utama masalah kinerja dalam layanan AI. Misalnya, penurunan tiba-tiba dalam akurasi prediksi model dapat dilacak hingga perubahan dalam pemrosesan data upstream. Grafik garis keturunan membantu perusahaan dengan cepat mengidentifikasi dan menyelesaikan masalah tersebut.
Peningkatan Penggunaan Sumber Daya: Memahami dependensi tugas memungkinkan perusahaan mengalokasikan sumber daya komputasi secara masuk akal. Ini mencegah perhitungan redundan dan mengurangi biaya. Informasi garis keturunan juga membantu perusahaan mengidentifikasi dependensi antara tugas dan data serta memungkinkan perusahaan mengidentifikasi tugas mana yang dapat dieksekusi secara paralel dalam eksperimen berskala besar, meningkatkan penggunaan sumber daya dan pemrosesan.
Peningkatan Efisiensi Kolaborasi: Beberapa tim dapat berbagi infrastruktur yang sama untuk penelitian dalam organisasi besar. Informasi garis keturunan yang jelas memfasilitasi komunikasi lintas tim dan berbagi pengetahuan, serta mempercepat proses inovasi.
Prasyarat
Untuk menggunakan Layanan Garis Keturunan Aset AI, aktifkan DataWorks di Konsol DataWorks.
DataWorks Edisi Standar: Jika Anda memerlukan layanan garis keturunan aset AI umum, aktifkan DataWorks Edisi Standar.
DataWorks Edisi Profesional: Jika Anda memerlukan kemampuan pelaporan garis keturunan untuk pelatihan Deep Learning Containers (DLC) dan pekerjaan pipeline, aktifkan DataWorks Edisi Profesional.
Untuk informasi lebih lanjut tentang edisi DataWorks, lihat Perbedaan di Antara Edisi DataWorks.
Metode pelaporan garis keturunan dan titik masuk
Pelaporan garis keturunan mengacu pada pencatatan otomatis atau manual dan pembuatan berbagai metadata terkait model AI dan hubungan antara metadata dan model selama pengembangan, pelatihan, penyebaran, dan pemeliharaan di Platform for AI (PAI). Pelaporan garis keturunan melibatkan operasi berikut:
Buat dataset
Dataset mendukung manajemen versi. Setiap versi merupakan aset garis keturunan yang independen. Anda dapat melihat informasi garis keturunan tentang versi dataset tertentu dan hubungan hulu-hilir dari versi dataset tersebut.
Struktur Informasi Garis Keturunan
Titik Masuk: Buat dan Kelola Dataset
Titik Masuk untuk Melihat Informasi Garis Keturunan: Di daftar dataset, temukan dataset yang diinginkan dan klik nama dataset tersebut. Di bagian Version Details halaman detail dataset, klik View Lineage untuk melihat informasi garis keturunan.
Pra-pemrosesan data
Titik Masuk: Jika Anda melakukan tugas analisis data di lingkungan produksi berdasarkan mesin MaxCompute di DataWorks dan input serta outputnya adalah tabel MaxCompute atau jalur OSS, Anda juga dapat melihat dan menganalisis informasi garis keturunan. Sebagai contoh, Anda mendapatkan tabel MaxCompute setelah melakukan beberapa tugas SQL dan mendaftarkan tabel tersebut sebagai dataset PAI. Anda dapat melacak tugas yang menghasilkan tabel berdasarkan informasi garis keturunan.
Titik Masuk untuk Melihat Informasi Garis Keturunan: Di daftar dataset, temukan dataset yang diinginkan dan klik nama dataset tersebut. Di bagian Version Details halaman detail dataset, klik View Lineage untuk melihat informasi garis keturunan.
Buat pekerjaan pelabelan
Saat Anda membuat pekerjaan pelabelan data di iTAG, Anda harus menentukan dataset input. Setelah pekerjaan pelabelan dibuat, sistem secara otomatis menampilkan informasi garis keturunan dalam struktur berikut.
Struktur Informasi Garis Keturunan
Titik Masuk
Buat Pekerjaan Pelabelan
Ekspor Data Hasil Pelabelan
Titik Masuk untuk Melihat Informasi Garis Keturunan: Di daftar dataset berlabel, temukan dataset berlabel yang diinginkan dan klik nama dataset sumber. Di bagian Version Details halaman detail dataset, klik View Lineage untuk melihat informasi garis keturunan.
Buat pekerjaan pipeline
Anda dapat menganggap pekerjaan pipeline sebagai aset independen. Selama pengiriman pekerjaan pipeline di Machine Learning Designer, jika pipeline berisi komponen Read Table, Read File Data, Model Register, atau Dataset Register, sistem akan secara otomatis melaporkan informasi garis keturunan dalam struktur berikut setelah pekerjaan pipeline dijalankan.
Struktur Informasi Garis Keturunan
Titik Masuk: Buat Pipeline
Di halaman detail pipeline, tambahkan komponen terkait berdasarkan kebutuhan bisnis Anda. Dalam contoh ini, komponen Read File Data dan Dataset Register ditambahkan.
Titik Masuk untuk Melihat Informasi Garis Keturunan: Di daftar pekerjaan pipeline, temukan pekerjaan pipeline yang diinginkan dan klik nama pekerjaan pipeline tersebut. Di bagian Basic Information halaman detail pipeline, klik View Lineage untuk melihat informasi garis keturunan.
Buat pekerjaan pelatihan model
Galeri Model
Setelah pekerjaan pelatihan model yang Anda kirimkan dijalankan di Galeri Model, sistem secara otomatis menampilkan informasi garis keturunan dalam struktur berikut.
Struktur Informasi Garis Keturunan
Titik Masuk: Latih Model
Titik Masuk untuk Melihat Informasi Garis Keturunan: Di daftar model, temukan model yang diinginkan dan klik nama model tersebut. Di daftar versi model halaman detail model, pilih versi model yang diinginkan dan klik nomor versi. Di panel Model Version, klik View Lineage untuk melihat informasi garis keturunan.
DLC
Selama pengiriman pekerjaan pelatihan model, Anda dapat melaporkan informasi garis keturunan secara manual dan mengonfigurasi input dan output berdasarkan kebutuhan bisnis Anda. Solusi ini cocok untuk pengguna yang memiliki keterampilan teknis tingkat lanjut dan bisnis yang sudah mapan. Jika tidak, akurasi informasi garis keturunan mungkin terpengaruh. Jika Anda memiliki pertanyaan, hubungi manajer bisnis Anda untuk menambahkan Anda ke daftar putih untuk akses fitur.
Daftarkan model
Model mendukung manajemen versi. Setiap versi berfungsi sebagai aset garis keturunan yang independen. Anda dapat melihat informasi garis keturunan tentang versi model tertentu dan hubungan hulu-hilir dari model tersebut.
Struktur Informasi Garis Keturunan
Titik Masuk: Daftarkan Model
CatatanAnda dapat mendaftarkan model secara manual. Setelah pekerjaan pelatihan yang Anda kirimkan di Galeri Model dijalankan, model yang dihasilkan juga akan secara otomatis didaftarkan sebagai model di ruang kerja saat ini. Untuk informasi lebih lanjut, lihat Galeri Model.
Titik Masuk untuk Melihat Informasi Garis Keturunan: Di daftar model, temukan model yang diinginkan dan klik nama model tersebut. Di daftar versi model halaman detail model, pilih versi model yang diinginkan dan klik nomor versi. Di panel Model Version, klik View Lineage untuk melihat informasi garis keturunan.
Sebarkan layanan model
Model mendukung manajemen versi. Setiap versi berfungsi sebagai aset garis keturunan yang independen. Anda dapat melihat informasi garis keturunan tentang versi model tertentu dan hubungan hulu-hilir dari model tersebut.
Struktur Informasi Garis Keturunan
Titik Masuk: Daftarkan Model
Pilih AI Asset Management > Models. Di halaman Model, temukan model yang diinginkan dan klik Deploy in EAS di kolom Actions.
Di tab Events halaman Workspace Details, klik Create Event Rule. Di panel Create Event Rule, atur parameter Event Type menjadi Models dan pilih Versi Disetujui dari daftar drop-down.
Ketika nilai parameter Version Approval Status untuk versi model tertentu berubah dari Pending menjadi Approved, layanan model diperbarui secara otomatis.
Titik Masuk untuk Melihat Informasi Garis Keturunan: Di daftar layanan model, temukan layanan model yang diinginkan dan klik nama layanan model tersebut. Di tab Overview halaman detail layanan model, klik View Lineage di bagian Basic Information untuk melihat informasi garis keturunan.
Catatan:
Jika layanan di Elastic Algorithm Service (EAS) memiliki beberapa versi, layanan tersebut sesuai dengan instance EAS yang sama dalam informasi garis keturunan. Untuk menganalisis versi tertentu dari layanan, perbarui nilai VersionId layanan untuk menemukan versi tersebut.