Platform For AI:Istilah

Istilah

Deskripsi

workspace

Workspace adalah konsep kunci dalam PAI. Workspace memungkinkan organisasi atau tim Anda mengelola sumber daya komputasi dan izin pengguna secara terpusat serta menyediakan alat dan fitur untuk kolaborasi di setiap tahap pengembangan AI. PAI berjalan di atas DataWorks. Oleh karena itu, workspace dalam PAI dipetakan ke workspace dalam DataWorks. Workspace yang dibuat di PAI juga muncul dalam daftar workspace DataWorks.

Default Workspace: Default workspace berisi sumber daya bayar sesuai pemakaian yang umum digunakan. Anda perlu mengaktifkan default workspace sebelum dapat menggunakan sumber daya tersebut. Default workspace dapat membantu pengguna pertama kali dengan cepat memulai pengembangan dan pelatihan model tanpa perlu memahami konsep seperti grup sumber daya.

Deep Learning Containers (DLC)

DLC adalah platform berbasis cloud-native untuk tugas-tugas komputasi AI dasar. DLC menyediakan lingkungan yang elastis, stabil, mudah digunakan, dan berperforma tinggi untuk pelatihan model. DLC menyediakan beberapa kerangka algoritma, memungkinkan Anda menjalankan banyak pekerjaan pembelajaran mendalam secara terdistribusi, dan mendukung kerangka algoritma kustom. DLC mendukung jenis kluster berikut:

• Kluster dikelola penuh: Kluster dikelola penuh adalah grup sumber daya publik atau grup sumber daya khusus. Administrator dari sebuah workspace dapat mengaitkan kluster dikelola penuh dengan workspace untuk menggunakan kluster tersebut.

• Kluster dikelola semi: Kluster dikelola semi adalah grup sumber daya yang dikelola sendiri. Kluster dikelola semi menyediakan dasbor terpisah dan dapat digunakan lebih fleksibel daripada kluster dikelola penuh.

resource group

• Anda dapat membuat grup sumber daya untuk mengklasifikasikan sumber daya komputasi berdasarkan dimensi yang berbeda, seperti tujuan, izin, dan kepemilikan. Grup sumber daya dapat digunakan untuk mengisolasi sumber daya komputasi yang dimiliki oleh pengguna atau workspace yang berbeda.

• Grup sumber daya merujuk pada semua sumber daya bawah yang digunakan oleh modul-modul berbeda dalam PAI, seperti grup kuota MaxCompute, kluster DLC, kluster Kubernetes, kluster E-MapReduce (EMR), kluster Flink, dan kluster Elastic Compute Service (ECS).

• Anda dapat membeli dan membuat grup sumber daya di konsol MaxCompute, EMR, atau lainnya menggunakan akun Alibaba Cloud atau peran administrator sumber daya. Grup sumber daya yang dibeli dapat dikonsumsi dalam workspace.

member

Anggota adalah akun Alibaba Cloud atau Pengguna Manajemen Akses Sumber Daya (RAM) yang bergabung dengan workspace. Anggota dalam workspace yang sama dapat mengambil peran berbeda untuk berkolaborasi di seluruh pipeline pengembangan AI. Hanya pemilik dan administrator workspace yang dapat memodifikasi anggota dalam workspace.

role

Peran adalah pemetaan antara anggota dan izin. Anda dapat menggunakan peran sistem atau membuat peran kustom. Peran sistem meliputi:

• Resource administrator: Peran ini memiliki izin untuk membeli dan mengelola sumber daya komputasi. Dalam kebanyakan kasus, akun perusahaan Alibaba Cloud mengambil peran ini. Untuk mengelola izin yang disediakan oleh peran ini dan menetapkan peran, Anda perlu masuk ke konsol RAM.

• Workspace owner: Peran ini memiliki izin untuk memodifikasi anggota dalam workspace dan mereferensikan grup sumber daya. Peran ini secara otomatis diberikan kepada pengguna yang membuat workspace.

• Workspace administrator: Peran ini memiliki izin untuk memodifikasi anggota dan mengelola semua aset dalam workspace, termasuk grup sumber daya.

• Algorithm Developer: Peran ini memiliki izin untuk mengembangkan dan melatih model dalam workspace.

• Algorithm O&M Engineer: Peran ini memiliki izin untuk mengelola prioritas pekerjaan, menerbitkan model, dan memantau layanan online.

• Label Administrator: Peran ini memiliki izin untuk menggunakan pelabelan cerdas.

• Visitor: Peran ini memiliki izin baca-saja pada semua aset dalam workspace.

ketergantungan

PAI bergantung pada layanan Alibaba Cloud lainnya. Untuk menggunakan fitur yang disediakan oleh PAI, Anda harus terlebih dahulu mengaktifkan layanan Alibaba Cloud ini dan menyelesaikan Otorisasi RAM menggunakan akun Alibaba Cloud atau peran administrator sumber daya. Layanan Alibaba Cloud yang perlu Anda aktifkan meliputi Object Storage Service (OSS), File Storage NAS (NAS), Log Service, Container Registry, dan API Gateway.

Istilah

Deskripsi

dataset

Dataset digunakan dalam pelabelan, pelatihan model, dan evaluasi model. Anda dapat membuat dataset untuk menggunakan data terstruktur atau tidak terstruktur atau memasang direktori dalam datastore seperti OSS, NAS, dan MaxCompute. Selain itu, Anda dapat mengelola penyimpanan, versi, dan skema dataset secara terpusat di PAI.

pipeline

Pipeline adalah grafik asiklik terarah (DAG) yang terdiri dari komponen hulu dan hilir yang terhubung berdasarkan penjadwalan logis. Anda dapat mengirimkan beberapa run untuk pipeline untuk menghasilkan PipelineRuns.

PipelineDraft

PipelineDraft adalah objek pipeline yang dapat dikonfigurasi pada kanvas Designer. Anda dapat mengedit PipelineDraft untuk menghasilkan beberapa pipeline. Anda dapat mengirimkan run untuk PipelineDraft untuk menghasilkan PipelineRuns.

component

Komponen adalah unit terkecil yang dapat dikonfigurasi dalam pipeline dan PipelineDraft, dan unit eksekusi terkecil dalam PipelineRuns. Komponen terdiri dari jenis-jenis berikut:

• Komponen bawaan: PAI menyediakan komponen bawaan yang dapat digunakan di seluruh pipeline pengembangan model. Komponen ini dikembangkan berdasarkan praktik terbaik Alibaba Cloud dan dapat digunakan untuk pra-pemrosesan data, melatih model, dan membuat prediksi.

• Komponen kustom: Anda dapat membuat komponen kustom berdasarkan kode atau gambar, dan menambahkan komponen kustom ini ke pipeline Anda.

node

Node mewakili komponen yang diseret dan dijatuhkan ke kanvas untuk membentuk pipeline.

snapshot

Setiap kali sistem menjalankan node tunggal dalam PipelineDraft, beberapa node dalam PipelineDraft, atau seluruh PipelineDraft, sistem menciptakan snapshot untuk konfigurasi PipelineDraft. Snapshot mencakup konfigurasi node, parameter runtime, dan mode eksekusi. Snapshot dapat digunakan dalam versioning PipelineDraft dan rollback konfigurasi.

PipelineRun

PipelineRun mewakili satu kali jalannya pipeline. Setelah Anda menggunakan Designer untuk mengirimkan run untuk PipelineDraft atau menggunakan SDK untuk mengirimkan run untuk pipeline, PipelineRun dihasilkan.

job

Job, seperti pekerjaan DLC, menggunakan sumber daya komputasi. Lingkungan sumber daya tempat job berjalan milik pengguna.

run

Run mewakili satu kali eksekusi pipeline. Run setara dengan konsep yang sama dalam MLflow. Semua run harus termasuk dalam eksperimen. Anda dapat menggunakan run untuk melacak pekerjaan pelatihan yang Anda kirimkan di Platform Pembelajaran Mesin untuk AI. Anda juga dapat menggunakan klien MLflow untuk mengirimkan run dari mesin lokal. Sebuah run dapat berisi beberapa job.

model

Model dihasilkan oleh pekerjaan pelatihan berdasarkan dataset, algoritma, dan kode. Anda dapat menggunakan model untuk membuat prediksi.

Processor

Prosesor adalah paket logika prediksi online, termasuk logika untuk memuat model dan menangani permintaan. Dalam kebanyakan kasus, prosesor diterapkan bersama dengan file model untuk menyediakan layanan. Prosesor terdiri dari jenis-jenis berikut:

• Prosesor bawaan: EAS menyediakan prosesor bawaan untuk model umum, seperti model Predictive Model Markup Language (PMML) dan model TensorFlow.

• Prosesor kustom: Jika prosesor bawaan tidak dapat memenuhi persyaratan bisnis Anda, Anda dapat membuat prosesor kustom yang sesuai dengan standar pengembangan prosesor.

service

Anda dapat menerapkan file model bersama dengan logika prediksi online sebagai layanan. EAS memungkinkan Anda membuat, memperbarui, memulai, menghentikan, menambah kapasitas, dan mengurangi kapasitas layanan.

image

PAI memungkinkan Anda mengelola gambar Docker berikut sebagai aset AI:

• Gambar publik yang disediakan oleh PAI.

• Gambar kustom yang disimpan di Data Science Workshop (DSW).

• Gambar kustom yang disimpan di Container Registry.

Anda dapat menggunakan gambar dalam pipeline untuk membuat komponen kustom untuk menyelesaikan pekerjaan tertentu. Gambar juga dapat menyediakan lingkungan runtime untuk instance DSW dan pekerjaan pelatihan.

instance

Instance adalah unit terkecil untuk menyediakan sumber daya komputasi. Instance terdiri dari jenis-jenis berikut:

• Instance DSW: Instance DSW adalah instance notebook. Setiap instance DSW menyediakan sejumlah sumber daya komputasi untuk Anda gunakan dalam memodifikasi kode, melakukan debugging, atau melatih model. Lingkungan sumber daya instance milik pengguna.

• Instance EAS: Instance EAS adalah proses layanan. Anda dapat menerapkan satu atau lebih instance EAS untuk setiap layanan untuk meningkatkan jumlah permintaan bersamaan yang dapat ditangani oleh layanan. Lingkungan sumber daya instance milik pengguna.

Istilah

Deskripsi

iTAG

iTAG adalah alat pelabelan dataset yang dikembangkan dengan model kotak hitam untuk membantu meningkatkan kualitas dan efisiensi pelabelan dataset.

Designer

Designer ditujukan untuk desain pipeline di sektor AI. Designer menyediakan berbagai komponen algoritma pembelajaran mesin bawaan. Anda dapat menyeret dan menjatuhkan komponen-komponen ini untuk melatih model tanpa coding.

Data Science Workshop (DSW)

DSW adalah lingkungan pengembangan terintegrasi (IDE) yang ditujukan untuk pengembangan AI interaktif di cloud. DSW terdiri dari Notebook, VS Code, dan Terminal. Anda dapat menggunakan gambar untuk menerapkan instance DSW yang menggunakan NAS sebagai penyimpanan.

Deep Learning Containers (DLC)

Anda dapat mengirimkan pekerjaan pelatihan ke grup sumber daya komputasi, seperti kluster DLC, di workspace saat ini. Setelah Anda mengirimkan pekerjaan pelatihan, Anda dapat melihat detail tentang pekerjaan tersebut di modul Pekerjaan konsol PAI.

Elastic Algorithm Service (EAS)

EAS memungkinkan Anda menerapkan model kompleks sebagai layanan dalam skala besar dengan beberapa klik. EAS mendukung penskalaan waktu nyata dan menyediakan sistem pemantauan dan pemeliharaan yang canggih.

AI Asset Management

Modul ini memungkinkan Anda mengelola aset AI utama, termasuk dataset, model, dan repositori kode sumber.

Skenario-based Solution

Kumpulan solusi yang disediakan oleh PAI untuk membantu Anda menyelesaikan masalah di pasar vertikal.