Asosiasikan sumber daya Flink yang sepenuhnya dikelola dengan ruang kerja PAI untuk menjalankan pekerjaan pelatihan model terdistribusi skala besar menggunakan Alibaba Cloud Realtime Compute for Apache Flink—platform analitik data big data real-time end-to-end berbasis Apache Flink yang mampu memproses data dengan waktu respons di bawah satu detik.
Prasyarat
Sebelum memulai, pastikan Anda telah:
Anda memiliki Akun Alibaba Cloud. Jika belum, buat terlebih dahulu.
Memiliki izin yang sesuai dengan jenis akun Anda (lihat Izin di bawah).
Izin
Akun Alibaba Cloud dapat menyelesaikan semua operasi tanpa otorisasi tambahan. Pengguna RAM memerlukan izin khusus tergantung pada operasi yang dilakukan.
| Operasi | Izin yang diperlukan |
|---|---|
| Membeli sumber daya Flink yang sepenuhnya dikelola | AliyunStreamFullAccess policy — lihat Berikan izin kepada Pengguna RAM |
| Mengirimkan job ke Flink | Peran Owner di namespace Konsol Flink — lihat Otorisasi akun untuk melakukan operasi dalam namespace |
| Mengasosiasikan sumber daya Flink yang sepenuhnya dikelola dengan ruang kerja | Peran Administrator di ruang kerja |
| Menjalankan pelatihan model di Machine Learning Designer | Peran Algorithm developer di ruang kerja |
Untuk manajemen peran ruang kerja, lihat Kelola anggota ruang kerja.
Membeli sumber daya Flink yang sepenuhnya dikelola
Masuk ke Konsol PAI.
Pada panel navigasi sebelah kiri, pilih AI Computing Resources > Resource Quota. Di halaman Resource Quota, klik tab Fully Managed Flink Resources.
(Aktivasi pertama kali saja) Klik Activate dan selesaikan proses pembelian. Untuk petunjuk pengaturan, lihat Aktifkan Flink yang sepenuhnya dikelola.
CatatanLewati langkah ini jika Anda telah mengaktifkan Realtime Compute for Apache Flink.
Di tab Fully Managed Flink, klik Resources.
Di Konsol Realtime Compute for Apache Flink, klik Purchase. Untuk opsi pembelian, lihat Aktifkan Flink yang sepenuhnya dikelola.
Setelah pembelian, tab Fully Managed Flink Resources akan menampilkan detail sumber daya Anda.
Mengasosiasikan sumber daya Flink yang sepenuhnya dikelola dengan ruang kerja
Asosiasikan sumber daya Flink dengan ruang kerja menggunakan salah satu metode berikut:
Saat pembuatan ruang kerja: Tambahkan kelompok sumber daya saat membuat ruang kerja. Lihat Buat dan kelola ruang kerja.
Untuk ruang kerja yang sudah ada: Untuk detailnya, lihat Kelola sumber daya komputasi ruang kerja.
Masuk ke Konsol PAI.
Pada panel navigasi sebelah kiri, klik Workspaces. Di halaman daftar ruang kerja, klik nama ruang kerja target.
Di sisi kanan halaman detail ruang kerja, pilih Configure Workspace > Configure Computing Resource. Di tab Fully Managed Flink Resources, asosiasikan sumber daya tersebut.
Pelatihan model di Machine Learning Designer
Komponen yang didukung
Jenis komponen berikut dijalankan pada sumber daya Flink yang sepenuhnya dikelola:
| Jenis Komponen | Detail |
|---|---|
| Komponen framework Alink | Semua komponen kecuali yang berada di folder Beta Algorithm. Setiap komponen Alink ditandai dengan titik ungu. |
| Komponen algoritma kustom | Lihat PyAlink Script. |
Jalankan pipeline pelatihan
Buka ruang kerja yang telah diasosiasikan dengan sumber daya Flink yang sepenuhnya dikelola. Di halaman Visualized Modeling (Designer), buat pipeline kosong. Lihat Buat pipeline kustom.
Tarik komponen Alink atau kustom yang didukung ke Kanvas.
Di tab Pipeline properties pada panel sebelah kanan, atur Default Resource Preferred by Alink or FlinkML menjadi Flink.
PentingUntuk menjalankan komponen Alink sebagai grup, atur Default Resource Type Preferred by Alink menjadi Flink. Jika parameter ini tidak diatur, grup Alink akan menggunakan tipe sumber daya default-nya sendiri. Lihat Komponen Alink.
Jalankan komponen menggunakan salah satu pendekatan berikut:
Pendekatan Deskripsi Referensi Komponen tunggal Jalankan satu komponen yang menggunakan sumber daya Flink yang sepenuhnya dikelola, seperti komponen PyAlink Script. PyAlink Script Tipe sumber daya campuran Gabungkan komponen berbasis Flink dan non-Flink dalam satu pipeline. Misalnya, model rekomendasi Factorization Machine (FM) dapat mencakup komponen FM Train dan FM Prediction (Flink) bersama komponen Binary Classification Evaluation (MaxCompute). Buat model rekomendasi FM berdasarkan framework Alink Beberapa komponen Flink Jalankan beberapa komponen berbasis Flink sekaligus. Komponen Alink Setelah komponen selesai dijalankan, klik kanan komponen tersebut di Kanvas dan pilih View Log untuk memeriksa output-nya. Di tab Log, klik tautan Ververica Platform (VVP) untuk melihat detail komputasi komponen tersebut.
