Platform for AI (PAI) menyediakan PAI. Anda dapat membeli resource ini dan mengaitkannya dengan ruang kerja untuk pelatihan model terdistribusi berskala besar. Topik ini menjelaskan cara mengaktifkan, membeli, dan menggunakan resource Flink yang sepenuhnya dikelola untuk melatih model.
Fully managed Flink resources
Alibaba Cloud Realtime Compute for Apache Flink adalah platform analitik data big data real-time all-in-one yang dibangun di atas Apache Flink. Platform ini menyediakan kemampuan analitik end-to-end dengan latensi sub-detik. Untuk informasi lebih lanjut tentang resource Flink yang sepenuhnya dikelola, lihat Overview of fully managed Flink resources.
Prasyarat
Sebelum memulai, pastikan persyaratan berikut terpenuhi:
Anda harus memiliki Akun Alibaba Cloud. Jika belum, buat terlebih dahulu.
Account and permission requirements
Akun Alibaba Cloud (Disarankan): Anda dapat menggunakan akun utama untuk semua operasi tanpa perlu otorisasi tambahan.
Pengguna RAM:
Untuk membeli sumber daya Flink yang sepenuhnya dikelola, Anda harus memberikan izin
AliyunStreamFullAccesskepada Pengguna RAM. Untuk informasi selengkapnya, lihat Mengotorisasi pengguna di Konsol.Untuk mengirimkan tugas pelatihan ke resource Flink yang sepenuhnya dikelola, Anda perlu menambahkan role owner kepada Pengguna RAM di ruang proyek konsol pengembangan Flink. Untuk informasi lebih lanjut, lihat Development Console Authorization.
Untuk mengaitkan sumber daya Flink yang sepenuhnya dikelola dengan ruang kerja, berikan Pengguna RAM peran administrator di ruang kerja tersebut. Untuk menggunakan sumber daya ini untuk Pelatihan model di Machine Learning Designer, berikan Pengguna RAM peran pengembang algoritma. Untuk informasi selengkapnya, lihat Mengelola anggota.
Purchase fully managed Flink resources
Masuk ke PAI console.
Di panel navigasi sebelah kiri, klik AI Computing Resources > Resource Quota. Di halaman Resource Quota, klik tab Fully Managed Flink Resources.
Opsional: Di tab Fully Managed Flink Resources, klik Activate.
CatatanJika ini pertama kalinya Anda menggunakan resource Flink yang sepenuhnya dikelola, Anda harus melakukan langkah ini. Ikuti petunjuk dalam Activate Alibaba Cloud Realtime Compute for Apache Flink untuk membeli resource tersebut.
Untuk membeli resource Flink tambahan yang sepenuhnya dikelola, lanjutkan ke langkah berikutnya.
Di tab Fully Managed Flink Resources, klik Resource Management.
Di halaman konsol Realtime Compute, klik Purchase. Untuk detail pembelian resource Flink yang sepenuhnya dikelola, lihat Activate Alibaba Cloud Realtime Compute for Apache Flink.
Setelah pembelian berhasil, kembali ke tab Fully Managed Flink Resources di halaman Resource Quota pada konsol Platform for AI (PAI). Di sini, Anda dapat melihat kelompok sumber daya Flink yang telah dibuat, memeriksa CU yang digunakan dan dialokasikan, serta memverifikasi bahwa statusnya Running. Anda juga dapat mengklik Flink Console di kolom Actions untuk membuka halaman manajemennya.
Associate fully managed Flink resources with a workspace
Untuk menggunakan resource Flink yang sepenuhnya dikelola di PAI, Anda dapat mengaitkannya dengan ruang kerja melalui salah satu dari dua cara berikut:
Saat membuat ruang kerja, tambahkan dan kaitkan kelompok sumber daya. Untuk informasi lebih lanjut, lihat Create and manage a workspace.
Untuk menambahkan resource komputasi Flink ke ruang kerja yang sudah ada:
Masuk ke PAI console.
Di panel navigasi sebelah kiri, klik Workspaces. Di halaman Workspaces, klik nama ruang kerja target.
Di sisi kanan halaman detail ruang kerja, pilih Configure Workspace > Configure Computing Resource. Di tab Fully Managed Flink Resources, kaitkan resource Flink yang sepenuhnya dikelola tersebut. Untuk informasi lebih lanjut, lihat Manage computing resources for a workspace.
Train models in Designer using Flink resources
Buka ruang kerja yang telah dikaitkan dengan resource Flink yang sepenuhnya dikelola dan buat pipeline kosong di halaman Machine Learning Designer. Untuk informasi lebih lanjut, lihat Create a custom pipeline.
Tarik komponen yang mendukung resource Flink yang sepenuhnya dikelola ke kanvas, seperti:
Semua komponen dalam framework Alink (kecuali komponen Beta), yang ditandai dengan ikon ungu. Contohnya termasuk komponen algoritma seperti FM Train, FM Prediction, Swing Train, Swing Recommend, IForest Anomaly Detection, Local Outlier Factor Anomaly Detection, dan One-Class SVM Anomaly Detection.
Komponen algoritma kustom (PyAlink Script).
Di sisi kanan kanvas, pada tab Pipeline Attributes, pilih Flink dari daftar Pipeline Attributes.
PentingJika Anda menjalankan komponen Alink secara berkelompok, Anda juga harus mengatur Default Resource Type Preferred by Alink ke Flink. Jika tidak, kelompok tersebut akan menggunakan jenis resource default-nya. Untuk informasi lebih lanjut tentang cara mengatur jenis resource untuk kelompok Alink, lihat Alink components.
Jalankan komponen dengan salah satu cara berikut:
Jalankan satu komponen yang bergantung pada resource Flink yang sepenuhnya dikelola. Misalnya, jalankan komponen PyAlink Script. Untuk informasi lebih lanjut, lihat PyAlink Script.
Rangkai komponen yang bergantung pada resource Flink yang sepenuhnya dikelola dengan komponen yang bergantung pada jenis resource lain. Misalnya, dalam tutorial FM-based recommendation with Alink framework, komponen FM Train dan FM Prediction bergantung pada resource Flink yang sepenuhnya dikelola, sedangkan komponen evaluasi klasifikasi biner bergantung pada resource MaxCompute.
Jalankan sejumlah komponen yang bergantung pada resource Flink yang sepenuhnya dikelola. Untuk informasi lebih lanjut, lihat Alink components.
Setelah komponen selesai dijalankan, klik kanan komponen tersebut di pipeline dan pilih View Log.
Untuk detail lebih lanjut, klik tautan log VVP di panel log.