PAI-TensorFlow mengoptimalkan kernel TensorFlow asli dan menyediakan alat untuk meningkatkan efisiensi pelatihan pembelajaran mendalam. Layanan ini mendukung orientasi layanan, penjadwalan terdistribusi, penjadwalan komputasi global, pemetaan GPU, serta prediksi model online.
Server GPU cloud publik akan dihentikan secara bertahap. Anda dapat terus mengirimkan tugas TensorFlow yang berjalan di server CPU. Untuk menggunakan GPU dalam pelatihan model, kirimkan pekerjaan di Deep Learning Containers (DLC). Untuk informasi selengkapnya, lihat Create a training job.
Informasi latar belakang
TensorFlow adalah framework pembelajaran mendalam open source yang dikembangkan oleh Google. Framework ini mendukung berbagai model jaringan saraf, termasuk convolutional neural networks (CNNs), recurrent neural networks (RNNs), dan long short-term memory (LSTM). TensorFlow memungkinkan pelatihan model yang efisien di bidang-bidang seperti pemrosesan suara, gambar, dan teks, serta banyak digunakan berkat fitur-fiturnya yang lengkap dan API-nya yang fleksibel.
PAI-TensorFlow sepenuhnya kompatibel dengan kode TensorFlow asli dan memberikan performa lebih baik dalam berbagai skenario produksi. Layanan ini merupakan komponen dari beberapa Produk Alibaba Cloud, seperti PAI dan E-MapReduce (EMR).
Fitur
PAI-TensorFlow menyediakan fitur-fitur berikut:
-
Orientasi layanan
MaxCompute adalah platform data besar Alibaba Cloud yang dibangun di atas sistem Apsara, melayani puluhan ribu bisnis dan pengembang. PAI-TensorFlow memungkinkan Anda menjalankan framework TensorFlow di dalam MaxCompute. API-nya identik dengan versi open source, dan Anda dapat mengirimkan pekerjaan ke kluster komputasi MaxCompute menggunakan TensorFlow Training Script API.
-
Penjadwalan terdistribusi
PAI menyediakan sumber daya komputasi skala besar yang dikelola melalui GPU Quota. Sistem penjadwalan terdistribusi secara dinamis menetapkan pekerjaan PAI-TensorFlow ke mesin-mesin yang berbeda. Anda tidak perlu memesan host GPU fisik sebelumnya. Sumber daya GPU dialokasikan saat pekerjaan dimulai dan dilepas saat pekerjaan selesai.
-
Penjadwalan komputasi global
Dengan mesin komputasi MaxCompute, Anda dapat mengirimkan pekerjaan SQL dan pekerjaan PAI-TensorFlow dalam Proyek yang sama. Layanan penjadwalan komputasi global secara otomatis mengarahkan pekerjaan PAI-TensorFlow ke kluster GPU yang sesuai dan menghubungkan pekerjaan pra-pemrosesan data di kluster CPU dengan pekerjaan pelatihan model di kluster GPU.
-
Pemetaan GPU
PAI-TensorFlow mendukung penugasan operator yang berbeda ke CPU atau GPU tertentu. Dengan pemetaan GPU, Anda tidak perlu mengetahui struktur GPU fisik pada host. PAI-TensorFlow secara otomatis memetakan GPU yang diminta ke ruang proses pekerjaan, sehingga GPU tersebut terlihat sebagai `gpu:0`, `gpu:1`, dan seterusnya.
-
Prediksi model online
PAI menyediakan Elastic Algorithm Service (EAS). Anda dapat men-deploy model yang dilatih di PAI-TensorFlow ke EAS hanya dengan satu klik. EAS mendukung skalabilitas dinamis, rolling updates, Pengujian A/B, throughput tinggi, dan latensi rendah.
Pustaka Python yang didukung
PAI-TensorFlow hadir dengan pustaka Python pihak ketiga umum seperti NumPy dan Six yang telah dipra-instal. Anda dapat langsung mengimpor pustaka-pustaka ini dalam pekerjaan TensorFlow Anda.