PAI-TensorFlow adalah produk berbasis layanan yang disediakan oleh Platform for AI (PAI) untuk membantu meningkatkan efisiensi pembelajaran mendalam, mengoptimalkan kernel TensorFlow asli, dan mengembangkan alat umum. PAI-TensorFlow mencakup fitur seperti penjadwalan terdistribusi, penjadwalan komputasi global, prediksi model online, dan pemetaan GPU.
Server yang dipercepat GPU akan segera dihentikan. Anda dapat menyerahkan tugas TensorFlow yang berjalan pada server CPU. Jika Anda ingin menggunakan instans yang dipercepat GPU untuk pelatihan model, kunjungi Deep Learning Containers (DLC) untuk menyerahkan pekerjaan. Untuk informasi lebih lanjut, lihat Kirim pekerjaan pelatihan.
Informasi latar belakang
TensorFlow adalah kerangka komputasi pembelajaran mendalam open source yang dikembangkan oleh Google. Ini mendukung berbagai model jaringan saraf seperti jaringan saraf konvolusional (CNN), jaringan saraf berulang (RNN), dan Jaringan Memori Jangka Pendek dan Panjang (LSTM). Anda dapat menggunakan TensorFlow untuk melatih model dari berbagai aspek, seperti video, gambar, dan teks, secara efisien. TensorFlow mendapatkan perhatian luas dari industri karena berbagai fiturnya dan API yang sangat fleksibel.
PAI-TensorFlow sepenuhnya kompatibel dengan kode TensorFlow asli dan mencapai kinerja tinggi dalam skenario produksi industri. PAI-TensorFlow tersedia untuk digunakan dan diterapkan di layanan Alibaba Cloud, seperti PAI dan E-MapReduce (EMR).
Fitur
PAI-TensorFlow memiliki fitur-fitur berikut:
Orientasi Layanan
Berdasarkan sistem Apsara, Alibaba Cloud mengembangkan MaxCompute, yaitu layanan komputasi data besar yang digunakan oleh banyak perusahaan dan pengembang individu. PAI-TensorFlow memungkinkan Anda menggunakan kerangka komputasi TensorFlow di MaxCompute. Versi API PAI-TensorFlow sama dengan versi API TensorFlow. Anda dapat menggunakan TensorFlow Training Script API untuk menyerahkan tugas ke kluster komputasi MaxCompute.
Penjadwalan Terdistribusi
PAI menyediakan banyak sumber daya komputasi. Anda dapat menggunakan Kuota GPU untuk mengelola sumber daya tersebut. Berdasarkan sistem penjadwalan terdistribusi tingkat bawah, PAI-TensorFlow secara dinamis menjadwalkan tugas ke mesin yang berbeda. Saat Anda menyerahkan tugas PAI-TensorFlow, Anda tidak perlu meminta host GPU terlebih dahulu. Sumber daya GPU yang diperlukan dialokasikan dan dilepaskan secara dinamis.
Penjadwalan Komputasi Global
Saat menggunakan MaxCompute, Anda dapat menyerahkan tugas SQL dan tugas PAI-TensorFlow dalam satu proyek secara bersamaan. Layanan penjadwalan komputasi global MaxCompute secara otomatis menjadwalkan tugas PAI-TensorFlow ke kluster GPU terkait. Ini juga menggabungkan tugas pra-pemrosesan data berbasis kluster CPU dengan tugas pelatihan model berbasis kluster GPU.
Pemetaan GPU
PAI-TensorFlow menetapkan operator yang berbeda ke CPU atau GPU tertentu. Anda tidak perlu memahami struktur GPU dari host karena sistem memetakan GPU. PAI-TensorFlow secara otomatis memetakan GPU yang diminta oleh tugas ke ruang kerja. Dalam hal ini, GPU ditampilkan dalam format GPU:nomor, seperti GPU:0 dan GPU:1.
Prediksi Model Online
PAI menyediakan Elastic Algorithm Service (EAS) untuk prediksi online. Anda dapat dengan cepat menerapkan model yang dihasilkan selama pelatihan PAI-TensorFlow di EAS. EAS menyediakan berbagai fitur, termasuk penskalaan dinamis model, rollover, pengujian A/B, throughput tinggi, dan latensi rendah.
Perpustakaan Python yang didukung
PAI-TensorFlow telah dipasang sebelumnya dengan perpustakaan Python umum, seperti NumPy dan Six. Anda dapat mengimpor perpustakaan ke tugas TensorFlow.