PAI-TensorFlow optimiza el kernel nativo de TensorFlow y ofrece herramientas para mejorar la eficiencia del entrenamiento de deep learning. Es compatible con la orientación a servicios, la programación distribuida, la programación global de cómputo, la asignación de GPU y la predicción de modelos en línea.
Los servidores de GPU en la nube pública se descontinuarán. Puede seguir enviando tareas de TensorFlow que se ejecuten en servidores CPU. Para utilizar GPU en el entrenamiento de modelos, envíe trabajos en Deep Learning Containers (DLC). Para obtener más información, consulte Create a training job.
Información de contexto
TensorFlow es un framework de deep learning de código abierto desarrollado por Google. Admite varios modelos de redes neuronales, incluidas las redes neuronales convolucionales (CNN), las redes neuronales recurrentes (RNN) y las redes de memoria a largo y corto plazo (LSTM). TensorFlow permite entrenar modelos de forma eficiente en áreas como el procesamiento de voz, imagen y texto; además, cuenta con una amplia adopción gracias a sus numerosas funciones y API flexibles.
PAI-TensorFlow es totalmente compatible con el código nativo de TensorFlow y ofrece un mejor rendimiento en muchos escenarios de producción. Es un componente de varios productos de Alibaba Cloud, como PAI y E-MapReduce (EMR).
Características
PAI-TensorFlow proporciona las siguientes características:
-
Orientación a servicios
MaxCompute es una plataforma de big data de Alibaba Cloud construida sobre el sistema Apsara que da servicio a decenas de miles de empresas y desarrolladores. PAI-TensorFlow le permite ejecutar el framework TensorFlow dentro de MaxCompute. Sus API son idénticas a las de la versión de código abierto y puede enviar trabajos a un clúster de cómputo de MaxCompute mediante la API de script de entrenamiento de TensorFlow.
-
Programación distribuida
PAI proporciona recursos masivos de cómputo gestionados mediante cuota de GPU. El sistema de programación distribuida asigna dinámicamente los trabajos de PAI-TensorFlow a distintas máquinas. No necesita solicitar host físicos de GPU con antelación. Los recursos de GPU se asignan al iniciar un trabajo y se liberan al finalizar.
-
Programación global de cómputo
Con el motor de cómputo de MaxCompute, puede enviar tanto trabajos SQL como de PAI-TensorFlow en el mismo proyecto. El servicio de programación global de cómputo enruta automáticamente los trabajos de PAI-TensorFlow a los clústeres de GPU adecuados, y conecta los trabajos de preprocesamiento de datos en clústeres de CPU con los de entrenamiento de modelos en clústeres de GPU.
-
Asignación de GPU
PAI-TensorFlow admite la asignación de distintos operadores a CPU o GPU específicas. Con la asignación de GPU, no necesita conocer la estructura física de GPU del host. PAI-TensorFlow asigna automáticamente las GPU solicitadas al espacio de procesos del trabajo, lo que las hace visibles como
gpu:0,gpu:1, etc. -
Predicción de modelos en línea
PAI ofrece Elastic Algorithm Service (EAS). Puede desplegar modelos entrenados en PAI-TensorFlow en EAS con un solo clic. EAS admite escalado dinámico, actualizaciones continuas, pruebas A/B, alto rendimiento y baja latencia.
Bibliotecas de Python admitidas
PAI-TensorFlow incluye preinstaladas bibliotecas comunes de Python de terceros, como NumPy y Six. Puede importar estas bibliotecas directamente en sus trabajos de TensorFlow.