Die AI-Beschleunigungslösung von Alibaba umfasst die Schichten Cloud-natives KI-Paket, KI-Jobplanung, KI-Datenbeschleunigung, KI-Rechenbeschleunigungs-Engine, Ressourcenplanung und Rechenressourcen. Jede Schicht bietet spezifische Beschleunigungslösungen basierend auf den Merkmalen der KI-Anwendungen in verschiedenen Szenarien.
Cloud-natives KI-Paket: Vereinfachen Sie den Betrieb mit zugrunde liegenden Diensten und Komponenten, überwachen Sie die GPU-Ressourcennutzung und erfassen und analysieren Sie Protokolle von KI-Jobs. Sie können Befehlszeilen verwenden, um KI-Jobs einzureichen und den Zeitplan des Modelltrainings zu überprüfen.
KI-Jobplanung: Planen Sie KI-Jobs, um das Modelltraining zu beschleunigen, die GPU-Auslastung zu erhöhen und Kosten zu senken.
AIACC: Nutzen Sie Deep-Learning-Frameworks wie TensorFlow, PyTorch, MXNet und Caffe zur Bildklassifizierung, Bilderkennung, Klickratenvorhersage, Sprachverarbeitung, Spracherkennung, Gesichtserkennung usw.
Datenbeschleunigung: Setzen Sie eine Architektur mit getrennten Speicher- und Rechenressourcen ein, bei der Daten auf lokalen Geräten gespeichert und das Modelltraining auf Alibaba Cloud ausgeführt wird. Daten werden in kleinen Dateien gespeichert und vor dem Modelltraining vorgewärmt, um die Übertragungs- und Trainingseffizienz zu verbessern.
Ressourcenplanung: Erhöhen Sie die GPU-Auslastung und senken Sie Kosten, indem Sie GPU-Ressourcen zwischen mehreren KI-Jobs teilen und einzelne KI-Jobs auf mehreren GPUs für verteiltes Modelltraining ausführen.
Rechenressourcen – GPU: Verwalten und planen Sie GPU-Speicher und Rechenleistung als Container mit cGPU, um KI-Training und -Inferenz zu beschleunigen.