Infron ist ein US-amerikanisches Unternehmen für KI-Infrastruktur. Sein Flaggschiffprodukt ist eine KI-Gateway- und Inferenzplattform für Unternehmensanforderungen, über die Engineering-Teams mit einer einzigen OpenAI-kompatiblen API auf mehr als 400 führende Modelle von über 100 Anbietern zugreifen können – mit einheitlicher Abrechnung und automatischem Failover.

Zusätzlich zum Modellzugriff kombiniert Infron elastisches, intelligentes Routing mit einer agentenbasierten Ebene und den Funktionen, die Teams für den skalierbaren Produktivbetrieb benötigen. Dazu gehören ein SLA mit 99,9 % Verfügbarkeit, intelligentes Caching und dedizierter Durchsatz. Die Plattform unterstützt Kunden dabei, die Modellverfügbarkeit zu erhöhen, Inferenzkosten zu senken und anbieterübergreifend eine konsistente Leistung zu gewährleisten.

Infron ist in einem dynamischen Markt für KI-Infrastruktur tätig, in dem sich sowohl die Modellfunktionen als auch die Kundenanforderungen rasch verändern.

Aus technischer Sicht muss das Team seine Routing-Algorithmen kontinuierlich anhand konkreter Kundenszenarien sowie der Modellleistung, Verfügbarkeit, Latenz und Kosten weiterentwickeln. Mit dem Aufkommen neuer Modelle und Anbieter muss Infron seine Orchestrierungslogik fortlaufend anpassen, damit Kunden für jeden Workload die passende Route für den Modellzugriff wählen können.

Aus geschäftlicher Sicht ist der Markt stark umkämpft. Die Branche wächst schnell, und zahlreiche Unternehmen drängen mit unterschiedlichen Ansätzen auf den Markt – darunter Plattformen für den Zugriff auf KI-Modelle, Aggregationsschichten und Inferenzanbieter. Infron muss sich durch eine leistungsfähigere Orchestrierung, höhere Zuverlässigkeit, konsequente Kostenoptimierung und intelligentes, kundenspezifisches Routing vom Wettbewerb abheben.

Als die Kunden von Infron ihre Workloads in den Produktivbetrieb überführten, reichten die gemeinsam genutzten API-Kontingente und Durchsatzgrenzen für einzelne Workloads zunehmend nicht mehr aus. Gleichzeitig benötigten immer mehr Kunden aus Latenz- und Datenresidenzgründen Zugriff auf Modelle in bestimmten Regionen. Infron benötigte einen Infrastrukturpartner, der garantierte Kapazitäten und eine Abdeckung über mehrere Regionen hinweg bieten konnte, ohne Abstriche bei der Kosteneffizienz machen zu müssen.

Infron arbeitet aus zwei wesentlichen Gründen mit Alibaba Cloud zusammen.

● Kosteneffizienter Zugriff auf Open-Source-Modelle: Alibaba Cloud bietet äußerst wettbewerbsfähige Preise für Open-Source-Modelle. Dadurch kann Infron ausgewählte Workloads mit Open-Source-Modellen noch kosteneffizienter betreiben.

● Ausgereifte Kapazitätslösungen: Alibaba Cloud bietet Kapazitätsoptionen wie TPM-Reservierung, Provisioned Throughput Units (PTU) und Model Units (MU). Mit diesen Optionen kann Infron bei Kapazitäts- oder Ressourcenengpässen in der Modellorchestrierung Skalierbarkeit, Verfügbarkeit und Stabilität verbessern.

Alibaba Cloud unterstützt die Architektur von Infron für die Modellorchestrierung in drei zentralen Bereichen:

● Globaler Zugriff auf Open-Source-Modelle
Alibaba Cloud ermöglichte Infron den Zugriff auf Open-Source-Modelle, die weltweit in Alibaba Cloud-Regionen bereitgestellt werden. Dadurch erhält Infron Zugriff auf eine größere Modellauswahl und zusätzliche Routing-Optionen für die Workloads seiner Kunden.

● Dynamische Kapazitätssteuerung
Alibaba Cloud stellte Kapazitätsoptionen bereit, darunter TPM-Reservierung, PTU und MU. Damit kann Infron die Ressourcen dynamisch an die Kundennachfrage und die jeweiligen Workload-Muster anpassen.

● Unterstützung bei der Konfiguration von Bereitstellungen
Alibaba Cloud arbeitete mit Infron zusammen, um die Plattformkonfigurationen unter Einhaltung verantwortungsvoller Bereitstellungspraktiken auf freigegebene Anwendungsszenarien von Unternehmenskunden abzustimmen.

Globale Reichweite und flexibles Routing:
● Durch die wettbewerbsfähigen Preise und Kapazitätsoptionen von Alibaba Cloud bietet Infron seinen Kunden einen kosteneffizienteren Zugriff auf ausgewählte Open-Source-Modelle.
● Kunden können Workloads an eine bestimmte Alibaba Cloud-Region binden, um Latenzanforderungen oder Vorgaben zur Datenresidenz zu erfüllen. Die verwendete Region lässt sich bei jeder Anfrage überprüfen.
● Der Modellzugriff wurde auf fünf internationale Alibaba Cloud-Regionen ausgeweitet: Singapur, China (Hongkong), Japan (Tokio), Deutschland (Frankfurt) und USA (Virginia).

Skalierbare Infrastruktur:
● Mit dem Wachstum des Kundenstamms von Infron wurde auch dessen Nutzung von Alibaba Cloud ausgebaut: vom anfänglichen Modellzugriff über gemeinsam genutzte Kontingente hin zu dedizierter Kapazität in mehreren Regionen.
● Mit den Kapazitätsoptionen von Alibaba Cloud – TPM-Reservierung, PTU und MU – konnte Infron Lastspitzen bewältigen und Ressourcen bedarfsgerecht zuweisen. Dedizierter Durchsatz wurde dabei innerhalb weniger Tage bereitgestellt.

Plattformstabilität und Innovation:
● Die Zusammenarbeit erhöhte die Zuverlässigkeit und Skalierbarkeit der Modellorchestrierungsebene von Infron – insbesondere bei KI-Workloads im Produktivbetrieb mit hoher Parallelität.
● Das technische Team von Alibaba Cloud unterstützte Infron dabei, Lösungen für den Modellzugriff in konkreten Kundenszenarien schneller zu testen, bereitzustellen und zu optimieren.

Infron plant, die Zusammenarbeit mit Alibaba Cloud auszubauen, den Zugriff auf weitere Open-Source-Modelle in Regionen weltweit zu erweitern und die dynamische Kapazitätssteuerung für KI-Workloads im Produktivbetrieb zu verbessern.

Darüber hinaus wird Infron seine Funktionen für Modellorchestrierung und Benchmarking weiter ausbauen. Durch seine öffentlich zugänglichen Benchmark-Analysen möchte das Unternehmen eine transparentere, datenbasierte Bewertung von Modell-Routing, Kosten, Latenz, Durchsatz und Zuverlässigkeit über verschiedene Anbieter hinweg ermöglichen.

Gemeinsam wollen Infron und Alibaba Cloud eine robustere globale Ebene für den Modellzugriff schaffen, die Entwicklungsteams überall einen zuverlässigen, latenzarmen Zugriff auf die benötigten Open-Source-Modelle bietet.