Infron est une entreprise d'infrastructure d'IA basée aux États-Unis. Son produit phare est une passerelle et plateforme d'inférence d'IA de niveau entreprise qui offre aux équipes d'ingénierie l'accès à plus de 400 modèles de pointe de plus de 100 fournisseurs via une API compatible OpenAI, avec facturation unifiée et basculement automatique.

Au-delà de l'accès aux modèles, Infron combine un routage intelligent élastique avec une couche agentique, ainsi que les capacités de production dont les équipes ont besoin à grande échelle, notamment un SLA de disponibilité de 99,9 %, une mise en cache intelligente et un débit dédié. La plateforme aide les clients à améliorer la disponibilité des modèles, réduire les coûts d'inférence et fournir des performances cohérentes entre les fournisseurs.

Infron évolue sur un marché de l'infrastructure d'IA en constante évolution, où les capacités des modèles et les exigences des clients changent rapidement.

D'un point de vue technique, l'équipe doit itérer en continu ses algorithmes de routage en fonction des scénarios clients réels, des performances des modèles, de la disponibilité, de la latence et des coûts. À mesure que de nouveaux modèles et fournisseurs émergent, Infron doit adapter continuellement sa logique d'orchestration pour aider les clients à choisir la bonne voie d'accès aux modèles pour chaque charge de travail.

D'un point de vue commercial, le marché est très concurrentiel. Le secteur se développe rapidement et de nombreuses entreprises entrent en jeu sous différents angles, notamment les plateformes d'accès aux modèles d'IA, les couches d'agrégation et les fournisseurs d'inférence. Infron doit se différencier par une meilleure orchestration, une fiabilité accrue, l'optimisation des coûts et une intelligence de routage adaptée à chaque client.

À mesure que les clients d'Infron sont passés en production, certaines charges de travail ont commencé à dépasser les quotas d'API partagés et les limites de débit. Parallèlement, de plus en plus de clients exigeaient un accès aux modèles dans des régions spécifiques pour des raisons de latence et de résidence des données. Infron avait besoin d'un partenaire d'infrastructure capable de fournir une capacité garantie et une couverture multirégionale sans compromettre l'efficacité économique.

Infron collabore avec Alibaba Cloud pour deux raisons principales.

● Accès économique aux modèles open source : Alibaba Cloud propose des tarifs très compétitifs pour les modèles open source, permettant à Infron d'offrir une meilleure optimisation des coûts pour les charges de travail de modèles open source sélectionnées.

● Solutions de capacité éprouvées : Alibaba Cloud propose des options de capacité incluant la réservation de TPM, les Provisioned Throughput Units (PTU) et les Model Units (MU). Ces options aident Infron à améliorer l'évolutivité, la disponibilité et la stabilité face aux contraintes de capacité ou de ressources dans l'orchestration de modèles.

Alibaba Cloud soutient l'architecture d'orchestration de modèles d'Infron dans trois domaines principaux :

● Accès mondial aux modèles open source
Alibaba Cloud a permis à Infron de se connecter aux modèles open source déployés dans les régions Alibaba Cloud à travers le monde. Cela offre à Infron un accès élargi aux modèles et davantage d'options de routage pour les charges de travail des clients.

● Coordination dynamique des capacités
Alibaba Cloud a fourni des options de capacité incluant la réservation de TPM, les PTU et les MU. Cela permet à Infron de coordonner les ressources dynamiquement en fonction de la demande des clients et des profils de charge de travail.

● Support de configuration de déploiement
Alibaba Cloud a collaboré avec Infron pour aligner les configurations de la plateforme sur les cas d'utilisation approuvés des clients entreprise, en maintenant des pratiques de déploiement responsables.

Portée mondiale et flexibilité de routage :
● Infron offre à ses clients un accès plus économique aux modèles open source sélectionnés grâce aux tarifs et au soutien en capacité d'Alibaba Cloud.
● Les clients peuvent ancrer leurs charges de travail à une région Alibaba Cloud spécifique pour répondre aux exigences de latence ou de résidence des données, avec un placement de région vérifiable à chaque requête.
● Couverture d'accès aux modèles étendue à cinq régions internationales d'Alibaba Cloud : Singapour, Chine (Hong Kong), Japon (Tokyo), Allemagne (Francfort) et États-Unis (Virginie).

Infrastructure évolutive :
● À mesure que la base clients d'Infron a grandi, son empreinte sur Alibaba Cloud est passée d'un accès initial aux modèles sur quotas partagés à une capacité dédiée dans plusieurs régions.
● Les options de capacité d'Alibaba Cloud — réservation de TPM, PTU et MU — ont aidé Infron à gérer les pics de trafic et à allouer les ressources à la demande, avec un débit dédié provisionné en quelques jours.

Stabilité et innovation de la plateforme :
● La collaboration a renforcé la fiabilité et l'évolutivité de la couche d'orchestration de modèles d'Infron, en particulier pour les charges de travail d'IA en production nécessitant une forte concurrence.
● L'équipe technique d'Alibaba Cloud a aidé Infron à accélérer les tests, le déploiement et l'optimisation des solutions d'accès aux modèles pour les scénarios clients.

Infron prévoit d'approfondir sa collaboration avec Alibaba Cloud en étendant l'accès à davantage de modèles open source dans les régions du monde et en améliorant la coordination dynamique des capacités pour les charges de travail d'IA en production.

Infron continuera également à développer ses capacités d'orchestration et d'évaluation des modèles. Grâce à ses travaux d'évaluation publics, l'entreprise vise à fournir une évaluation plus transparente et fondée sur les données du routage des modèles, des coûts, de la latence, du débit et de la fiabilité entre les fournisseurs.

Ensemble, Infron et Alibaba Cloud ambitionnent de construire une couche d'accès aux modèles mondiaux plus robuste, offrant aux équipes d'ingénierie un accès fiable et à faible latence aux modèles open source dont ils ont besoin, où qu'ils opèrent.