Infron es una empresa de infraestructura de IA con sede en EE. UU. Su producto insignia es una plataforma de inferencia y puerta de enlace de IA de nivel empresarial que brinda a los equipos de ingeniería acceso a más de 400 modelos principales de más de 100 proveedores a través de una API compatible con OpenAI, con facturación unificada y conmutación automática.

Además del acceso a los modelos, Infron combina un enrutamiento inteligente elástico con una capa de agentic, además de las capacidades de producción que los equipos necesitan a escala, incluyendo un SLA de 99,9 % de tiempo de actividad, almacenamiento en caché inteligente y rendimiento dedicado. La plataforma ayuda a los clientes a mejorar la disponibilidad de los modelos, reducir los costes de inferencia y ofrecer un rendimiento uniforme entre proveedores.

Infron opera en un mercado de infraestructura de IA en constante movimiento, donde las capacidades de los modelos y las necesidades de los clientes cambian con rapidez.

Desde una perspectiva técnica, el equipo debe iterar de forma continua sus algoritmos de enrutamiento en función de las situaciones reales de los clientes, el rendimiento de los modelos, la disponibilidad, la latencia y el coste. A medida que surgen nuevos modelos y proveedores, Infron debe seguir adaptando su lógica de orquestación para ayudar a los clientes a elegir la ruta correcta de acceso a modelos para cada carga de trabajo.

Desde una perspectiva de negocio, el mercado es muy competitivo. La industria está creciendo rápidamente, y muchas empresas están entrando en ella desde ángulos diferentes, incluyendo plataformas de acceso a modelos de IA, capas de agregación y proveedores de inferencia. Infron debe diferenciarse mediante una mejor orquestación, fiabilidad, optimización de costes e inteligencia de enrutamiento específica del cliente.

A medida que los clientes de Infron pasaron a producción, las cargas de trabajo individuales comenzaron a superar las cuotas de API compartidas y los límites de rendimiento. Al mismo tiempo, más clientes necesitaban acceso a modelos en regiones específicas por motivos de latencia y residencia de datos. Infron necesitaba un socio de infraestructura que pudiera proporcionar una capacidad garantizada y cobertura multirregional sin poner en riesgo la rentabilidad.

Infron trabaja con Alibaba Cloud por dos motivos principales.

● Acceso rentable a modelos de código abierto: Alibaba Cloud ofrece precios muy competitivos para modelos de código abierto, lo que permite a Infron ofrecer una mayor optimización de costes para cargas de trabajo seleccionadas de modelos de código abierto.

● Soluciones de capacidad madura: Alibaba Cloud ofrece opciones de capacidad que incluyen reserva de TPM, unidades de rendimiento aprovisionadas (PTU) y unidades modelo (MU). Estas opciones ayudan a Infron a mejorar la escalabilidad, disponibilidad y estabilidad a la hora de enfrentarse a limitaciones de capacidad o recursos en la orquestación de modelos.

Alibaba Cloud da soporte a la arquitectura de orquestación de modelos de Infron en tres áreas principales:

● Acceso global a modelos de código abierto
Alibaba Cloud ha permitido a Infron conectarse con modelos de código abierto implementados en todas las regiones de Alibaba Cloud a nivel mundial. Esto le da a Infron un acceso más amplio a los modelos y más opciones de enrutamiento para las cargas de trabajo de los clientes.

● Coordinación dinámica de la capacidad
Alibaba Cloud ha proporcionado opciones de capacidad que incluyen reserva de TPM, PTU y MU. Esto le permite a Infron coordinar recursos de manera dinámica en función de la demanda de los clientes y los patrones de carga de trabajo.

● Soporte de configuración de implementación
Alibaba Cloud ha trabajado con Infron para alinear las configuraciones de las plataformas con casos de uso de los clientes empresariales aprobados, manteniendo prácticas de implementación responsables.

Alcance global y flexibilidad de enrutamiento:
● Infron ofrece a sus clientes un acceso más rentable a modelos de código abierto seleccionados a través del soporte de capacidad y precios de Alibaba Cloud.
● Los clientes pueden asignar cargas de trabajo a una región específica de Alibaba Cloud para satisfacer los requisitos de latencia o residencia de datos, y la asignación a la región se puede verificar en todas las peticiones.
● Cobertura expandida de acceso a modelos en cinco regiones internacionales de Alibaba Cloud: Singapur, China (Hong Kong), Japón (Tokio), Alemania (Fráncfort) y EE. UU. (Virginia).

Infraestructura escalable:
● A medida que creció la clientela de Infron, su presencia en Alibaba Cloud se expandió desde un acceso inicial a modelos de cuota compartida hasta una capacidad dedicada en múltiples regiones.
● Las opciones de capacidad de reserva de TPM, PTU y MU de Alibaba Cloud ayudaron a Infron a gestionar picos de tráfico y a asignar recursos a demanda, con un rendimiento dedicado aprovisionado en cuestión de días.

Estabilidad de la plataforma e innovación:
● La colaboración reforzó la fiabilidad y escalabilidad de la capa de orquestación de modelos de Infron, en particular para las cargas de trabajo de IA en producción que requieran alta simultaneidad.
● El equipo técnico de Alibaba Cloud ayudó a Infron a avanzar más rápido en las pruebas, la implementación y la optimización de soluciones de acceso a modelos para las situaciones de sus clientes.

Infron planea ampliar su colaboración con Alibaba Cloud mediante la expansión del acceso a más modelos de código abierto por todas las regiones del mundo y la mejora de la coordinación dinámica de la capacidad para las cargas de trabajo de producción de IA.

Infron también seguirá expandiendo sus capacidades de orquestación y evaluación de modelos. A través de su trabajo público de evaluación, la compañía intenta proporcionar una evaluación más transparente, basada en datos, del enrutamiento, el coste, la latencia, el rendimiento y la fiabilidad de los modelos entre diferentes proveedores.

Juntos, Infron y Alibaba Cloud buscan construir una capa de acceso global a modelos más robusta; una que aporte a los equipos técnicos acceso fiable, de baja latencia, a los modelos de código abierto que necesitan, dondequiera que operen.