Infron é uma empresa de infraestrutura de IA sediada nos EUA. Seu principal produto é um gateway de IA e plataforma de inferência de nível empresarial que oferece às equipes de engenharia acesso a mais de 400 modelos líderes de mais de 100 provedores por meio de uma API compatível com OpenAI, com faturamento unificado e failover automático.

Além do acesso a modelos, a Infron combina roteamento inteligente elástico com uma camada de agentes, além das capacidades de produção que as equipes precisam em escala, incluindo SLA de 99,9% de disponibilidade, cache inteligente e throughput dedicado. A plataforma ajuda os clientes a melhorar a disponibilidade dos modelos, reduzir custos de inferência e oferecer desempenho consistente entre provedores.

A Infron atua em um mercado de infraestrutura de IA em rápida evolução, onde tanto as capacidades dos modelos quanto os requisitos dos clientes estão mudando rapidamente.

Do ponto de vista técnico, a equipe precisa iterar continuamente seus algoritmos de roteamento com base em cenários reais de clientes, desempenho dos modelos, disponibilidade, latência e custo. À medida que novos modelos e provedores surgem, a Infron deve adaptar constantemente sua lógica de orquestração para ajudar os clientes a escolher o caminho certo de acesso a modelos para cada carga de trabalho.

Do ponto de vista comercial, o mercado é altamente competitivo. O setor cresce rapidamente, e muitas empresas estão entrando por diferentes ângulos, incluindo plataformas de acesso a modelos de IA, camadas de agregação e provedores de inferência. A Infron precisa se diferenciar por meio de melhor orquestração, confiabilidade, otimização de custos e inteligência de roteamento específica para cada cliente.

À medida que os clientes da Infron migraram para produção, cargas de trabalho individuais começaram a superar as cotas compartilhadas de API e os limites de throughput. Ao mesmo tempo, mais clientes precisavam de acesso a modelos em regiões específicas por motivos de latência e residência de dados. A Infron precisava de um parceiro de infraestrutura que pudesse fornecer capacidade garantida e cobertura multirregional sem comprometer a eficiência de custos.

A Infron trabalha com a Alibaba Cloud por dois motivos principais.

● Acesso econômico a modelos de código aberto: A Alibaba Cloud oferece preços altamente competitivos para modelos de código aberto, permitindo que a Infron entregue otimização de custos mais forte para cargas de trabalho selecionadas de modelos de código aberto.

● Soluções maduras de capacidade: A Alibaba Cloud oferece opções de capacidade, incluindo reserva de TPM, Unidades de Throughput Provisionado (PTU) e Unidades de Modelo (MU). Essas opções ajudam a Infron a melhorar escalabilidade, disponibilidade e estabilidade ao enfrentar restrições de capacidade ou recursos na orquestração de modelos.

A Alibaba Cloud suporta a arquitetura de orquestração de modelos da Infron em três áreas principais:

● Acesso global a modelos de código aberto
A Alibaba Cloud permitiu que a Infron se conectasse a modelos de código aberto implantados nas regiões da Alibaba Cloud em todo o mundo. Isso oferece à Infron acesso mais amplo a modelos e mais opções de roteamento para as cargas de trabalho dos clientes.

● Coordenação dinâmica de capacidade
A Alibaba Cloud forneceu opções de capacidade, incluindo reserva de TPM, PTU e MU. Isso permite que a Infron coordene recursos dinamicamente com base na demanda dos clientes e nos padrões de carga de trabalho.

● Suporte à configuração de implantação
A Alibaba Cloud trabalhou com a Infron para alinhar as configurações da plataforma aos casos de uso aprovados de clientes empresariais, mantendo práticas responsáveis de implantação.

Alcance global e flexibilidade de roteamento:
● A Infron oferece aos clientes acesso mais econômico a modelos de código aberto selecionados por meio dos preços e suporte de capacidade da Alibaba Cloud.
● Os clientes podem fixar cargas de trabalho em uma região específica da Alibaba Cloud para atender a requisitos de latência ou residência de dados, com verificação da localização da região em cada solicitação.
● Cobertura expandida de acesso a modelos em cinco regiões internacionais da Alibaba Cloud: Singapore, China (Hong Kong), Japão (Tokyo), Alemanha (Frankfurt) e EUA (Virginia).

Infraestrutura escalável:
● À medida que a base de clientes da Infron cresceu, sua presença na Alibaba Cloud se expandiu do acesso inicial a modelos com cota compartilhada para capacidade dedicada em várias regiões.
● As opções de capacidade da Alibaba Cloud — reserva de TPM, PTU e MU — ajudaram a Infron a gerenciar picos de tráfego e alocar recursos sob demanda, com throughput dedicado provisionado em poucos dias.

Estabilidade e inovação da plataforma:
● A colaboração fortaleceu a confiabilidade e a escalabilidade da camada de orquestração de modelos da Infron, especialmente para cargas de trabalho de IA em produção que exigem alta concorrência.
● A equipe técnica da Alibaba Cloud ajudou a Infron a avançar mais rápido nos testes, na implantação e na otimização de soluções de acesso a modelos para cenários dos clientes.

A Infron planeja aprofundar sua colaboração com a Alibaba Cloud expandindo o acesso a mais modelos de código aberto em regiões globais e melhorando a coordenação dinâmica de capacidade para cargas de trabalho de IA em produção.

A Infron também continuará expandindo suas capacidades de orquestração e benchmarking de modelos. Por meio de seu trabalho público de benchmarking, a empresa busca fornecer avaliações mais transparentes e baseadas em dados sobre roteamento de modelos, custo, latência, throughput e confiabilidade entre provedores.

Juntas, Infron e Alibaba Cloud buscam construir uma camada de acesso global a modelos mais robusta — que ofereça às equipes de engenharia acesso confiável e de baixa latência aos modelos de código aberto de que precisam, onde quer que operem.