Infron은 미국에 기반을 둔 AI 인프라 회사입니다. 대표 제품은 엔터프라이즈급 AI 게이트웨이 및 추론 플랫폼으로, 하나의 OpenAI 호환 API를 통해 100개 이상의 공급자가 제공하는 400개 이상의 주요 모델에 엔지니어링 팀이 액세스할 수 있도록 지원하며, 통합 청구와 자동 장애 조치 기능을 제공합니다.

Infron은 모델 액세스 외에도 탄력적인 지능형 라우팅과 에이전트 기반 계층을 결합하고, 99.9% 가동 시간 SLA, 스마트 캐싱, 전용 처리량 등 대규모 운영에 필요한 프로덕션 기능을 제공합니다. 이 플랫폼은 고객이 모델 가용성을 향상하고, 추론 비용을 절감하며, 여러 공급자 환경에서 일관된 성능을 제공할 수 있도록 지원합니다.

Infron은 모델 역량과 고객 요구 사항이 빠르게 변화하는 역동적인 AI 인프라 시장에서 사업을 운영하고 있습니다.

기술적인 관점에서 Infron 팀은 실제 고객 시나리오, 모델 성능, 가용성, 지연 시간 및 비용을 기반으로 라우팅 알고리즘을 지속적으로 개선해야 합니다. 새로운 모델과 공급자가 등장함에 따라 Infron은 고객이 각 워크로드에 적합한 모델 액세스 경로를 선택할 수 있도록 오케스트레이션 로직을 지속적으로 개선해야 합니다.

비즈니스 관점에서 시장은 매우 경쟁이 치열한 상황입니다. 업계는 빠르게 성장하고 있으며, AI 모델 액세스 플랫폼, 집계 계층 및 추론 제공업체 등 다양한 분야에서 많은 기업이 시장에 진입하고 있습니다. Infron은 더욱 뛰어난 오케스트레이션, 안정성, 비용 최적화 및 고객별 라우팅 인텔리전스를 통해 차별화해야 합니다.

Infron의 고객이 프로덕션 환경으로 전환하면서 개별 워크로드가 공유 API 할당량과 처리량 한계를 초과하기 시작했습니다. 동시에 더 많은 고객이 지연 시간과 데이터 레지던시 요구 사항으로 인해 특정 리전에서의 모델 액세스를 필요로 했습니다. Infron은 비용 효율성을 저해하지 않으면서 보장된 용량과 다중 리전 지원을 제공할 수 있는 인프라 파트너가 필요했습니다.

Infron이 Alibaba Cloud와 협력하는 주요 이유는 두 가지입니다.

● 비용 효율적인 오픈 소스 모델 액세스: Alibaba Cloud는 오픈 소스 모델에 대해 경쟁력 높은 가격을 제공하여 Infron이 선택한 오픈 소스 모델 워크로드의 비용을 더욱 효율적으로 최적화할 수 있도록 지원합니다.

● 성숙한 용량 솔루션: Alibaba Cloud는 TPM 예약, 프로비저닝된 처리량 단위(PTU), 모델 단위(MU)를 포함한 다양한 용량 옵션을 제공합니다. 이러한 옵션을 통해 Infron은 모델 오케스트레이션에서 용량 또는 리소스 제약 조건에 직면할 때 확장성, 가용성 및 안정성을 향상할 수 있습니다.

Alibaba Cloud는 다음 세 가지 주요 영역에서 Infron의 모델 오케스트레이션 아키텍처를 지원합니다.

● 글로벌 오픈 소스 모델 액세스
Alibaba Cloud를 통해 Infron은 전 세계 Alibaba Cloud 리전에 배포된 오픈 소스 모델에 연결할 수 있었습니다. 이를 통해 Infron은 고객 워크로드에 대해 더 광범위한 모델 액세스와 라우팅 옵션을 제공할 수 있습니다.

●동적 용량 조정
Alibaba Cloud는 TPM 예약, PTU 및 MU를 포함한 용량 옵션을 제공했습니다. 이를 통해 Infron은 고객 수요와 워크로드 패턴에 따라 리소스를 동적으로 조정할 수 있습니다.

●배포 구성 지원
Alibaba Cloud는 Infron과 협력하여 플랫폼 구성을 승인된 엔터프라이즈 고객 사용 사례에 맞게 조정해 책임 있는 배포 관행을 유지했습니다.

글로벌 확장성 및 라우팅 유연성:
● Infron은 Alibaba Cloud의 가격 및 용량 지원을 통해 고객에게 일부 오픈 소스 모델에 대한 비용 효율적인 액세스를 제공합니다.
● 고객은 특정 Alibaba Cloud 리전에 워크로드를 고정하여 지연 시간 또는 데이터 레지던시 요구 사항을 충족할 수 있으며 각 요청마다 리전 배치를 확인할 수 있습니다.
● 싱가포르, 중국(홍콩), 일본(도쿄), 독일(프랑크푸르트), 미국(버지니아)을 포함한 Alibaba Cloud의 5개 해외 리전에서 모델 액세스 범위를 확대했습니다.

확장 가능한 인프라:
● Infron의 고객 기반이 성장하면서 Alibaba Cloud 활용 범위는 초기 공유 할당량 기반 모델 액세스에서 여러 리전의 전용 용량으로 확장되었습니다.
● Alibaba Cloud의 TPM 예약, PTU 및 MU 용량 옵션은 Infron이 트래픽 급증을 관리하고 필요에 따라 리소스를 할당하는 데 도움이 되었으며, 며칠 내에 전용 처리량을 프로비저닝하도록 지원했습니다.

플랫폼 안정성 및 혁신:
● 이러한 협력을 통해 Infron은 특히 높은 동시성이 필요한 프로덕션 AI 워크로드에서 모델 오케스트레이션 계층의 안정성과 확장성을 향상할 수 있었습니다.
● Alibaba Cloud의 기술 팀은 Infron이 고객 시나리오에 맞는 모델 액세스 솔루션을 더욱 신속하게 테스트하고 배포하며 최적화할 수 있도록 지원했습니다.

Infron은 전 세계 리전에서 더 많은 오픈 소스 모델에 대한 액세스를 확대하고 프로덕션 AI 워크로드를 위한 동적 용량 조정을 개선하여 Alibaba Cloud와의 협력을 더욱 강화할 계획입니다.

Infron은 또한 모델 오케스트레이션과 벤치마킹 역량을 계속 확대해 나갈 예정입니다. 이 회사는 공개 벤치 마크 작업을 통해 공급자 전반에 걸쳐 모델 라우팅, 비용, 지연 시간, 처리량 및 안정성에 대한 보다 투명한 데이터 기반 평가를 제공하는 것을 목표로 합니다.

Infron과 Alibaba Cloud는 함께 더욱 강력한 글로벌 모델 액세스 계층을 구축하는 것을 목표로 하며, 이를 통해 엔지니어링 팀이 운영 위치와 관계없이 필요한 오픈 소스 모델에 안정적이고 낮은 지연 시간으로 액세스할 수 있도록 지원합니다.