Infron は、米国拠点の AI インフラ企業です。主力製品はエンタープライズグレードの AI ゲートウェイおよび推論プラットフォームで、エンジニアリングチームに 100 以上のプロバイダーから 400 以上の主要モデルへのアクセスを 1 つの OpenAI 互換 API で提供し、統合課金と自動フェイルオーバーを備えています。

モデルへのアクセスに加え、Infron はエラスティックインテリジェントルーティングとエージェントレイヤーを組み合わせ、99.9% の稼働率 SLA、スマートキャッシング、専用スループットなど、チームが大規模に必要とする本番機能を備えています。このプラットフォームは、顧客のモデル可用性を向上させ、推論コストを削減し、プロバイダー間で一貫したパフォーマンスを実現します。

Infron は急速に変化する AI インフラ市場で事業を展開しており、モデルの能力と顧客要件の両方が急速に変化しています。

技術的な視点では、チームは実際の顧客シナリオ、モデルのパフォーマンス、可用性、レイテンシ、コストに基づいて、ルーティングアルゴリズムを継続的に改善する必要があります。新しいモデルやプロバイダーが登場する中、Infron は各ワークロードに最適なモデルアクセスパスを顧客に提供できるよう、オーケストレーションロジックを適応させ続ける必要があります。

ビジネス的な視点では、市場は非常に競争が激しくなっています。業界は急速に成長しており、AI モデルアクセスプラットフォーム、集約レイヤー、推論プロバイダーなど、さまざまな角度から多くの企業が参入しています。Infron は、優れたオーケストレーション、信頼性、コスト最適化、顧客固有のルーティングインテリジェンスにより差別化を図る必要があります。

Infron の顧客が本番環境に移行するにつれ、個々のワークロードが共有 API クォータやスループットの上限を超えるようになりました。同時に、レイテンシやデータ保管場所の理由から、特定のリージョンでのモデルアクセスを必要とする顧客が増えました。Infron には、コスト効率を維持しながら、保証されたキャパシティとマルチリージョンカバレッジを提供できるインフラパートナーが必要でした。

Infron が Alibaba Cloud と連携する主な理由は 2 つあります。

● コスト効率に優れたオープンソースモデルへのアクセス: Alibaba Cloud はオープンソースモデルに対して非常に競争力の高い料金体系を提供し、Infron が特定のオープンソースモデルワークロードにおいて、より強力なコスト最適化を実現できるようにしています。

● 成熟したキャパシティソリューション: Alibaba Cloud は、TPM リザベーション、Provisioned Throughput Units（PTU）、Model Units（MU）などのキャパシティオプションを提供しています。これらのオプションにより、Infron はモデルオーケストレーションにおけるキャパシティやリソースの制約に直面した際の、スケーラビリティ、可用性、安定性を向上させています。

Alibaba Cloud は、主に以下の 3 つの分野で Infron のモデルオーケストレーションアーキテクチャをサポートしています。

● グローバルなオープンソースモデルへのアクセス
Alibaba Cloud により、Infron はグローバルにデプロイされたオープンソースモデルに接続できるようになりました。これにより、Infron はより幅広いモデルへのアクセスと、顧客ワークロードのルーティングオプションを増やしています。

● 動的キャパシティ調整
Alibaba Cloud は TPM リザベーション、PTU、MU などのキャパシティオプションを提供しました。これにより、Infron は顧客の需要とワークロードパターンに応じてリソースを柔軟に調整できます。

● デプロイ設定サポート
Alibaba Cloud は Infron と連携し、承認されたエンタープライズ顧客のユースケースに合わせてプラットフォーム設定を調整し、責任あるデプロイプラクティスを維持しています。

グローバルリーチとルーティングの柔軟性：
● Infron は、Alibaba Cloud の料金とキャパシティサポートを通じて、顧客に選択されたオープンソースモデルへのよりコスト効率の高いアクセスを提供しています。
● 顧客はレイテンシやデータ保管場所の要件を満たすため、ワークロードを特定の Alibaba Cloud リージョンに固定でき、リクエストごとにリージョンの配置を検証できます。
● 5 つの Alibaba Cloud 国際リージョンにまたがるモデルアクセスのカバレッジを拡大：シンガポール、中国（香港）、日本（東京）、ドイツ（フランクフルト）、米国（バージニア）。

スケーラブルなインフラ：
● Infron の顧客ベースの成長に伴い、Alibaba Cloud 上のフットプリントは初期の共有クォータモデルアクセスから、複数リージョンにまたがる専用キャパシティへと拡大しました。
● Alibaba Cloud の TPM リザベーション、PTU、MU のキャパシティオプションにより、Infron はトラフィックの急増を管理し、オンデマンドでリソースを割り当てることができ、専用スループットは数日以内にプロビジョニングされました。

プラットフォームの安定性とイノベーション：
● この連携により、高い同時実行性を必要とする本番 AI ワークロードにおいて、Infron のモデルオーケストレーションレイヤーの信頼性とスケーラビリティが強化されました。
● Alibaba Cloud の技術チームのサポートにより、Infron は顧客シナリオに向けたモデルアクセスソリューションのテスト、デプロイ、最適化をより迅速に進めることができました。

Infron は、Alibaba Cloud との連携をさらに深め、より多くのグローバルリージョンでオープンソースモデルへのアクセスを拡大し、本番 AI ワークロードの動的キャパシティ調整を改善していく予定です。

また、Infron はモデルオーケストレーションとベンチマーキングの機能を引き続き拡張していきます。公開ベンチマーク活動を通じて、プロバイダー間のモデルルーティング、コスト、レイテンシ、スループット、信頼性について、より透明性の高いデータ駆動型の評価を提供することを目指しています。

Infron と Alibaba Cloud は共同で、より強固なグローバルモデルアクセス層の構築を目指します。エンジニアリングチームが必要なオープンソースモデルに、運用場所を問わず、低レイテンシで信頼性の高いアクセスを提供する基盤です。