Infron là một công ty cơ sở hạ tầng AI có trụ sở tại Mỹ. Sản phẩm chủ lực của Infron là cổng AI và nền tảng suy luận cấp doanh nghiệp, giúp các đội ngũ kỹ thuật truy cập hơn 400 mô hình hàng đầu từ hơn 100 nhà cung cấp thông qua một API tương thích với OpenAI, đồng thời hỗ trợ tính phí thống nhất và tự động chuyển đổi dự phòng.

Ngoài khả năng truy cập mô hình, Infron còn kết hợp định tuyến thông minh linh hoạt với một lớp vận hành bằng tác nhân, cùng các năng lực cần thiết để các đội ngũ triển khai ở quy mô lớn, bao gồm SLA cam kết thời gian hoạt động 99,9%, bộ nhớ đệm thông minh và thông lượng chuyên dụng. Nền tảng giúp khách hàng cải thiện khả năng truy cập mô hình, giảm chi phí suy luận và duy trì hiệu năng nhất quán giữa các nhà cung cấp.

Infron hoạt động trong thị trường cơ sở hạ tầng AI có tốc độ phát triển nhanh, nơi năng lực của các mô hình và yêu cầu của khách hàng đều thay đổi nhanh chóng.

Về mặt kỹ thuật, đội ngũ phải liên tục cải tiến các thuật toán định tuyến dựa trên tình huống thực tế của khách hàng, hiệu năng mô hình, khả năng truy cập, độ trễ và chi phí. Khi các mô hình và nhà cung cấp mới xuất hiện, Infron phải liên tục điều chỉnh logic điều phối để giúp khách hàng lựa chọn phương thức truy cập mô hình phù hợp cho từng khối lượng công việc.

Về mặt kinh doanh, thị trường cạnh tranh rất gay gắt. Ngành này đang phát triển nhanh chóng, với nhiều công ty tham gia thị trường theo những hướng khác nhau, bao gồm nền tảng truy cập mô hình AI, lớp tổng hợp và nhà cung cấp dịch vụ suy luận. Infron phải tạo sự khác biệt bằng năng lực điều phối vượt trội, độ tin cậy cao hơn, khả năng tiết kiệm chi phí và định tuyến thông minh theo nhu cầu riêng của từng khách hàng.

Khi khách hàng của Infron chuyển sang môi trường vận hành thực tế, từng khối lượng công việc bắt đầu vượt quá hạn ngạch API dùng chung và giới hạn thông lượng. Đồng thời, ngày càng nhiều khách hàng yêu cầu khả năng truy cập mô hình tại các khu vực cụ thể nhằm đáp ứng yêu cầu về độ trễ và vị trí lưu trữ dữ liệu. Infron cần một đối tác cơ sở hạ tầng có thể cung cấp năng lực được đảm bảo và phạm vi triển khai đa khu vực mà vẫn duy trì hiệu quả về chi phí.

Infron hợp tác với Alibaba Cloud vì hai lý do chính.

● Khả năng truy cập mô hình nguồn mở tiết kiệm chi phí: Alibaba Cloud cung cấp mức giá rất cạnh tranh cho các mô hình nguồn mở, giúp Infron cải thiện hiệu quả chi phí cho một số khối lượng công việc sử dụng mô hình nguồn mở.

● Giải pháp năng lực đã hoàn thiện: Alibaba Cloud cung cấp các tùy chọn năng lực, bao gồm đặt trước TPM, Đơn vị thông lượng được cấp phát (PTU) và Đơn vị mô hình (MU). Các tùy chọn này giúp Infron nâng cao khả năng mở rộng, duy trì khả năng cung cấp dịch vụ và cải thiện độ ổn định khi gặp hạn chế về năng lực hoặc tài nguyên trong quá trình điều phối mô hình.

Alibaba Cloud hỗ trợ kiến trúc điều phối mô hình của Infron trong ba lĩnh vực chính:

● Khả năng truy cập mô hình nguồn mở trên toàn cầu
Alibaba Cloud giúp Infron kết nối với các mô hình nguồn mở được triển khai tại các khu vực Alibaba Cloud trên toàn cầu. Nhờ đó, Infron có thể tiếp cận nhiều mô hình hơn và có thêm phương án định tuyến cho khối lượng công việc của khách hàng.

● Điều phối năng lực linh hoạt
Alibaba Cloud cung cấp các tùy chọn năng lực, bao gồm đặt trước TPM, PTU và MU. Nhờ đó, Infron có thể linh hoạt điều phối tài nguyên dựa trên nhu cầu của khách hàng và đặc điểm của khối lượng công việc.

● Hỗ trợ cấu hình triển khai
Alibaba Cloud phối hợp với Infron để điều chỉnh cấu hình nền tảng cho phù hợp với các trường hợp sử dụng đã được phê duyệt của khách hàng doanh nghiệp, đồng thời duy trì các phương thức triển khai có trách nhiệm.

Phạm vi toàn cầu và khả năng định tuyến linh hoạt:
● Nhờ mức giá và hỗ trợ về năng lực của Alibaba Cloud, Infron giúp khách hàng truy cập một số mô hình nguồn mở với chi phí thấp hơn.
● Khách hàng có thể cố định khối lượng công việc tại một khu vực Alibaba Cloud cụ thể để đáp ứng yêu cầu về độ trễ hoặc vị trí lưu trữ dữ liệu, đồng thời có thể xác minh khu vực xử lý của từng yêu cầu.
● Mở rộng phạm vi truy cập mô hình tại năm khu vực quốc tế của Alibaba Cloud: Singapore, Trung Quốc (Hồng Kông), Nhật Bản (Tokyo), Đức (Frankfurt) và Mỹ (Virginia).

Cơ sở hạ tầng có khả năng mở rộng:
● Khi lượng khách hàng của Infron tăng lên, phạm vi triển khai trên Alibaba Cloud cũng được mở rộng từ khả năng truy cập mô hình theo hạn ngạch dùng chung ban đầu sang năng lực chuyên dụng tại nhiều khu vực.
● Các tùy chọn năng lực gồm đặt trước TPM, PTU và MU của Alibaba Cloud giúp Infron ứng phó với tình trạng lưu lượng tăng đột biến và phân bổ tài nguyên theo nhu cầu, trong khi thông lượng chuyên dụng có thể được cấp phát chỉ trong vài ngày.

Độ ổn định và đổi mới của nền tảng:
● Nhờ sự hợp tác này, lớp điều phối mô hình của Infron đã được nâng cao về độ tin cậy và khả năng mở rộng, đặc biệt đối với các khối lượng công việc AI trong môi trường vận hành thực tế đòi hỏi mức độ xử lý đồng thời cao.
● Đội ngũ kỹ thuật của Alibaba Cloud giúp Infron đẩy nhanh quá trình thử nghiệm, triển khai và cải thiện các giải pháp truy cập mô hình cho những tình huống sử dụng của khách hàng.

Infron dự kiến tăng cường hợp tác với Alibaba Cloud bằng cách mở rộng khả năng tiếp cận thêm nhiều mô hình nguồn mở tại các khu vực trên toàn cầu và cải thiện hoạt động điều phối năng lực linh hoạt cho các khối lượng công việc AI trong môi trường vận hành thực tế.

Infron cũng sẽ tiếp tục mở rộng năng lực điều phối mô hình và đánh giá hiệu năng. Thông qua các hoạt động đánh giá hiệu năng công khai, công ty hướng đến cung cấp những đánh giá minh bạch hơn, dựa trên dữ liệu về khả năng định tuyến mô hình, chi phí, độ trễ, thông lượng và độ tin cậy giữa các nhà cung cấp.

Infron và Alibaba Cloud cùng hướng tới xây dựng một lớp truy cập mô hình toàn cầu mạnh mẽ hơn, giúp các đội ngũ kỹ thuật truy cập những mô hình nguồn mở cần thiết một cách ổn định, với độ trễ thấp, dù hoạt động ở bất kỳ đâu.