Infron เป็นบริษัทโครงสร้างพื้นฐานด้าน AI ที่ตั้งอยู่ในสหรัฐอเมริกา ผลิตภัณฑ์หลักของบริษัทคือเกตเวย์ AI และแพลตฟอร์มการอนุมานระดับองค์กร ซึ่งช่วยให้ทีมวิศวกรรมสามารถเข้าถึงโมเดลชั้นนำกว่า 400 โมเดลจากผู้ให้บริการกว่า 100 ราย ผ่าน API ที่เข้ากันได้กับ OpenAI พร้อมระบบการเรียกเก็บเงินแบบรวมศูนย์และการสลับระบบอัตโนมัติเมื่อเกิดข้อผิดพลาด

นอกเหนือจากการเข้าถึงโมเดลแล้ว Infron ยังผสานรวมการกำหนดเส้นทางอัจฉริยะแบบยืดหยุ่นเข้ากับเลเยอร์ตัวแทน รวมถึงความสามารถในการผลิตที่ทีมงานต้องการในระดับใหญ่ ซึ่งรวมถึง SLA ความพร้อมใช้งาน 99.9% การแคชอัจฉริยะ และปริมาณงานเฉพาะ แพลตฟอร์มนี้ช่วยให้ลูกค้าปรับปรุงความพร้อมใช้งานของโมเดล ลดต้นทุนการอนุมาน และส่งมอบประสิทธิภาพที่สม่ำเสมอจากผู้ให้บริการต่าง ๆ

Infron ดำเนินงานในตลาดโครงสร้างพื้นฐาน AI ที่เปลี่ยนแปลงอย่างรวดเร็ว ซึ่งทั้งความสามารถของโมเดลและความต้องการของลูกค้าเปลี่ยนแปลงไปอย่างรวดเร็วเช่นกัน

จากมุมมองทางเทคนิค ทีมงานต้องปรับปรุงอัลกอริธึมการกำหนดเส้นทางอย่างต่อเนื่องโดยอิงจากสถานการณ์จริงของลูกค้า, ประสิทธิภาพของโมเดล, ความพร้อมใช้งาน, ความหน่วง และต้นทุน เมื่อมีโมเดลและผู้ให้บริการใหม่ ๆ เกิดขึ้น Infron ต้องปรับตรรกะการจัดการระบบอย่างต่อเนื่อง เพื่อช่วยให้ลูกค้าเลือกเส้นทางการเข้าถึงโมเดลที่เหมาะสมสำหรับแต่ละปริมาณงาน

จากมุมมองทางธุรกิจ ตลาดนี้มีการแข่งขันสูงมาก อุตสาหกรรมนี้กำลังเติบโตอย่างรวดเร็ว และมีหลายบริษัทเข้ามาในตลาดจากหลากหลายด้าน รวมถึงแพลตฟอร์มการเข้าถึงโมเดล AI เลเยอร์การรวมข้อมูล และผู้ให้บริการการอนุมาน Infron ต้องสร้างความแตกต่างให้กับตนเองด้วยการจัดการระบบที่ดีกว่า ความน่าเชื่อถือ การเพิ่มประสิทธิภาพด้านต้นทุน และระบบการกำหนดเส้นทางอัจฉริยะที่ตรงกับความต้องการของลูกค้าแต่ละราย

เมื่อลูกค้าของ Infron เริ่มใช้งานจริง ปริมาณงานของแต่ละบุคคลเริ่มเกินโควต้า API ที่ใช้ร่วมกันและขีดจำกัดปริมาณงาน ในขณะเดียวกัน ลูกค้าจำนวนมากขึ้นต้องการเข้าถึงโมเดลในภูมิภาคเฉพาะ เนื่องจากเหตุผลด้านความหน่วงเวลาและการจัดเก็บข้อมูลในประเทศนั้น ๆ Infron ต้องการพันธมิตรด้านโครงสร้างพื้นฐานที่สามารถรับประกันความจุและครอบคลุมหลายภูมิภาคโดยไม่กระทบต่อประสิทธิภาพด้านต้นทุน

Infron ร่วมงานกับ Alibaba Cloud ด้วยเหตุผลหลักสองประการ

● การเข้าถึงโมเดลโอเพนซอร์สที่คุ้มค่าใช้จ่าย: Alibaba Cloud มีการกำหนดราคาที่แข่งขันได้สูงสำหรับโมเดลโอเพนซอร์สซึ่งช่วยให้ Infron สามารถปรับค่าใช้จ่ายให้เหมาะสมกับปริมาณงานโมเดลโอเพนซอร์สที่เลือกได้มากขึ้น

● โซลูชันด้านความจุที่ครบวงจร: Alibaba Cloud นำเสนอตัวเลือกด้านความจุต่าง ๆ ได้แก่ การจอง TPM, หน่วยปริมาณงานที่จัดสรร (PTU) และหน่วยโมเดล (MU) ตัวเลือกเหล่านี้ช่วยให้ Infron ปรับปรุงความสามารถในการขยายขนาด ความพร้อมใช้งาน และความเสถียรเมื่อเผชิญกับข้อจำกัดด้านความจุหรือทรัพยากรในการจัดการโมเดล

Alibaba Cloud สนับสนุนสถาปัตยกรรมการจัดการโมเดลของ Infron ในสามด้านหลัก:

● การเข้าถึงโมเดลโอเพนซอร์สทั่วโลก Alibaba Cloud ช่วยให้ Infron สามารถเชื่อมต่อกับโมเดลโอเพนซอร์สที่ใช้งานอยู่ทั่วภูมิภาคต่าง ๆ ของ Alibaba Cloud ทั่วโลก Infron สามารถเข้าถึงโมเดลได้กว้างขึ้นและมีตัวเลือกการกำหนดเส้นทางเพิ่มเติมสำหรับปริมาณงานของลูกค้า

● การประสานงานความจุแบบไดนามิก
Alibaba Cloud มีตัวเลือกความจุรวมถึงการจอง TPM, PTU และ MU Infron สามารถจัดสรรทรัพยากรได้อย่างยืดหยุ่นตามความต้องการของลูกค้าและรูปแบบปริมาณงาน

● การสนับสนุนการกำหนดค่าการปรับใช้
Alibaba Cloud ทำงานร่วมกับ Infron เพื่อจัดการกำหนดค่าแพลตฟอร์มให้สอดคล้องกับกรณีการใช้งานของลูกค้าระดับองค์กรที่ได้รับการอนุมัติและยังคงรักษาแนวทางปฏิบัติในการปรับใช้ที่รับผิดชอบ

การเข้าถึงทั่วโลกและความยืดหยุ่นในการกำหนดเส้นทาง:● Infron มอบการเข้าถึงโมเดลโอเพนซอร์สที่เลือกสรรแล้วได้อย่างคุ้มค่ากว่าแก่ลูกค้า ผ่านการสนับสนุนด้านราคาและความจุของ Alibaba Cloud
● ลูกค้าสามารถกำหนดปริมาณงานให้อยู่ในภูมิภาคเฉพาะของ Alibaba Cloud เพื่อให้ตรงตามข้อกำหนดด้านความหน่วงเวลาหรือการจัดเก็บข้อมูล โดยสามารถตรวจสอบการเลือกภูมิภาคได้ในทุกคำขอ
● ขยายขอบเขตการเข้าถึงโมเดลให้ครอบคลุมห้าภูมิภาคระหว่างประเทศของ Alibaba Cloud ได้แก่ สิงคโปร์, จีน (ฮ่องกง), ญี่ปุ่น (โตเกียว), เยอรมนี (แฟรงค์เฟิร์ต) และสหรัฐอเมริกา (เวอร์จิเนีย)

โครงสร้างพื้นฐานที่ปรับขนาดได้:● เมื่อฐานลูกค้าของ Infron เติบโตขึ้น การใช้งานบน Alibaba Cloud ก็ขยายจากรูปแบบการเข้าถึงแบบใช้โควต้าร่วมกันในระยะเริ่มต้น ไปสู่ความจุเฉพาะในหลายภูมิภาค
● ตัวเลือกการจอง TPM, PTU และ MU ของ Alibaba Cloud ช่วยให้ Infron สามารถจัดการกับปริมาณการใช้งานที่เพิ่มขึ้นอย่างฉับพลันและจัดสรรทรัพยากรตามความต้องการ โดยสามารถจัดสรรปริมาณงานเฉพาะได้ภายในไม่กี่วัน

ความเสถียรของแพลตฟอร์มและนวัตกรรม:
● ความร่วมมือนี้ช่วยเสริมความน่าเชื่อถือและความสามารถในการขยายขนาดของเลเยอร์การจัดการโมเดลของ Infron โดยเฉพาะอย่างยิ่งสำหรับปริมาณงาน AI ในระดับการผลิตที่ต้องการการทำงานพร้อมกันในระดับสูง
● ทีมงานด้านเทคนิคของ Alibaba Cloud ช่วยให้ Infron สามารถทดสอบ ปรับใช้ และเพิ่มประสิทธิภาพโซลูชันการเข้าถึงโมเดลสำหรับสถานการณ์ของลูกค้าได้อย่างรวดเร็วยิ่งขึ้น

Infron วางแผนที่จะกระชับความร่วมมือกับ Alibaba Cloud ให้แน่นแฟ้นยิ่งขึ้น โดยขยายการเข้าถึงโมเดลโอเพนซอร์สมากขึ้นในภูมิภาคต่าง ๆ ทั่วโลก และปรับปรุงการประสานงานความจุแบบไดนามิกสำหรับเวิร์กโหลด AI ในการผลิต

Infron จะยังคงขยายขีดความสามารถด้านการจัดการโมเดลและการเปรียบเทียบประสิทธิภาพต่อไป บริษัทมุ่งมั่นที่จะนำเสนอการประเมินที่โปร่งใสและอิงข้อมูลมากขึ้นเกี่ยวกับการกำหนดเส้นทางโมเดล ต้นทุน ความหน่วงแฝง ปริมาณงาน และความน่าเชื่อถือของผู้ให้บริการต่าง ๆ ผ่านการดำเนินงานเปรียบเทียบมาตรฐานสาธารณะ

Infron และ Alibaba Cloud ร่วมมือกันเพื่อสร้างเลเยอร์การเข้าถึงโมเดลระดับโลกที่แข็งแกร่งยิ่งขึ้น ซึ่งจะช่วยให้ทีมวิศวกรรมสามารถเข้าถึงโมเดลโอเพนซอร์สที่ต้องการได้อย่างน่าเชื่อถือและมีความหน่วงต่ำ ไม่ว่าจะปฏิบัติงานอยู่ที่ใดก็ตาม