สอนทุกคนจับโทเคน: อนาคตโอเพนซอร์ส AI ที่ Nvidia กับ Meta กำลังวาด

รายงานล่าสุดจาก Interconnects AI นำเสนอการวิเคราะห์เชิงลึกเกี่ยวกับอนาคตของระบบนิเวศโอเพนซอร์ส AI ท่ามกลางการลงทุนมหาศาลของ Nvidia และกลยุทธ์การปล่อยโมเดลแบบเปิดของ Meta โดยชี้ให้เห็นว่าการเปรียบเทียบโอเพนซอร์ส AI กับ Linux นั้นไม่ตรงไปตรงมาเสมอไป และมีสองเส้นทางที่เป็นไปได้สำหรับอุตสาหกรรมในอีกไม่กี่ปีข้างหน้า รวมถึงความเสี่ยงเชิงโครงสร้างที่อาจทำให้โมเดลเปิดต้องเบนเข็มไปสู่ทางเฉพาะทางมากขึ้น รายงานยังระบุว่า Nvidia กำลังใช้กลยุทธ์ “สอนทุกคนจับโทเคน” ผ่านการเปิดเผยสูตรเทรนเกือบครบถ้วน ขณะที่ Meta เลือกยุทธศาสตร์ตรงข้ามด้วยการ “ท่วมตลาดด้วยโทเคน” ผ่านโมเดลน้ำหนักเปิดที่ทรงพลัง

โอเพนซอร์ส LLM เทียบกับ Linux: บทเรียนจากระบบนิเวศซอฟต์แวร์เปิด

Interconnects AI รายงานว่าการเปรียบเทียบที่เก่าแก่ที่สุดที่ผู้คนมักใช้คือการเทียบสิ่งที่เกิดขึ้นกับโมเดลเปิด (open models) กับโครงการซอฟต์แวร์โอเพนซอร์สพื้นฐานอย่างระบบปฏิบัติการ Linux แม้ว่าจะมีความคล้ายคลึงกันในระดับหนึ่ง แต่การเปรียบเทียบนี้วาดภาพเส้นทางที่แคบเกินไปสำหรับธรรมชาติของการพึ่งพาตนเองของระบบนิเวศโอเพนซอร์ส AI ทั้งนี้เนื่องจากเมื่อ Linux เติบโตมากพอ มันก็จะกลายเป็นเครื่องมือที่ดีที่สุดสำหรับงานจำนวนมากและพึ่งพาตนเองได้ โดยไม่ต้องพึ่งผู้สนับสนุนรายใดรายหนึ่งในระยะยาว

อย่างไรก็ตาม โมเดลภาษาโอเพนซอร์สในความหมายที่แท้จริง ซึ่งหมายถึงเฉพาะโมเดลที่มาพร้อมสูตรการเทรนฉบับสมบูรณ์ ข้อมูล ซอร์สโค้ด และส่วนประกอบอื่นๆ ทั้งหมด นั้นเป็นคำอุปมาที่ใกล้เคียงกว่ากับระบบปฏิบัติการโอเพนซอร์ส ส่วนโมเดลน้ำหนักเปิด (open-weight models) ที่ผู้ใช้นำไปใช้งาน ซึ่งมีเพียงค่าน้ำหนักของโมเดลและซอร์สโค้ดสำหรับ inference นั้น ใกล้เคียงกับซอฟต์แวร์เวอร์ชันเฉพาะที่ผู้ใช้ติดตั้งในโครงการที่สร้างขึ้นจากซอฟต์แวร์นั้น ความแตกต่างนี้มีนัยสำคัญต่อการออกแบบนโยบายและการวางแผนการลงทุนสำหรับผู้ที่ต้องการพึ่งพาโมเดลเปิดในระยะยาว

ความแตกต่างระหว่าง “สูตรโอเพนซอร์ส” กับ “โมเดลน้ำหนักเปิด”

Interconnects AI อธิบายว่าน้ำหนักของโมเดลมีความเปลี่ยนแปลงสูงโดยเฉลี่ย แต่ก็ยังคงมีอายุการใช้งานที่ยาวนานเช่นเดียวกับซอฟต์แวร์ที่ใช้งานหนักจำนวนมาก นี่คือเหตุผลที่หลายบริษัทยังคงใช้เวิร์กโฟลว์ที่สร้างขึ้นบน Llama 3 ทั้งที่ความสามารถด้าน agentic เริ่มเป็นที่นิยมในเวลาต่อมาหลายปี ผลกระทบข้ามเวอร์ชันนี้หมายความว่าโมเดลน้ำหนักเปิดสามารถฝังลงในระบบที่ใช้งานจริงได้โดยไม่ต้องอัปเกรดบ่อยครั้ง ซึ่งเป็นคุณสมบัติที่ตรงกับข้อกำหนดด้านเสถียรภาพขององค์กร

สูตรโอเพนซอร์ส ซึ่งในยุคปัจจุบันมีตัวแทนสำคัญคือตระกูล Olmo ที่ผู้เขียนรายงานเคยมีส่วนร่วมสร้างที่ Ai2 และมีต้นกำเนิดมาจากโมเดลอย่าง Pythia ของ EleutherAI นั้นเป็นกระบวนการที่ใช้ทรัพยากรมหาศาล ซึ่งบริษัทใดก็ตามสามารถหยิบไปปรับแต่งและกดปุ่ม “รัน” เพื่อผลิตชุดค่าน้ำหนักโมเดลใหม่ได้ ในกรณีที่ดีที่สุด ชุมชนสามารถส่งคืนการปรับปรุงทั้งในส่วนข้อมูลและซอร์สโค้ดการเทรนกลับเข้าสู่โมเดลเวอร์ชันถัดไปได้ด้วย ซึ่งสร้างวงจรป้อนกลับที่คล้ายกับการพัฒนาเคอร์เนล Linux หรือซอฟต์แวร์โอเพนซอร์สที่เป็นที่ยอมรับ

สองเส้นทางของโอเพนซอร์ส AI ในอีกไม่กี่ปีข้างหน้า

Interconnects AI ระบุว่าโอเพนซอร์ส AI มีอนาคตที่ซับซ้อน เนื่องจากการสร้างโมเดลที่ดีที่สุดต้องใช้เงินทุนอย่างมหาศาล ความสามารถในการสร้างโมเดลที่แข่งขันได้ยังคงเข้าถึงได้ง่ายกว่าที่หลายคนคาดไว้ ค่าเริ่มต้นของความคาดหวังสำหรับหลายคนคือการเทรนโมเดลมีราคาแพงเกินไปและสูตรโอเพนซอร์สตามหลังมาก จนการสร้างห้องปฏิบัติการใหม่ที่มุ่งเน้นบางส่วนของการเทรน LLM จะไม่คุ้มค่า อย่างไรก็ตาม ข้อมูลเชิงประจักษ์ในช่วงที่ผ่านมาบ่งชี้ว่าโมเดลเปิดยังคงสามารถรักษาระยะห่างจากโมเดลปิดได้ในระดับหนึ่ง ทำให้สมมติฐานดังกล่าวเริ่มถูกตั้งคำถาม

เส้นทางที่หนึ่ง: ระบบนิเวศเติบโตได้ด้วยตัวเอง

เส้นทางแรกเกิดขึ้นหาก “มันได้ผล” หากสูตรโอเพนซอร์สได้ผลสำหรับ Nvidia พวกเขาจะสร้างอุปสงค์ต่อชิปของตัวเอง (และผลกำไร) มากกว่าต้นทุนที่ใช้ในการสร้างโมเดลหลายเท่า Interconnects AI รายงานว่าในขณะนี้ Nvidia มีรายจ่ายอยู่ที่ 26 พันล้านดอลลาร์สหรัฐสำหรับความพยายามนี้ ยังไม่ชัดเจนว่าวิธีนี้จะได้ผลหรือไม่ หรือความเข้มข้นของเงินทุนใน AI จะผลักดันให้บริษัทจำนวนมากขึ้นออกจากเกมการเทรน แต่ยังไม่ปรากฏสัญญาณมากนักว่ากระบวนการนี้กำลังเริ่มขึ้น ในทางกลับกัน บริษัทที่ถอยออกไป เช่น Databricks และ 01.ai ดูเหมือนเป็นข้อยกเว้นมากกว่าจะเป็นแนวโน้ม

ระบบนิเวศโอเพนซอร์สจะพึ่งพาการเงินของ Nvidia มากขึ้นในอีกไม่กี่ปีข้างหน้า นี่คือช่วงเวลาที่มีความเสี่ยงต่อการดำรงอยู่ ซึ่งภายในไม่กี่ปี ผลกำไรของแนวทางนี้จะต้องกลับคืนมา หร