Need for Contextualized, Reliable and Cost-Effective Solutions Is Driving the Shift Toward Small Task-Specific AI Models
Gartner, Inc. predicts that by 2027, organizations will implement small, task-specific AI models, with usage volume at least three times more than those of general-purpose large language models (LLMs).
While general-purpose LLMs provide robust language capabilities, their response accuracy declines for tasks requiring specific business domain context.
“The variety of tasks in business workflows and the need for greater accuracy are driving the shift towards specialized models fine-tuned on specific functions or domain data,” said Sumit Agarwal, VP Analyst at Gartner. “These smaller, task-specific models provide quicker responses and use less computational power, reducing operational and maintenance costs.”
Enterprises can customize LLMs for specific tasks by employing retrieval-augmented generation (RAG) or fine-tuning techniques to create specialized models. In this process, enterprise data becomes a key differentiator, necessitating data preparation, quality checks, versioning and overall management to ensure relevant data is structured to meet the fine-tuning requirements.
“As enterprises increasingly recognize the value of their private data and insights derived from their specialized processes, they are likely to begin monetizing their models and offering access to these resources to a broader audience, including their customers and even competitors,” said Agarwal. “This marks a shift from a protective approach to a more open and collaborative use of data and knowledge.”
By commercializing their proprietary models, enterprises can create new revenue streams while simultaneously fostering a more interconnected ecosystem.
Implementing Small Task-Specific AI models
Enterprises looking to implement small task-specific AI models must consider the following recommendations:
- Pilot Contextualized Models: Implement small, contextualized models in areas where business context is crucial or where LLMs have not met response quality or speed expectations.
- Adopt Composite Approaches: Identify use cases where single model orchestration falls short, and instead, employ a composite approach involving multiple models and workflow steps.
- Strengthen Data and Skills: Prioritize data preparation efforts to collect, curate and organize the data necessary for fine-tuning language models. Simultaneously, invest in upskilling personnel across technical and functional groups such as AI and data architects, data scientists, AI and data engineers, risk and compliance teams, procurement teams and business subject matter experts, to effectively drive these initiatives.
ความต้องการโซลูชันเฉพาะด้าน ความน่าเชื่อถือ และความคุ้มค่า เป็นปัจจัยหลักที่ผลักดันการเปลี่ยนผ่านไปสู่โมเดล AI ขนาดเล็กที่เหมาะสมกับงานเฉพาะด้าน
การ์ทเนอร์คาดการณ์ว่าในอีกสองปีข้างหน้า (พ.ศ. 2570) องค์กรต่าง ๆ จะนำโมเดล AI ขนาดเล็กเฉพาะงานมาใช้ โดยมีปริมาณการใช้งานมากกว่าโมเดลภาษาขนาดใหญ่ที่ใช้โดยทั่วไป หรือ LLMs อย่างน้อยสามเท่า
โมเดลภาษาขนาดใหญ่ทั่วไปแม้จะมีความสามารถด้านภาษาที่แข็งแกร่ง แต่กลับมีความแม่นยำในการตอบสนองลดลงเมื่อต้องทำงานที่ต้องการบริบทเฉพาะทางธุรกิจ
Sumit Agarwal รองประธานนักวิเคราะห์การ์ทเนอร์ กล่าวว่า “ความหลากหลายของงานในกระบวนการทางธุรกิจและความต้องการความแม่นยำที่มากขึ้นกำลังผลักดันให้เกิดการเปลี่ยนแปลงไปสู่การใช้โมเดลเฉพาะทางที่ได้รับการปรับแต่งสำหรับฟังก์ชันเฉพาะหรือข้อมูลในโดเมนนั้น ๆ โดยโมเดล AI ขนาดเล็กเฉพาะงานเหล่านี้ให้การตอบสนองที่เร็วกว่าและใช้พลังการประมวลผลน้อยกว่า ช่วยลดต้นทุนในการดำเนินงานและการบำรุงรักษา”
องค์กรสามารถปรับแต่งโมเดล LLMs สำหรับงานเฉพาะได้ โดยใช้เทคนิค Retrieval-Augmented Generation (RAG) หรือ Fine-Tuning เพื่อสร้างโมเดลเฉพาะทาง ในกระบวนการนี้ ข้อมูลขององค์กรจะเป็นตัวแปรสำคัญที่สร้างความแตกต่าง จำเป็นต้องมีการเตรียม ตรวจสอบคุณภาพ กำหนดเวอร์ชัน และการจัดการข้อมูลโดยรวม เพื่อให้มั่นใจว่าข้อมูลที่เกี่ยวข้องได้รับการจัดโครงสร้างมาอย่างเหมาะสมเพื่อตอบสนองความต้องการในการ Fine-Tuning ซึ่งเป็นกระบวนการปรับแต่งโมเดล AI ด้วยข้อมูลเฉพาะด้าน
“เมื่อองค์กรตระหนักถึงคุณค่าของข้อมูลส่วนตัวและข้อมูลเชิงลึกที่ได้จากกระบวนการเฉพาะทางมากขึ้น พวกเขาก็มีแนวโน้มที่จะเริ่มสร้างรายได้จากโมเดลของตนและเสนอการเข้าถึงทรัพยากรเหล่านี้ให้กับกลุ่มเป้าหมายที่กว้างขึ้น รวมถึงลูกค้าและแม้แต่คู่แข่ง เป็นการเปลี่ยนจากแนวทางการป้องกันไปสู่การใช้ข้อมูลและความรู้ที่เปิดกว้างผ่านการร่วมมือกันมากขึ้น” Agarwal กล่าวเพิ่มเติม
จากการทำให้โมเดลเป็นกรรมสิทธิ์เชิงพาณิชย์ องค์กรจะสามารถสร้างแหล่งรายได้ใหม่พร้อมกับส่งเสริมระบบนิเวศที่เชื่อมโยงถึงกันมากขึ้น
การนำโมเดล AI ขนาดเล็กเฉพาะงานไปใช้
องค์กรที่ต้องการนำโมเดล AI ขนาดเล็กเฉพาะงานไปใช้ ควรพิจารณาคำแนะนำดังต่อไปนี้:
- ทดลองใช้โมเดลที่มีบริบทเฉพาะ (Pilot Contextualized Models): นำโมเดล AI ขนาดเล็กที่มีบริบทเฉพาะไปใช้ในพื้นที่ที่บริบททางธุรกิจมีความสำคัญหรือในที่ที่ LLMs ไม่สามารถตอบสนองความคาดหวังด้านคุณภาพหรือความเร็วได้
- ใช้แนวทางแบบผสมผสาน (Adopt Composite Approaches): ระบุยูสเคสการใช้งานที่โมเดลเดียวไม่เพียงพอ และเปลี่ยนมาใช้แนวทางแบบผสมผสานที่เกี่ยวข้องกับหลายโมเดลและมีขั้นตอนของเวิร์กโฟลว์
- เสริมสร้างข้อมูลและทักษะ (Strengthen Data and Skills): ให้ความสำคัญกับการเตรียมข้อมูลเพื่อรวบรวม คัดสรร และจัดระเบียบข้อมูลที่จำเป็นสำหรับการ Fine-Tuning โมเดลภาษา ในขณะเดียวกัน ลงทุนพัฒนาทักษะบุคลากรในกลุ่มทางเทคนิคและในกลุ่มงานต่าง ๆ อาทิ สถาปนิก AI และข้อมูล นักวิทยาศาสตร์ข้อมูล วิศวกร AI และข้อมูล ทีมงานด้านความเสี่ยงและการปฏิบัติตามกฎระเบียบ ทีมจัดซื้อ และผู้เชี่ยวชาญในสาขาธุรกิจ เพื่อขับเคลื่อนแนวคิดริเริ่มนี้ได้อย่างมีประสิทธิภาพ
