เอไอเอเยนต์ยังทำได้ยากกับงานบนมือถือที่ซับซ้อน: เกณฑ์การประเมิน GMA ฉบับใหม่

สรุปสั้น: เกณฑ์ประเมิน GMA ใหม่เผยว่าเอเจนต์ AI ยังจัดการงานมือถือซับซ้อนได้ไม่ดี โดยประสิทธิภาพลดลงเมื่อความยากเพิ่มขึ้น ซึ่งสะท้อนช่องว่างระหว่างทฤษฎีกับความเป็นจริง การพัฒนาต่อไปต้องเน้นการรักษาสถานะและบริบทข้ามแอปพลิเคชันเพื่อสร้างความน่าเชื่อถือในสถานการณ์ใช้งานจริง

ข้อเท็จจริงสำคัญ

• เกณฑ์ GMA (General Mobile Assistant) ถูกแนะนำเมื่อวันที่ 21 สิงหาคม 2026 เพื่อประเมินผู้ช่วยมือถือผ่านแอปโอเพนซอร์ส 7 ตัวและงาน 300 งานใน 4 ระดับความยาก
• AndroidWorld มีอัตราความสำเร็จเกิน 90% แต่ขาดหมวดหมู่แอปหลักเช่น อีคอมเมิร์ซ ทำให้ไม่สะท้อนความเป็นจริง ขณะที่ MobileWorld มีความซับซ้อนกว่าโดยมีขั้นตอนเฉลี่ย 27.8 ขั้นตอนต่องาน
• MobileWorld ใช้ Mattermost แทน Slack เพื่อสร้างสภาพแวดล้อมที่ควบคุมได้ และพบว่า 62.2% ของงานต้องใช้หลายแอปพลิเคชัน เทียบกับเพียง 9.5% ใน AndroidWorld
• การศึกษาลดทอนใน GMA ชี้ว่าเอเจนต์ล้มเหลวในการรักษา ‘mental model’ ของสถานะอุปกรณ์เมื่อทำงานข้ามแอปพลิเคชัน แม้ LLM จะสร้างข้อความได้ดีแต่จัดการบริบทได้ไม่มั่นคง
• MVISU-Bench (ต.ค. 2024) พบว่าโมดูล Aider ช่วยเพิ่มอัตราความสำเร็จโดยรวมได้ 19.55% ในงานข้ามแอปและคำสั่งที่ไม่ชัดเจนบนแอปมือถือ 137 ตัว
• OmniaBench (พ.ค. 2024) รายงานว่า Claude-Sonnet-5 และ GPT-5.6-Sol ทำคะแนน Overall Pass@1 ได้เพียง 58.54% และ 57.14% ตามลำดับ ในการวางแผนและแก้ไขสถานการณ์ทั่วไป

ช่องว่างระหว่างการจำลองและความเป็นจริง

งานวิจัยใหม่ชี้ให้เห็นข้อจำกัดที่สำคัญของเอเจนต์ AI ปัจจุบันในการจัดการกับงานบนมือถือที่ซับซ้อนและเป็นจริงในสถานการณ์จริง มีเกณฑ์การประเมินผลใหม่ที่เรียกว่า GMA (General Mobile Assistant) ซึ่งนักวิจัยได้แนะนำเมื่อวันที่ 21 สิงหาคม 2026 เพื่อใช้ประเมินผู้ช่วยมือถือทั่วไปผ่านแอปพลิเคชันโอเพนซอร์สเจ็ดตัวและงานจำนวน 300 งานที่ครอบคลุมสี่ระดับความยาก [1][2] ผลการศึกษาพบว่าประสิทธิภาพลดลงอย่างมากเมื่อความซับซ้อนของงานเพิ่มขึ้น โดยเอเจนต์ในปัจจุบันยังประสบปัญหาในการตอบสนองความต้องการของผู้ใช้ที่สมจริงได้อย่างน่าเชื่อถือ

เกณฑ์การประเมิน GMA ถูกพัฒนาขึ้นเพื่อแก้ไขช่องว่างสำคัญในกรอบการประเมินที่มีอยู่ เช่น AndroidWorld และ MobileWorld แม้ว่าการประเมินผลก่อนหน้านี้จะวางรากฐานที่แข็งแกร่งสำหรับการทดสอบเอเจนต์บนมือถือ แต่ขอบเขตการใช้งานและการออกแบบงานของเกณฑ์เหล่านี้ยังไม่สามารถสะท้อนความหลากหลายและความซับซ้อนของการใช้งานในโลกจริงได้อย่างสมบูรณ์ [1]

ข้อจำกัดของเกณฑ์การประเมินเดิม

AndroidWorld เป็นมาตรฐานสำคัญในวงการนี้ โดยนำเสนอสภาพแวดล้อมที่สามารถทำซ้ำได้สำหรับการทดสอบเอเจนต์อัตโนมัติ อย่างไรก็ตาม งานวิจัยล่าสุดชี้ให้เห็นว่าเกณฑ์นี้มีความอิ่มตัวแล้ว โดยมีเอเจนต์จำนวนมากสามารถบรรลุอัตราความสำเร็จเกิน 90% ในงานเฉพาะของมัน [7] ผลลัพธ์ที่สูงเช่นนี้อาจบดบังจุดอ่อนที่ซ่อนอยู่ เนื่องจาก AndroidWorld ขาดหมวดหมู่แอปพลิเคชันหลักที่พบในชีวิตประจำวัน เช่น แพลตฟอร์มอีคอมเมิร์ซและเครื่องมือสื่อสารระดับองค์กร [7]

เพื่อเติมเต็มช่องว่างนี้ จึงมีการแนะนำเกณฑ์ MobileWorld ขึ้นมา โดยประกอบด้วยงาน 201 งานในแอปพลิเคชัน 20 ตัว เน้นไปที่เวิร์กโฟลว์ระยะยาวและข้ามแอปพลิเคชัน ซึ่งสะท้อนวิธีการที่ผู้ใช้โต้ตอบกับอุปกรณ์ของพวกเขาได้ดียิ่งขึ้น [7] MobileWorld มีความท้าทายมากกว่ารุ่นก่อนหน้าอย่างมีนัยสำคัญ โดยเฉลี่ยแล้วมีขั้นตอนการเสร็จสิ้นงานเกือบสองเท่า (27.8 เทียบกับ 14.3) และมีสัดส่วนของงานที่ต้องใช้หลายแอปพลิเคชันสูงกว่ามาก (62.2% เทียบกับ 9.5%) เมื่อเทียบกับ AndroidWorld [7]

MobileWorld ยังใช้ทางเลือกโอเพนซอร์สอย่าง Mattermost แทน Slack เพื่อสร้างสภาพแวดล้อมที่สามารถสังเกตและควบคุมได้ทั้งหมด เพื่อให้แน่ใจว่านักวิจัยสามารถติดตามการกระทำของเอเจนต์ได้อย่างแม่นยำโดยไม่ต้องพึ่งพา API ที่เป็นกรรมสิทธิ์ [7] แม้จะมีการปรับปรุงเหล่านี้ แต่ MobileWorld ก็ยังไม่สามารถจับความละเอียดอ่อนของคำสั่งผู้ใช้ที่คาดเดาไม่ได้หรือความต้องการในการรักษาบริบทให้คงอยู่ได้อย่างแข็งแกร่งตลอดเซสชันที่ยาวนานได้

การแนะนำ GMA: การทดสอบที่ยากขึ้น

เกณฑ์การประเมิน GMA ใหม่ขยายผลจากความพยายามเหล่านี้โดยการประเมินโมเดลชั้นนำแปดตัวในสถานการณ์ที่หลากหลายมากขึ้น [1][2] โดยมุ่งเน้นไปที่สี่ระดับความยาก ตั้งแต่คำสั่งขั้นเดียวที่เรียบง่าย ไปจนถึงเวิร์กโฟลว์หลายขั้นตอนที่ซับซ้อน ซึ่งต้องการให้เอเจนต์รักษาบริบทและปรับตัวต่อการเปลี่ยนแปลงได้

การศึกษาลดทอนแบบควบคุม (controlled ablation studies) ภายใน GMA แสดงให้เห็นว่า การออกแบบโครงสร้างการทำงาน (harness design choices)—เช่น การรักษาบริบทและการติดตามสถานะอย่างชัดเจน—สามารถช่วยปรับปรุงประสิทธิภาพในงานที่ซับซ้อนได้อย่างมีนัยสำคัญ [1][2] อย่างไรก็ตาม ประสิทธิภาพของการปรับปรุงเหล่านี้แตกต่างกันอย่างมากเมื่อทดสอบกับโมเดลพื้นฐาน (foundation models) ที่หลากหลาย ซึ่งบ่งชี้ว่าในปัจจุบันยังไม่มีสถาปัตยกรรมใดสถาปัตยกรรมหนึ่งที่สามารถครองความเป็นผู้นำในทุกสถานการณ์จริง

การศึกษาพบว่า เมื่อความซับซ้อนของงานเพิ่มขึ้น อัตราความสำเร็จของเอเจนต์จะลดลงอย่างรวดเร็ว การลดลงนี้สะท้อนถึงความท้าทายพื้นฐานประการหนึ่ง: แม้แต่ LLMs จะมีศักยภาพสูงในการสร้างข้อความหรือโค้ด แต่พวกมันมักประสบปัญหาในการรักษาแบบจำลองทางจิต (mental model) ของสถานะอุปกรณ์ให้ถูกต้องแม่นยำตลอดการทำงานข้ามหลายแอปพลิเคชันและการโต้ตอบ [1]

บริบทที่กว้างขึ้นจากมาตรฐานการประเมินอื่นๆ

ความยากลำบากที่พบใน GMA สอดคล้องกับผลการศึกษาจากมาตรฐานการประเมิน (benchmarks) อื่นๆ ในยุคหลัง ซึ่งแสดงให้เห็นรูปแบบของความท้าทายที่สม่ำเสมอสำหรับเอเจนต์ AI

MVISU-Bench ซึ่งเผยแพร่ในเดือนตุลาคม 2024 มุ่งเน้นไปที่คำสั่งแบบข้ามแอปพลิเคชัน คำสั่งที่ไม่ชัดเจน คำสั่งแบบโต้ตอบ คำสั่งแบบแอปเดียว และคำสั่งในทางที่ไม่ถูกต้องจริยธรรม บนแอปพลิเคชันมือถือจำนวน 137 แอป [6] ผลการศึกษาชี้ให้เห็นถึงช่องว่างที่สำคัญระหว่างความสามารถของเอเจนต์ที่มีอยู่กับความคาดหวังของผู้ใช้ ในมาตรฐานการประเมินนี้ โมดูลแบบเสียบปลั๊กและใช้งานได้เลย (plug-and-play module) ที่ชื่อว่า Aider สามารถช่วยเพิ่มอัตราความสำเร็จโดยรวมได้ 19.55% ซึ่งเน้นย้ำถึงความจำเป็นในการปรับปรุงการออกแบบเอเจนต์มาตรฐานให้ดีขึ้นอีกมาก [6]

MobilePA-Bench ซึ่งตีพิมพ์ในเดือนมกราคม 2026 มุ่งเป้าไปที่ความสามารถในการเรียกใช้เครื่องมือ (tool-calling) และการวางแผน ในสภาพแวดล้อมจำลองแบบโต้ตอบ [4] ผลการศึกษาระบุว่า แม้แต่ LLMs รุ่นล่าสุดก็ยังมีความไม่แน่นอนภายใต้ข้อกำหนดที่เข้มงวดเกี่ยวกับการเรียงลำดับเครื่องมือ ขอบเขตของสิทธิ์การใช้งาน และข้อผิดพลาดขณะรันไทม์ [4] สิ่งนี้ชี้ให้เห็นว่า ปัญหาความน่าเชื่อถือไม่ได้เกิดจากการเข้าใจภาษาธรรมชาติเพียงอย่างเดียว แต่ยังรวมถึงการจัดการกับข้อจำกัดทางเทคนิคของอินเทอร์เฟซซอฟต์แวร์ด้วย

นอกเหนือจากอินเทอร์เฟซเฉพาะบนมือถือแล้ว มาตรฐานการประเมินเอเจนต์ในวงกว้างยังเน้นย้ำถึงความยากลำบากที่คล้ายคลึงกัน OmniaBench ซึ่งเผยแพร่ในเดือนพฤษภาคม 2024 ประเมินเอเจนต์ทั่วไปในสถานการณ์ที่หลากหลายพร้อมพื้นที่สถานะ (state spaces) ที่ชัดเจน [3] ผลการศึกษาพบว่า แม้แต่โมเดลชั้นนำอย่าง Claude-Sonnet-5 และ GPT-5.6-Sol ก็ทำคะแนน Overall Pass@1 ได้เพียง 58.54% และ 57.14% ตามลำดับ [3] ผลลัพธ์เหล่านี้เน้นย้ำถึงข้อจำกัดที่คงอยู่ในการวางแผนและการแก้ไขแบบปรับตัว ซึ่งเป็นสิ่งจำเป็นสำหรับการดำเนินงานอัตโนมัติ

เช่นเดียวกัน GAIA ซึ่งนำเสนอในเดือนพฤศจิกายน 2023 ได้ตั้งคำถามในโลกจริงที่ต้องการการให้เหตุผลและการใช้เครื่องมือ [5] ในมาตรฐานการประเมินนั้น ผู้ตอบที่เป็นมนุษย์ทำคะแนนได้ 92% ในขณะที่ GPT-4 พร้อมปลั๊กอินทำได้เพียง 15% [5] ช่องว่างขนาดใหญ่ระหว่างประสิทธิภาพของมนุษย์และความสามารถของ AI ยังคงเป็นความท้าทายหลักในสาขานี้

ความหมายต่อปัญญาประดิษฐ์บนมือถือ

ผลการวิจัยเหล่านี้ชี้ให้เห็นว่า แม้ปัญญาประดิษฐ์แบบเอเจนต์จะมีความก้าวหน้ามากขึ้น แต่ยังคงห่างไกลจากความแข็งแกร่งที่จำเป็นสำหรับการดำเนินงานอัตโนมัติอย่างน่าเชื่อถือในสภาพแวดล้อมที่ซับซ้อนและหลากหลาย การนำ GMA มาใช้จึงเป็นสนามทดสอบที่มีความเข้มงวดมากขึ้น บังคับให้นักพัฒนาต้องเผชิญกับความจริงที่ว่าโมเดลแบบสั่งการและตอบสนองเพียงอย่างเดียวไม่เพียงพอสำหรับความเป็นอิสระที่แท้จริง

เมื่อมาตรฐานอย่าง GMA และ MobileWorld ขยายขอบเขตของสิ่งที่คาดหวังจากผู้ช่วย AI อุตสาหกรรมจำเป็นต้องมุ่งเน้นไปที่การพัฒนาความสามารถในการจดจำบริบท การจัดการข้อผิดพลาด และการประสานงานข้ามแอปพลิเคชัน จนกว่าความสามารถพื้นฐานเหล่านี้จะถูกเสริมให้แข็งแกร่งขึ้น เอเจนต์ AI ก็ยังมีแนวโน้มจะเผชิญความยากลำบากกับงานต่างๆ ที่ออกแบบมาเพื่อทำให้เรียบง่ายอยู่ดี

แหล่งข้อมูล

1. Benchmarking General Mobile Assistants in Challenging Real-World Scenarios (arxiv.org) — 2026-08-21
2. Benchmarking General Mobile Assistants in Challenging Real-World Scenarios (papers.cool) — 2026-08-21
3. MobileWorld: Benchmarking Autonomous Mobile Agents in Agent-User Interactive and MCP-Augmented Environments (arxiv.org) — 2024-12-01
4. MVISU-Bench: Benchmarking Mobile Agents for Real-World Tasks by Multi-App, Vague, Interactive, Single-App and Unethical Instructions (arxiv.org) — 2024-10-22
5. MobilePA-Bench: Benchmarking Mobile Planner Agents on Complex Real-World Tasks (arxiv.org) — 2026-01-31
6. OmniaBench: Benchmarking General AI Agents Across Diverse Scenarios (arxiv.org)
7. GAIA: a benchmark for General AI Assistants (arxiv.org) — 2023-11-21