SpireBench เทียบกับมนุษย์ผู้เชี่ยวชาญ: ทำไมเอเจนต์ AI ถึงประสบปัญหาในการวางแผนระยะยาวสำหรับเกม Slay the Spire

สรุปสั้น: งานวิจัย SpireBench พบว่าเอเจนต์ AI ล้มเหลวในการวางแผนระยะยาวของเกม Slay the Spire โดยประสิทธิภาพจะด้อยกว่าผู้เชี่ยวชาญมนุษย์อย่างมีนัยสำคัญเมื่อเกมดำเนินไป เนื่องจากโมเดลขาดความสามารถในการเรียนรู้จากประสบการณ์และประเมินความเสี่ยงผิดพลาด ซึ่งชี้ให้เห็นถึงจุดอ่อนสำคัญของการให้เหตุผลเชิงกลยุทธ์ใน LLMs ปัจจุบัน

ข้อเท็จจริงสำคัญ

• นักวิจัยเปิดตัว SpireBench ซึ่งเป็นชุดข้อมูลมาตรฐานใหม่ที่ใช้เกม Slay the Stire เพื่อทดสอบความสามารถของเอเจนต์ AI ในการวางแผนกลยุทธ์ระยะยาว โดยออกแบบมาเพื่อแก้ปัญหา ‘ช่องว่างของขอบเขต’ (horizon gap) ที่โมเดลมักทำได้ดีในระยะสั้นแต่ล้มเหลวใน
• การประเมินครอบคลุมโมเดลภาษาขนาดใหญ่ (LLM) จำนวน 20 ตัว ในระดับความยากสูงสุดของเกม พบว่าแม้โมเดลชั้นนำจะทำได้เท่ากับผู้เล่นมนุษย์เฉลี่ยในช่วงต้นเกม แต่ประสิทธิภาพจะด้อยกว่าผู้เชี่ยวชาญอย่างมีนัยสำคัญเมื่อเกมดำเนินไปถึงแอคต์ต่อๆ ไป
• จุดอ่อนหลักของเอเจนต์ AI คือการขาดวิสัยทัศน์ระยะยาวและให้ความสำคัญกับการรักษาชีวิตมากกว่าการสร้างสำรับไพ่ที่แข็งแกร่งขึ้น ซึ่งนำไปสู่ความล้มเหลวในการชนะเกมในระยะยาว แม้ว่าจะมีการจัดการเชิงแทคติคในการต่อสู้แต่ละครั้งได้ดีก็ตาม
• SpireBench เป็นชุดข้อมูลมาตรฐานตัวแรกที่ให้โมเดลเข้าถึงเวอร์ชันสมบูรณ์ที่ไม่มีการดัดแปลงของเกม Slay the Spire ในสภาพแวดล้อมแบบวงจรปิด ช่วยให้ผู้วิจัยสามารถวินิจฉัยความล้มเหลวของเอเจนต์ในสถานการณ์ที่ซับซ้อนและเปลี่ยนแปลงตลอดเวลาได้อย่างเข้มง
• การทดลองเปลี่ยนชื่อศัพท์หลักของเกมส่งผลให้ประสิทธิภาพของโมเดลดิ่งลงอย่างมาก บ่งชี้ว่าความสำเร็จของ AI ปัจจุบันพึ่งพาความจำจากประสบการณ์เดิมมากกว่าการอนุมานเชิงกลยุทธ์แบบเรียลไทม์ และขาดความสามารถในการเรียนรู้จากบันทึกความจำที่สร้างเอง

การประเมินกลยุทธ์ระยะยาวในเอเจนต์ AI

นักวิจัยได้แนะนำ SpireBench ซึ่งเป็นชุดข้อมูลมาตรฐาน (benchmark) ที่ใช้เกมสร้างสำรับไพ่เชิงพาณิชย์อย่าง Slay the Spire (StS) เพื่อทดสอบความสามารถของโมเดลภาษาขนาดใหญ่แบบเอเจนต์ (agentic LLMs) ในการจัดการกับการวางแผนกลยุทธ์ระยะยาว [1] ต่างจากชุดข้อมูลมาตรฐานก่อนหน้าที่มุ่งเน้นไปที่งานสั้นๆ และสมบูรณ์ในตัวเอง SpireBench ประเมินประสิทธิภาพตลอดหลายแอคต์ในเกม ซึ่งการตัดสินใจในช่วงต้นจะส่งผลกระทบต่อการดำเนินเกมในระยะยาว การจัดตั้งนี้ช่วยแก้ปัญหา ‘ช่องว่างของขอบเขต’ (horizon gap) ได้โดยตรง ซึ่งเป็นแนวโน้มที่โมเดลจะทำได้ดีกับขั้นตอนทันทีแต่ล้มเหลวเมื่อต้องรักษาความสอดคล้องของกลยุทธ์ข้ามกับการเลือกจำนวนมากที่เกิดขึ้นตามลำดับ [2]

ประสิทธิภาพของโมเดลในแต่ละช่วงของเกม

การศึกษาได้ประเมินผลของ LLM จำนวน 20 ตัวในระดับความยากสูงสุดของ StS โดยเปรียบเทียบผลลัพธ์กับเกณฑ์อ้างอิงแบบฮิวริสติกและมาตรฐานมนุษย์ โมเดลชั้นนำทำได้ดีกว่าเอเจนต์ที่ใช้กฎเกณฑ์ และทำได้เท่ากับผู้เล่นมนุษย์เฉลี่ยในช่วงต้น [1] อย่างไรก็ตาม ช่องว่างระหว่างโมเดลเหล่านี้กับมนุษย์ผู้เชี่ยวชาญขยายตัวขึ้นอย่างมีนัยสำคัญเมื่อเกมดำเนินไป ในขณะที่เอเจนต์ที่แข็งแกร่งสามารถชนะแอคต์แรกในอัตราที่เทียบเท่ากับผู้เชี่ยวชาญ แต่พวกมันกลับทำผลงานได้ต่ำกว่ามาตรฐานในแอคต์ต่อๆ ไป ซึ่งบ่งชี้ถึงความล้มเหลวในการวางแผนอย่างต่อเนื่อง

การดำเนินการเชิงแทคติคเหนือการวางแผนระดับสูง

สิ่งที่แยกโมเดลที่แข็งแกร่งออกจากโมเดลที่อ่อนแอกว่าไม่ใช่วิสัยทัศน์ระยะยาวที่ดีกว่า แต่เป็นการดำเนินการที่ดีกว่าระหว่างการต่อสู้แต่ละครั้ง ความสำเร็จในแต่ละการต่อสู้ เช่น การจัดการสุขภาพและการใช้ทรัพยากร มีผลกระทบแบบทบต้นต่อความแข็งแกร่งของสำรับไพ่เมื่อเวลาผ่านไป อย่างไรก็ตาม โมเดลทั้งหมดที่ทดสอบแสดงให้เห็นถึงความผิดพลาดในการประเมินความเสี่ยงอย่างสม่ำเสมอ โดยพวกมันให้ความสำคัญกับการรักษาจุดชีวิตไว้ แทนที่จะใช้จ่ายอย่างมีกลยุทธ์เพื่อสร้างสำรับไพ่ที่แข็งแกร่งขึ้น ซึ่งเป็นพฤติกรรมที่ขัดขวางชัยชนะในระยะยาวในที่สุด [1]

การพึ่งพาความรู้เดิมและความล้มเหลวของความจำ

เพื่อประเมินว่าโมเดลกำลังใช้เหตุผลหรือพึ่งพาความจำ นักวิจัยได้เปลี่ยนชื่อศัพท์หลักของเกม (เช่น ‘ระดับการไต่เต้า’ เปลี่ยนเป็น ‘ชั้นหอคอย’) การเปลี่ยนชื่อนี้ส่งผลให้ประสิทธิภาพของโมเดลดิ่งลงอย่างมาก บ่งชี้ว่าความสำเร็จขึ้นอยู่กับประสบการณ์ก่อนหน้านี้กับกลไกของ StS เป็นสำคัญ แทนที่จะเป็นการอนุมานเชิงกลยุทธ์แบบเรียลไทม์ [1]

นอกจากนี้ โมเดลไม่ได้พัฒนาขึ้นจากบันทึกความจำที่สร้างเองข้ามรอบการเล่น บันทึกเหล่านี้มักจะไม่ถูกต้องและสะท้อนแนวทางที่ระมัดระวังเกินไป ซึ่งบ่งชี้ว่าเอเจนต์ขาดความสามารถในการเรียนรู้จากประสบการณ์อย่างมีความหมาย [1]

ทำไม SpireBench จึงโดดเด่น

SpireBench แตกต่างโดยเป็นชุดข้อมูลมาตรฐานตัวแรกที่ให้โมเดลเข้าถึงเวอร์ชันสมบูรณ์ที่ไม่มีการดัดแปลงของ Slay the Spire สภาพแวดล้อมแบบวงจรปิดนี้ช่วยให้สามารถประเมินผลได้เข้มงวดกว่าความพยายามก่อนหน้าที่ใช้เวอร์ชันที่ลดรูปหรือทำให้เรียบง่ายของเกม [1] ผู้เขียนจัดวางตำแหน่งให้เป็นชุดข้อมูลมาตรฐานที่ยังไม่ถูกเติมเต็ม (unsaturated benchmark) ซึ่งสามารถวินิจฉัยได้อย่างแม่นยำว่าเอเจนต์ล้มเหลวตรงไหนและทำไมในสถานการณ์ที่ซับซ้อนและเปลี่ยนแปลงตลอดเวลา

บริบทที่กว้างขึ้นในงานวิจัยเอเจนต์ AI

แม้ว่า SpireBench จะเน้นย้ำถึงความลึกเชิงกลยุทธ์ แต่งานวิจัยล่าสุดอื่นๆ กลับสำรวจมิติที่แตกต่างกันของระบบเอเจนต์ บทความเมื่อเดือนกุมภาพันธ์ 2026 ได้แนะนำ SAGE ซึ่งเป็นกรอบการทำงานสำหรับการสร้างฉากสามมิติ (3D) ที่ถูกต้องทางกายภาพ โดยใช้ผู้ตรวจสอบ (critics) ในการประเมินความสมจริงและความเสถียร [3] ในขณะเดียวกัน บทความตำแหน่งวิชาการเมื่อเดือนมิถุนายน 2025 ได้แย้งว่า Small Language Models (SLMs) อาจเหมาะสมกว่า Large Language Models (LLMs) สำหรับงานเอเจนต์แบบเฉพาะทางและทำซ้ำๆ เนื่องจากมีประสิทธิภาพด้านต้นทุน [4] แนวโน้มเหล่านี้ชี้ให้เห็นว่าระบบในอนาคตอาจพึ่งพาสถาปัตยกรรมแบบผสมผสานมากกว่าโมเดลแบบรวมศูนย์

แม้ว่าจะมีความก้าวหน้าในด้านความสามารถในการวางแผน แต่งานวิจัยก่อนหน้านี้พบว่ามีความแตกต่างประมาณ 15% ระหว่างประสิทธิภาพของการวางแผนแบบลำดับและแบบกราฟ แม้ใน GPT-4 ซึ่งช่องว่างนี้สะท้อนถึงความท้าทายที่ยังคงมีอยู่ในการให้เหตุผลเชิงโครงสร้าง [5] SpireBench ได้เติมเต็มองค์ความรู้ดังกล่าวโดยแสดงให้เห็นว่าการวางแผนกลยุทธ์ระยะยาวยังคงเป็นจุดอ่อนสำคัญในโมเดลเอเจนต์ปัจจุบัน

แหล่งข้อมูล

1. SpireBench: Evaluating Long-Horizon Strategic Play of Agentic Models with Slay the Spire (arxiv.org) — 2026-10-08
2. SpireBench: Evaluating Long-Horizon Strategic Play of Agentic Models with Slay the Spire (arxiv.org)
3. SAGE: Scalable Agentic 3D Scene Generation for Embodied AI (arxiv.org) — 2026-02-10
4. Small Language Models are the Future of Agentic AI (arxiv.org) — 2025-06-02
5. Benchmarking Agentic Workflow Generation (arxiv.org) — 2024-10-10