ความมั่นใจของตัวแทน: การตรวจสอบ LLM Agents แบบกล่องดำอย่างมีประสิทธิภาพ

สรุปสั้น: เทคนิค Proxy Confidence ใช้โมเดลตัวแทนประเมินความน่าเชื่อถือของ LLM แบบกล่องดำ โดยทำค่า AUROC สูงถึง 0.825 ซึ่งเหนือกว่าการรายงานด้วยตนเองอย่างมีนัยสำคัญ วิธีนี้ช่วยเพิ่มอัตราความสำเร็จของงานได้สูงสุด +0.137 ทำให้ระบบเอเจนต์มีความปลอดภัยและแม่นยำยิ่งขึ้น

ข้อเท็จจริงสำคัญ

• Proxy Confidence ใช้โมเดลตัวแทน (surrogate model) ตรวจสอบ LLM แบบกล่องดำผ่าน log-probabilities โดยไม่ต้องเข้าถึงน้ำหนักโมเดลหลัก ช่วยตรวจจับข้อผิดพลาดแบบเงียบที่การรายงานด้วยตนเองมองข้าม
• ความมั่นใจที่โมเดล Frontier รายงานด้วยตนเองมีค่า AUROC เพียง 0.598 ซึ่งใกล้เคียงกับการสุ่ม และวิธีการสุ่มตัวอย่างซ้ำไม่ได้ผลเนื่องจากโมเดลมีความซ้ำซ้อนสูง
• Proxy Confidence เป็นวิธีที่ไม่ต้องฝึกฝน (training-free) ใช้เทคนิคเช่น teacher forcing และ request-PMI โดยก่อให้เกิดต้นทุนเพียงครั้งเดียวสำหรับการทำ prefill pass
• ในงานเขียนโค้ดที่ท้าทาย Proxy ทำค่า AUROC ได้ถึง 0.825 ซึ่งเหนือกว่าความมั่นใจจาก Actor อย่างมีนัยสำคัญ และช่วยเพิ่มอัตราความสำเร็จของงานได้สูงสุด +0.137 ในโหมดเรียลไทม์

Proxy Confidence ตรวจจับข้อผิดพลาดที่การรายงานด้วยตนเองมองข้ามได้อย่างไร?

Proxy Confidence ตรวจจับข้อผิดพลาดแบบเงียบ (silent errors) โดยการทำงานคู่กับโมเดลหลักที่มีน้ำหนักเปิดและต้นทุนต่ำ เพื่อประเมินคะแนนของการกระทำโดยใช้ค่า log-probabilities [1][2] API แชทระดับ Frontier มักซ่อนความน่าจะเป็นของโทเค็นภายใน ทำให้มาตรวัดความมั่นใจแบบมาตรฐานไม่น่าเชื่อถือ โดยความมั่นใจที่โมเดลรายงานด้วยตนเองนั้นแทบจะไม่สามารถแยกแยะข้อผิดพลาดของตัวเองได้ดีกว่าการสุ่ม (มีค่า AUROC เท่ากับ 0.598) [1][4] นอกจากนี้ การสุ่มตัวอย่างซ้ำ (resampling) ยังไม่ได้ผลเนื่องจากโมเดล Frontier รุ่นใหม่มีความซ้ำซ้อนสูง ทำให้ผลิตผลลัพธ์ที่เหมือนกันในทุกๆ ตัวอย่าง [2][4] วิธีการของ Proxy Confidence หลีกเลี่ยงปัญหาเหล่านี้โดยใช้โมเดลตัวแทน (surrogate model) เพื่อประเมินคะแนนการเรียกใช้เครื่องมือผ่านเทคนิค teacher forcing, request-PMI (pointwise mutual information), คำตัดสินแบบ discriminative และการแข่งขันในการเลือกเครื่องมือ [1][4] แนวทางนี้ไม่ต้องผ่านการฝึกฝน (training-free) และก่อให้เกิดต้นทุนเพียงหนึ่งครั้งสำหรับการทำ prefill pass [3] ในงานเขียนโค้ดที่ท้าทาย ตัวแทน (proxy) สามารถทำค่า AUROC ได้ถึง 0.825 ซึ่งเหนือกว่าความมั่นใจที่ระบุโดยแอคเตอร์อย่างมีนัยสำคัญ [4] นอกจากนี้ ยังเปิดใช้งานโหมดการปรับใช้เช่น การควบคุมแบบเรียลไทม์ (real-time gating) และการป้อนกลับความมั่นใจ ซึ่งช่วยเพิ่มอัตราความสำเร็จของงานในชุดข้อมูลทดสอบแบบรันจริงได้สูงสุดถึง +0.137 [2]

ข้อจำกัดและกรอบการทำงานสำหรับการตรวจสอบทางเลือกมีอะไรบ้าง?

แม้ว่า Proxy Confidence จะเสนอกลไกการให้คะแนนโดยตรง แต่กรอบการทำงานอื่นๆ ก็จัดการกับปัญหาที่คล้ายคลึงกันผ่านโครงสร้างที่แตกต่างกัน กราฟความมั่นใจเชิงเหตุผล (Confidence Reasoning Graphs หรือ CRGs) ประมาณการความน่าจะเป็นของความสำเร็จโดยการแยกเส้นทางของแอคเตอร์ออกเป็นข้อกล่าวหาย่อยที่มีบริบท แทนที่จะพึ่งพาการตัดสินแบบองค์รวม [6] การแยกส่วนนี้ช่วยหลีกเลี่ยงปัญหาการปรับเทียบที่หลอกลวง ซึ่งโมเดลดูเหมือนจะได้รับการปรับเทียบอย่างดีแต่กลับมีความสามารถในการแยกแยะใกล้เคียงกับการสุ่ม [6] ในทางตรงกันข้าม การวิจัย BrowseConf พบว่าโมเดลแอเจนต์โอเพนซอร์สแสดงอัตราความถูกต้องที่สูงกว่าในระดับความมั่นใจที่ระบุด้วยคำพูดสูง แม้ว่าการวิจัยในปัจจุบันส่วนใหญ่จะมุ่งเน้นไปที่สถานการณ์แบบครั้งเดียว (single-turn) มากกว่าการโต้ตอบแบบหลายรอบที่ซับซ้อน [5] การทบทวนวรรณกรรมในวงกว้างชี้ให้เห็นว่า การวัดความไม่แน่นอน (uncertainty quantification หรือ UQ) สำหรับ LLM ต้องเปลี่ยนจากการถาม-ตอบคำถามแบบง่าย ไปสู่การจัดการพลวัตของแอเจนต์แบบโต้ตอบ รวมถึงการเลือกตัวประมาณค่าและการสร้างแบบจำลองความไม่แน่นอนในเอนทิตีที่มีความหลากหลาย [7] แม้ว่าจะมีงานวิจัยอื่นที่สำรวจการตรวจสอบกล่องดำผ่านการจำลองบุคคลของมนุษย์เพื่อวัตถุประสงค์ในการกำกับดูแลแพลตฟอร์ม แต่จุดเน้นทางเทคนิคในที่นี้ยังคงอยู่ที่ความน่าเชื่อถือภายในและการตรวจจับข้อผิดพลาดของแอเจนต์ [8]

วิธีการนี้เปรียบเทียบกับการตรวจสอบความมั่นใจที่มีอยู่อย่างไร?

Proxy Confidence แตกต่างจากวิธีการก่อนหน้าโดยการจัดเตรียมชั้นการตรวจสอบภายนอก โดยไม่ต้องเข้าถึงน้ำหนักของโมเดลหลัก โมเดลตัวแทน (surrogate model) จะทำงานแบบขนาน อ่านบริบทและการกระทำที่เสนอเดียวกัน เพื่อประเมินคะแนนผ่าน log-probabilities โดยใช้ readouts แบบเสริม เช่น teacher forcing, request-PMI (pointwise mutual information), คำตัดสินเชิงแยกประเภท และการแข่งขันการเลือกเครื่องมือ [1][4] แนวทางที่ไม่ต้องฝึกฝนนี้ก่อให้เกิดค่าใช้จ่ายเพียงหนึ่งครั้งสำหรับการทำ prefill pass [3] ในงานเขียนโค้ดที่ยาก Proxy นี้ทำคะแนน AUROC ได้ที่ 0.825 ซึ่งเหนือกว่าความมั่นใจที่ระบุโดย actor อย่างมีนัยสำคัญ (ซึ่งอยู่ใกล้ระดับสุ่มที่ 0.598) [4] นอกจากนี้ยังเปิดใช้งานโหมดการปรับใช้เช่น การควบคุมแบบเรียลไทม์และข้อเสนอแนะความมั่นใจ ซึ่งช่วยเพิ่มอัตราความสำเร็จของงานในเกณฑ์มาตรฐานการทำงานจริงได้สูงสุด +0.137 [2] กรอบงานทางเลือกเช่น Confidence Reasoning Graphs จะแยกเส้นทางออกเป็นข้อกล่าวหาย่อยเพื่อหลีกเลี่ยงการปรับเทียบแบบองค์รวมที่อาจทำให้เข้าใจผิด [6] ในขณะที่ BrowseConf ชี้ให้เห็นว่าโมเดลโอเพนซอร์สแสดงความแม่นยำที่สูงขึ้นในระดับความมั่นใจสูง แต่มักมุ่งเน้นไปที่สถานการณ์แบบครั้งเดียว [5] การวัดปริมาณความไม่แน่นอนสำหรับ LLM กำลังเปลี่ยนจากการตอบคำถามง่ายๆ ไปสู่การจัดการพลวัตของเอเจนต์ที่มีปฏิสัมพันธ์พร้อมผลกระทบในโลกจริง [7]

แหล่งข้อมูล

1. Proxy Confidence: Auditing Black-Box LLM Agents with a Surrogate’s Log-Probabilities (arxiv.org) — 2026-10-02
2. Proxy Confidence: Auditing Black-Box LLM Agents with a Surrogate’s Log-Probabilities (papers.cool) — 2026-10-02
3. Proxy Confidence: Auditing Black-Box LLM Agents with a Surrogate’s Log-Probabilities (arxiv.org)
4. Proxy Confidence: Auditing Black-Box LLM Agents with a Surrogate’s Log-Probabilities | Aditya Tomar (www.linkedin.com) — 2026-10-08
5. Confidence Reasoning Graphs: Structured Confidence Estimation for LLM Agents (arxiv.org) — 2026-10-06
6. BrowseConf: Confidence-Guided Test-Time Scaling for Web Agents (arxiv.org)
7. Uncertainty Quantification in LLM Agents: Foundations, Emerging Challenges, and Opportunities (arxiv.org) — 2025-12-11
8. Black-Box Auditing with LLM Simulated Agents (genai.mit.edu) — 2025-04-01