Mixture-of-Experts (MoE) คืออะไร: รายชื่อโมเดลที่ใช้กันในปี 2569 ตัวเลขจริงจาก model card และข้อจำกัดที่ต้องรู้
อธิบาย Mixture-of-Experts ด้วยตัวเลขจาก model card ของ Kimi K3, DeepSeek V4, Qwen3.6, MiniMax M3, GLM-5.3 และ Llama 4: พารามิเตอร์ทั้งหมดกับที่ใช้จริงต่อ token ทำไมถึงถูกลง ทำไมยังต้องใช้ VRAM ทั้งก้อน และราคาต่อข้อความไทยของแต่ละรุ่น
สรุปสั้น: โมเดลเปิดระดับแนวหน้าที่ใช้กันในปี 2569 เกือบทั้งหมดเป็น Mixture-of-Experts: Kimi K3 มีพารามิเตอร์ 2.8 ล้านล้านแต่ใช้ต่อ token แค่ 104 พันล้าน (3.7%) DeepSeek V4-Pro 1.6 ล้านล้านใช้ 49 พันล้าน (3.1%) Qwen3.6-35B-A3B ใช้ 3 จาก 35 พันล้าน (8.6%) ผลคือค่าคำนวณต่อ token ถูกลงมาก แต่หน่วยความจำยังต้องเก็บทั้งก้อน ส่วนโมเดลปิดรุ่นปัจจุบันอย่าง GPT-6, Gemini 3.x หรือ Claude ผู้พัฒนาไม่เปิดเผยสถาปัตยกรรม
Kimi K3 มีพารามิเตอร์ 2.8 ล้านล้านตัว Moonshot เรียกมันว่าเป็นโมเดลเปิดระดับ 3T ตัวแรกของโลก แต่ตอนตอบแต่ละ token มันใช้แค่ 104 พันล้านตัว หรือราว 3.7% ของทั้งหมด [1] ตัวเลขคู่นี้คือหัวใจของ Mixture-of-Experts และเป็นกลไกที่ทำให้โมเดลเปิดขนาดยักษ์คิดราคาต่อ token ได้ต่ำ บทความนี้อธิบายกลไกด้วยตัวเลขจาก model card ของผู้พัฒนาเอง ไล่รายชื่อรุ่นที่เป็น MoE จริง บอกข้อจำกัดที่ยังอยู่ และท้ายบทมีราคาต่อข้อความไทยของแต่ละรุ่นที่อัปเดตทุกวัน
MoE ทำงานอย่างไร
โมเดลแบบเดิมที่เรียกกันว่า dense ใช้พารามิเตอร์ทุกตัวกับทุก token ทุกครั้ง ไม่มีข้อยกเว้น ส่วน MoE แบ่งชั้นคำนวณเป็นชุดย่อยเรียกว่าผู้เชี่ยวชาญ แล้วมีตัวเลือกเส้นทางที่ศัพท์เทคนิคเรียกว่า router ตัดสินว่า token นี้จะผ่านผู้เชี่ยวชาญชุดไหน แต่ละ token ผ่านไม่กี่ชุด ที่เหลือพัก
ตัวอย่างที่เปิดสเปกละเอียดที่สุดคือ Qwen3.6-35B-A3B ชื่อรุ่นบอกอยู่แล้ว 35B คือพารามิเตอร์ทั้งหมด 35 พันล้าน A3B คือใช้จริง 3 พันล้าน ในแต่ละชั้นมีผู้เชี่ยวชาญ 256 ชุด router เลือก 8 ชุด บวกชุดกลางที่ทุก token ต้องผ่านอีก 1 ชุด [3] Kimi K3 ทำแบบเดียวกันในสเกลใหญ่กว่า คือ 896 ชุด เลือก 16 ชุดต่อ token บวกชุดกลาง 2 ชุด [1]
ผลคือค่าคำนวณต่อ token ตกอยู่ที่พารามิเตอร์ที่ใช้จริง ไม่ใช่ทั้งหมด งานถูกลง ไฟถูกลง แต่หน่วยความจำต้องเก็บผู้เชี่ยวชาญทุกชุดไว้ เพราะไม่รู้ล่วงหน้าว่า token ถัดไปจะเรียกชุดไหน
รายชื่อโมเดล MoE ที่ใช้กันในปี 2569 และผู้พัฒนาเปิดตัวเลข
| รุ่น | ทั้งหมด | ใช้จริงต่อ token | สัดส่วน | ผู้เชี่ยวชาญ | บริบท |
|---|---|---|---|---|---|
| Kimi K3 [1] | 2.8T | 104B | 3.7% | 896 เลือก 16+2 | 1M |
| DeepSeek V4-Pro [9] | 1.6T | 49B | 3.1% | ไม่ระบุ | 1M |
| DeepSeek V4-Flash [10] | 284B | 13B | 4.6% | ไม่ระบุ | 1M |
| MiniMax M3 [4] | ~428B | ~23B | 5.4% | ไม่ระบุ | 1M |
| GLM-5.3 [5] | 753B | ไม่ระบุ | — | ไม่ระบุ | 1M |
| Qwen3.6-35B-A3B [3] | 35B | 3B | 8.6% | 256 เลือก 8+1 | 262K (ขยายได้ 1.01M) |
| Llama 4 Maverick [6] | 400B | 17B | 4.25% | 128 | — |
| Llama 4 Scout [6] | 109B | 17B | 15.6% | 16 | 10M |
ทุกตัวเลขอ่านจาก model card หรือประกาศของผู้พัฒนาโดยตรง สัดส่วนคำนวณโดยเรา DeepSeek ระบุใน model card ทั้งสองรุ่นว่าเป็น “Mixture-of-Experts (MoE) language models” บริบท 1 ล้าน token และใช้ใบอนุญาต MIT แต่ไม่บอกจำนวนผู้เชี่ยวชาญ [9][10] ส่วน GLM-5.3 ระบุสถาปัตยกรรมเป็น glm_moe_dsa แต่ไม่บอกจำนวนที่ใช้จริง [5] Llama 4 เป็นรุ่นเดียวในตารางที่ออกตั้งแต่ปี 2568 ที่เหลือออกในปี 2569
Meta เขียนไว้ตอนออก Llama 4 ในเมษายน 2568 ว่าเป็นโมเดลรุ่นแรกของบริษัทที่ใช้สถาปัตยกรรม mixture of experts [6] ผ่านไปปีครึ่ง โมเดลเปิดใหญ่แทบทุกค่ายไปทางเดียวกันหมด NVIDIA สรุปไว้ตั้งแต่ธันวาคม 2568 ว่าโมเดลโอเพนซอร์ส 10 อันดับแรกในตาราง Artificial Analysis เป็น MoE ทั้งหมด [7]
ทำไมถึงถูกลง
ค่าคำนวณต่อ token ลดตามสัดส่วนที่ใช้จริง สำหรับรุ่นในตารางคือเหลือ 3–16% ของโมเดล dense ขนาดเท่ากัน NVIDIA รายงานว่า Kimi K2 Thinking บนระบบ GB200 NVL72 รันเร็วขึ้น 10 เท่าเมื่อเทียบกับระบบ HGX H200 รุ่นก่อน และต้นทุนต่อ token เหลือหนึ่งในสิบ โดยเห็นผลแบบเดียวกันใน DeepSeek-R1 และ Mistral Large 3 [7] นั่นเป็นตัวเลขของผู้ขายชิป แต่ทิศทางตรงกับราคาในตลาด ในตารางสดท้ายบทความ DeepSeek V4-Flash คิดราคาส่งเข้าถูกกว่า Kimi K3 กว่า 20 เท่า ณ วันที่เขียน ทั้งที่รับบริบท 1 ล้าน token เท่ากัน [8]
ในการใช้งานจริง ตัวเลข “ใช้จริง” คือตัวบอกความเร็ว รุ่น 35B ที่ใช้จริง 3B ต้องโหลดครบ 35 พันล้านพารามิเตอร์ แต่แต่ละ token คำนวณแค่ 3 พันล้าน จึงตอบได้เร็วใกล้โมเดลเล็ก ในขณะที่ยังได้ความรู้ของโมเดลใหญ่
ข้อจำกัดที่ยังอยู่
- VRAM ไม่ได้ลด ตัวเลข “ใช้จริง 3B” ทำให้คนเข้าใจผิดว่ารันได้เท่าโมเดล 3B ความจริงต้องมีหน่วยความจำพอเก็บ 35B เต็ม สิ่งที่ประหยัดคือเวลาและไฟ ไม่ใช่การ์ดจอ
- โมเดลปิดรุ่นปัจจุบันไม่บอก OpenAI, Google และ Anthropic ไม่เปิดเผยสถาปัตยกรรมของ GPT-6, Gemini 3.x และ Claude รุ่นปัจจุบัน (Google เคยระบุว่า Gemini 1.5 เมื่อปี 2567 เป็น MoE) บทความนี้จึงไม่นับรวมและไม่เดา
- สเปกไม่ครบทุกค่าย GLM-5.3 และ DeepSeek V4 ไม่ระบุจำนวนผู้เชี่ยวชาญ MiniMax ให้เป็นค่าประมาณ ตารางข้างบนจึงมีช่อง “ไม่ระบุ” แทนการเติมเลขเอง
สิ่งที่เปลี่ยนจากบทความฉบับแรก
ฉบับเมษายน 2569 ยกตัวอย่าง GPT-5 และ DeepSeek-V3 เป็นโมเดล MoE ตามโพสต์ของบุคคลบน LinkedIn และเล่าว่า “MoE ชนะแล้ว” วันนี้เราเขียนใหม่ให้ทุกตัวเลขมาจากผู้พัฒนาเอง ตัด GPT-5 ออกเพราะ OpenAI ไม่เคยเปิดเผยสถาปัตยกรรม และแทน DeepSeek-V3 ด้วย V4 ที่ออกเมษายน 2569 ข้อสรุปเดิมยังอยู่ แต่มาจากหลักฐานที่ตรวจได้
ที่มาของตัวเลข
- พารามิเตอร์ทั้งหมด ใช้จริง จำนวนผู้เชี่ยวชาญ และบริบท อ่านจาก model card บน Hugging Face หรือประกาศทางการของแต่ละค่าย ตรวจ 28 กันยายน 2569 [1][3][4][5][6][9][10]
- สัดส่วน “ใช้จริง/ทั้งหมด” คำนวณโดยเราจากตัวเลขข้างต้น ปัดทศนิยมหนึ่งตำแหน่ง ยกเว้น Maverick ที่ตกครึ่งพอดีจึงแสดง 4.25%
- ตัวเลข 10 เท่า / หนึ่งในสิบ เป็นของ NVIDIA [7]
- ราคาต่อ token และต่อข้อความไทยจาก OpenRouter และการวัดของเว็บนี้ [8] ตารางสดท้ายบทความอัปเดตทุกวัน
Sources
- moonshotai/Kimi-K3 model card (huggingface.co)
- DeepSeek V4 Preview Release (api-docs.deepseek.com) — 2026-04-24
- Qwen/Qwen3.6-35B-A3B model card (huggingface.co) — 2026-04
- MiniMaxAI/MiniMax-M3 model card (huggingface.co)
- zai-org/GLM-5.3 model card (huggingface.co) — 2026-02-17
- The Llama 4 herd (ai.meta.com) — 2025-04-05
- Mixture of Experts Powers the Most Intelligent Frontier AI Models (blogs.nvidia.com) — 2025-12-03
- ราคา AI ต่อข้อความภาษาไทย (KoishiAI) (koishiai.com) — 2026-09-28
- deepseek-ai/DeepSeek-V4-Pro model card (huggingface.co)
- deepseek-ai/DeepSeek-V4-Flash model card (huggingface.co)
ราคาล่าสุด (อัปเดตทุกวัน)
| โมเดล | ส่งเข้า $/1M token | ตอบ $/1M token | context | ส่งเข้า 1 ล้านตัวอักษรไทย | ตอบ 1 ล้านตัวอักษรไทย |
|---|---|---|---|---|---|
| DeepSeek V4 Pro≈ | $0.96 | $1.91 | 1.05M | ฿12.18 | ฿24.35 |
| DeepSeek V4 Flash≈ | $0.14 | $0.28 | 1.05M | ฿1.78 | ฿3.57 |
| Qwen3.6 35B-A3B | $0.1 | $0.95 | 262K | ฿0.883 | ฿8.39 |
| Kimi K3≈ | $0.2 | $20 | 1.05M | ฿4.33 | ฿432.60 |
| GLM-5.3≈ | $0.07 | $1.40 | 1.05M | ฿1.74 | ฿34.91 |
| MiniMax M3≈ | $0.3 | $1.20 | 1.05M | ฿8.24 | ฿32.96 |
| Llama 4 Maverick≈ | $0.19 | $0.65 | 524K | ฿2.13 | ฿7.40 |
| Llama 4 Scout≈ | $0.1 | $0.3 | 1.31M | ฿1.13 | ฿3.40 |
ราคาต่อ 1 ล้าน token จาก OpenRouter ณ 2026-10-27 · 1 USD = 33.805 บาท (2026-10-26) · คอลัมน์ "ต่อ 1 ล้านตัวอักษรไทย" คิดจาก token ต่อตัวอักษรไทยที่วัดจริง (≈ = ค่าประมาณจากการวัดผ่าน OpenRouter) ราคาบนหน้าผู้ให้บริการอาจต่างจากนี้