ทำไมต้องล้างก่อนส่ง AI
ข้อความที่ดูเหมือนกันทุกตัว แต่รหัสข้างในต่างกัน ทำให้ AI เห็นเป็นคำคนละคำ และแตกเป็น token มากขึ้น นับด้วย tokenizer ของ GPT (o200k):
| ถูกต้อง | token | รหัสเพี้ยน | token | ต่างกันตรงไหน |
|---|---|---|---|---|
| ทำงาน | 2 | ทํางาน | 4 | ํ + า แทน ำ |
| น้ำ | 1 | น้ํา | 3 | ํ + า แทน ำ |
| ที่นี่ | 2 | ท่ีน่ี | 5 | พิมพ์ ่ ก่อน ี |
| แปลก | 3 | เเปลก | 4 | เ + เ แทน แ |
| หน้า | 1 | หนา | 5 | U+F70B (PUA) แทน ้ — มองไม่เห็นเลย |
ข้อความจากราชกิจจานุเบกษา 700 ตัวอักษรแรก: 453 token ก่อนแก้ เหลือ 324 token หลังแก้
ข้อควรรู้
- PDF ภาษาไทยจำนวนมากใช้ฟอนต์รุ่นเก่าที่เก็บวรรณยุกต์ตำแหน่งพิเศษไว้ในช่วงรหัส Private Use Area (เช่น U+F70A คือไม้เอกที่เลื่อนลง) คัดลอกออกมาจึงได้อักขระที่ AI ไม่รู้จัก เครื่องมือนี้แปลงกลับเป็นวรรณยุกต์จริงตามตารางของฟอนต์ทั้งฝั่ง Windows และ Mac
- การ normalize แบบ NFKC ที่หลายโปรแกรมใช้ ทำให้สระอำแตกเป็น ํ + า เอง ถ้าจะ normalize ข้อความไทย ให้ใช้ NFC
- PDF บางไฟล์ใส่ช่องว่างไว้หน้าสระหรือวรรณยุกต์ (เช่น “สมเด ็จ”) เครื่องมือนี้ลบช่องว่างทิ้งแล้วต่อกลับเป็น “สมเด็จ” ไลบรารี PyThaiNLP จัดการกรณีนี้โดยลบตัววรรณยุกต์ทิ้งแทน ได้ “สมเด จ”
- ข้อความที่ขึ้น “(cid:123)” หรือ � แปลว่าตัวอักษรหายไปตั้งแต่ตอนคัดลอก ต้องใช้ OCR อ่านจากภาพแทน
ตรวจอย่างไร
- ค่าตั้งต้นแก้เฉพาะสิ่งที่ไม่เปลี่ยนสิ่งที่คนอ่านเห็น ได้แก่ รหัสเพี้ยน อักขระล่องหน ลำดับการพิมพ์ ส่วนการต่อบรรทัด ลบช่องว่างซ้ำ และแปลงเลขไทย ต้องเปิดเอง
- ทดสอบกับไฟล์บทความภาษาไทยทั้ง 187 ชิ้นของเว็บนี้ รวมฉบับร่าง (2.2 ล้านตัวอักษร, 24 ก.ย. 2026) ค่าตั้งต้นแก้ไปแค่จุดเดียว และจุดนั้นเป็นคำพิมพ์ผิดจริง (ไม้เอกซ้ำ)
- ทดสอบกับข้อความที่คัดลอกจาก PDF ราชกิจจานุเบกษา ผลตรงกับฉบับที่ตรวจทีละบรรทัดด้วยตา
- อักขระที่ใช้ต่ออีโมจิ (ZWJ) จะลบเฉพาะตัวที่อยู่ติดตัวอักษรไทย อีโมจิแบบครอบครัวหรือธงจึงไม่พัง
- กฎส่วนใหญ่ดัดแปลงจาก PyThaiNLP (สัญญาอนุญาต Apache-2.0) ตารางรหัส PUA มาจากเอกสาร OpenType shaping และ linux.thai.net
คำถามที่พบบ่อย
ข้อความของฉันถูกส่งไปที่ไหนไหม
ไม่ การแก้ทั้งหมดเกิดในเบราว์เซอร์ของคุณ ตัวนับ token ก็รันในเครื่องเช่นกัน
ทำไมคัดลอกจาก PDF แล้วสระเพี้ยน
ฟอนต์ใน PDF ไม่ได้เก็บ “ตัวอักษร” แต่เก็บ “รูปตัวอักษร” ฟอนต์ไทยรุ่นเก่ามีรูปวรรณยุกต์หลายตำแหน่ง แต่ละตำแหน่งมีรหัสของตัวเอง เวลาคัดลอกจึงได้รหัสของรูป ไม่ใช่รหัสของวรรณยุกต์จริง
แก้แล้วความหมายเปลี่ยนไหม
ค่าตั้งต้นไม่เปลี่ยนสิ่งที่มองเห็น เปลี่ยนแค่รหัสข้างในให้เป็นแบบมาตรฐาน ตัวเลือกเพิ่มเติม เช่น ต่อบรรทัด หรือแปลงเลขไทย จะเปลี่ยนรูปแบบข้อความ จึงปิดไว้ก่อน
ใช้กับข้อความที่มีโค้ดได้ไหม
ได้ ค่าตั้งต้นไม่ยุ่งกับช่องว่างและการขึ้นบรรทัด อย่าเปิด “ช่องว่างซ้ำ” ถ้าข้อความมีโค้ด เพราะจะทำให้การย่อหน้าของโค้ดเสีย