การผสานรวม Nunchaku กับ Diffusers: การอนุมานแบบ 4 บิตที่รวดเร็ว

สรุปสั้น: Hugging Face ผสาน Nunchaku เข้ากับ Diffusers เพื่อรองรับการอนุมานโมเดล Flux.1 แบบ 4 บิตด้วยเทคโนโลยี SVDQuant ซึ่งช่วยลดการใช้ VRAM ลงอย่างมาก ทำให้สามารถรันบน GPU ระดับผู้บริโภคอย่าง RTX 4090 ได้สะดวกขึ้น โดยไม่ต้องตั้งค่าที่ซับซ้อน

ข้อเท็จจริงสำคัญ

• Hugging Face ผสานรวม Nunchaku เข้าในไลบรารี Diffusers เพื่อรองรับการอนุมานแบบแพร่กระจายความละเอียด 4 บิต ช่วยให้ผู้พัฒนาโหลดโมเดลควอนไทซ์ผ่าน from_pretrained() ได้โดยตรงโดยไม่ต้องพึ่งพาไลบรารีแยกหรือคอมไพล์ CUDA
• Nunchaku ใช้เทคนิค SVDQuant ที่พัฒนาโดย MIT และ NVIDIA ซึ่งจัดการค่าผิดปกติ (outliers) โดยดูดซับเข้าสู่ low-rank components ทำให้สามารถควอนไทซ์ทั้งน้ำหนักและค่ากระตุ้นเป็น 4 บิต (W4A4/W4A8) เพื่อลดการใช้หน่วยความจำและเร่งความเร็ว
• โมเดล Flux.1-dev ที่ปกติต้องการ VRAM เกิน 30GB ในความแม่นยำ BF16 สามารถรันบน GPU ระดับผู้บริโภคเช่น RTX 4090 ได้ด้วย Nunchaku ช่วยทะลุผ่านข้อจำกัดแบนด์วิดธ์หน่วยความจำของโมเดลดิฟฟิวชันขนาดใหญ่
• Nunchaku เวอร์ชัน 1.2.0 เพิ่มประสิทธิภาพสำหรับโมเดล Z-Image ถึง 20–30% และรองรับ INT4 บน GPU ซีรีส์ 20 มีไฟล์ wheel สำเร็จรูปสำหรับ Linux และ Windows พร้อมใช้งานบนแพลตฟอร์มเช่น Google Colab, Kaggle และ ComfyUI
• ระบบรองรับสถาปัตยกรรม GPU หลากหลายรูปแบบ โดยใช้ INT4 สำหรับ GPU ก่อนซีรีส์ Blackwell (ก่อนซีรีส์ 50) และ NVFP4 สำหรับ GPU Blackwell (ซีรีส์ 50) ผู้ใช้สามารถเลือกรูปแบบ rank เช่น r32 เพื่อความเร็วหรือ r128 เพื่อคุณภาพ
• มี Checkpoint พร้อมใช้งานบน Hugging Face สำหรับ SDXL, FLUX.1-dev, Qwen-Image และ Qwen-Image-Edit-2509 โดยโมเดล Qwen-Image มีรูปแบบ lightning ที่ผ่านการกลั่นเหลือเพียง 4 หรือ 8 ขั้นตอน โดยใช้ LoRA fusion สำหรับการสร้างภาพที่รวดเร็ว
• บทความวิชาการเรื่อง SVDQuant ชื่อ ‘Absorbing Outliers by Low-Rank Components for 4-Bit Diffusion Models’ มีกำหนดตีพิมพ์ใน ICLR 2025 และชุดเครื่องมือ diffuse-compressor ช่วยให้ผู้พัฒนาสามารถ quantize สถาปัตยกรรมใหม่และเผยแพร่เป็น repository

Hugging Face นำ Nunchaku มาสู่ Diffusers

Hugging Face ได้ผสานรวม Nunchaku ซึ่งเป็นเครื่องมือประมวลผลแบบอนุมาน (inference engine) ที่ออกแบบมาเพื่อประสิทธิภาพสูงสำหรับโมเดลดิฟฟิวชันขนาด 4 บิต เข้าโดยตรงในไลบรารี Diffusers ที่มีชื่อเสียง [1] การพัฒนาครั้งนี้ช่วยให้ผู้พัฒนาสามารถโหลดและรันไฟล์ตรวจสอบแบบควอนไทซ์ (quantized checkpoints) โดยใช้วิธีการมาตรฐานอย่าง from_pretrained() ซึ่งขจัดข้อกำหนดเดิมที่ต้องพึ่งพาไลบรารีแยกต่างหากหรือการคอมไพล์ CUDA ในเครื่อง [1] การผสานรวมนี้ใช้แพ็กเกจเคอร์เนลของ Hugging Face เพื่อจัดการกับงานเฉพาะทาง ทำให้เทคนิคการควอนไทซ์ขั้นสูงสามารถเข้าถึงได้ง่ายโดยไม่ต้องตั้งค่าที่ซับซ้อน [1]

Nunchaku สร้างขึ้นบนพื้นฐานของ SVDQuant (Singular Value Decomposition Quantization) ซึ่งเป็นวิธีการที่พัฒนาโดยนักวิจัยจาก MIT และ NVIDIA [2] ต่างจากการควอนไทซ์แบบเฉพาะน้ำหนัก (weight-only quantization) แบบดั้งเดิมที่จัดเก็บน้ำหนักในความละเอียดต่ำแต่จะดีควอนไทซ์เมื่อถึงเวลาประมวลผล ซึ่งมักก่อให้เกิดความล่าช้าเพิ่มเติม SVDQuant จะทำงานกับเลเยอร์ทรานส์ฟอร์มเมอร์โดยใช้ทั้งน้ำหนักและค่ากระตุ้น (activations) ขนาด 4 บิต (W4A4 หรือ W4A8) [1, 2] แนวทางนี้ช่วยลดการใช้หน่วยความจำอย่างมีนัยสำคัญเร่งวงจรการขจัดสัญญาณรบกวน (denoising loop) โดยทะลุผ่านข้อจำกัดของแบนด์วิดธ์หน่วยความจำที่มักพบในโมเดลดิฟฟิวชันขนาดใหญ่เช่น Flux.1 และ Stable Video Diffusion [2]

ตัวอย่างเช่น โมเดลอย่าง Flux.1-dev มักต้องการ VRAM มากกว่า 30GB ในความแม่นยำ BF16; Nunchaku ช่วยให้การอนุมานมีประสิทธิภาพบนฮาร์ดแวร์ระดับผู้บริโภค เช่น RTX 4090 หรือการ์ดข้อมูลระดับกลาง [2] โมเดลดิฟฟิวชันขนาดใหญ่อย่าง Flux.1-dev ต้องการ VRAM มากกว่า 30GB ในความแม่นยำ BF16 ซึ่งสร้างอุปสรรคสำหรับฮาร์ดแวร์ระดับผู้บริโภค [2] Nunchaku พัฒนาโดยนักวิจัยจาก MIT และ NVIDIA [2] บทความทางวิชาการเรื่อง SVDQuant ชื่อ ‘Absorbing Outliers by Low-Rank Components for 4-Bit Diffusion Models’ มีกำหนดตีพิมพ์ใน ICLR 2025 [3-8]

วิธีการทำงานของ SVDQuant

SVDQuant ปรับปรุงการควอนไทซ์มาตรฐานด้วยการจัดการกับค่าผิดปกติ (outliers) ได้ดีกว่าวิธีเดิม วิธีการแบบดั้งเดิมมักประสบปัญหาเมื่อมีค่ากระตุ้นขนาดใหญ่ที่อาจบิดเบือนผลลัพธ์ของโมเดลเมื่อถูกบีบอัดให้มีความกว้างบิตต่ำ โดยใช้การแยกค่าเอกฐาน (Singular Value Decomposition) Nunchaku จึงดูดซับค่าผิดปกติเหล่านี้เข้าสู่องค์ประกอบอันดับต่ำ (low-rank components) ทำให้สามารถควอนไทซ์น้ำหนักและค่ากระตุ้นที่เหลืออย่างปลอดภัยที่ 4 บิต [1] ผลลัพธ์ที่ได้คือการใช้หน่วยความจำที่ลดลงและความเร็วในการอนุมานที่สูงขึ้นเมื่อเทียบกับวิธีการควอนไทซ์ 4 บิตในอดีต

วิธีการ SVDQuant ใช้ถ่วงน้ำหนัก (weights) และค่ากระตุ้น (activations) แบบ 4-bit (W4A4/W4A8) ซึ่งแตกต่างจากวิธีการ quantization เฉพาะถ่วงน้ำหนักที่เพิ่มภาระด้านเวลาแฝง (latency overhead) [1,2] Nunchaku เวอร์ชัน 1.2.0 ช่วยเพิ่มประสิทธิภาพสำหรับโมเดล Z-Image ได้ 20–30% และรองรับ INT4 บน GPU ซีรีส์ 20 [3] มีไฟล์ wheel ที่สร้างไว้ล่วงหน้าให้ใช้งานบนแพลตฟอร์ม Linux และ Windows สำหรับ Nunchaku [4]

การรองรับสถาปัตยกรรม GPU

ระบบนิเวศนี้รองรับสถาปัตยกรรม GPU หลากหลายรูปแบบผ่านรูปแบบ quantization เฉพาะเจาะจง ได้แก่ INT4 สำหรับ GPU ที่ไม่ใช่ Blackwell (ก่อนซีรีส์ 50) และ NVFP4 สำหรับ GPU Blackwell (ซีรีส์ 50) [6, 7] ผู้ใช้สามารถเลือกรูปแบบการจัดอันดับ (rank configurations) ได้ เช่น r32 เพื่อการอนุมานที่เร็วขึ้น หรือ r128 เพื่อคุณภาพที่สูงขึ้นโดยแลกกับความเร็ว [7] มีไฟล์ wheel ที่สร้างไว้ล่วงหน้าสำหรับ Linux และ Windows โดยโมเดลสามารถใช้งานได้บนหลายแพลตฟอร์มรวมถึง Diffusers, ComfyUI, Google Colab, Kaggle และแอปพลิเคชันท้องถิ่นอย่าง Draw Things และ DiffusionBee [4]

โมเดล Nunchaku รองรับ quantization แบบ INT4 สำหรับ GPU ที่ไม่ใช่ Blackwell (ก่อนซีรีส์ 50) และ NVFP4 สำหรับ GPU Blackwell (ซีรีส์ 50) [6,7,8] ความยืดหยุ่นนี้ช่วยให้ผู้พัฒนาสามารถนำการปรับแต่งฮาร์ดแวร์ล่าสุดมาใช้ได้อย่างเต็มที่ ขณะที่ยังคงความเข้ากันได้กับระบบเก่า

Checkpoint ที่พร้อมใช้งาน

ได้เผยแพร่ checkpoint ที่พร้อมใช้งานหลายรายการบน Hugging Face ซึ่งรวมถึงเวอร์ชัน quantized ของ Stable Diffusion XL (SDXL), FLUX.1-dev, Qwen-Image และ Qwen-Image-Edit-2509 [5, 6, 7, 8] โมเดล Qwen-Image ยังเสนอรูปแบบ lightning ที่ผ่านการกลั่น (distilled) เหลือเพียง 4 หรือ 8 ขั้นตอน โดยใช้การหลอมรวม LoRA เพื่อการสร้างภาพที่รวดเร็ว [3, 7, 8] นอกจากนี้ ยังมีชุดเครื่องมือประกอบชื่อ diffuse-compressor ที่ช่วยให้ผู้ใช้สามารถ quantize สถาปัตยกรรมใหม่และเผยแพร่เป็น repository แบบมาตรฐานของ Diffusers ได้ [1]

Checkpoint Nunchaku ที่พร้อมใช้งานมีให้บริการบน Hugging Face สำหรับ SDXL, FLUX.1-dev, Qwen-Image และ Qwen-Image-Edit-2509 [5,6,7,8] โมเดล Qwen-Image มีรูปแบบ lightning ที่ผ่านการกลั่นเหลือ 4 หรือ 8 ขั้นตอน โดยใช้การหลอมรวม LoRA เพื่อการอนุมานที่รวดเร็วขึ้น [3,7,8] ชุดเครื่องมือ diffuse-compressor ช่วยให้ผู้ใช้สามารถ quantize สถาปัตยกรรมใหม่และเผยแพร่เป็น repository Diffusers ทั่วไป [1]

ผลกระทบในทางปฏิบัติสำหรับผู้พัฒนา

การผสานรวมนี้ถือเป็นก้าวสำคัญสู่การสร้างประชาธิปไตยในการอนุมานโมเดลดิฟฟิวชันระดับสูง โดยการฝัง Nunchaku ลงในไลบรารี Diffusers โดยตรง Hugging Face ได้ขจัดอุปสรรคทางเทคนิคจำนวนมากที่ในอดีตทำให้ผู้พัฒนาไม่สามารถรันโมเดลขนาดใหญ่บนฮาร์ดแวร์สำหรับผู้บริโภคได้ [1] ผู้พัฒนาชาวไทยที่กำลังสร้างแอปพลิเคชันสร้างภาพสามารถนำการปรับแต่งเหล่านี้ไปใช้เพื่อสร้างแอปพลิเคชันที่มีประสิทธิภาพมากขึ้นและเข้าถึงได้ง่ายขึ้น โดยไม่จำเป็นต้องมีความเชี่ยวชาญลึกซึ้งในการเขียนโปรแกรม GPU ระดับล่างหรือเครื่องยนต์อนุมานแบบกำหนดเอง

ความพร้อมของไฟล์ wheel ที่สร้างล่วงหน้าสำหรับ Linux และ Windows ช่วยให้การติดตั้งเป็นเรื่องง่ายขึ้นยิ่งขึ้น ทำให้ผู้ใช้สามารถตั้งค่าสภาพแวดล้อมและเริ่มสร้างภาพได้อย่างรวดเร็วโดยมีความยุ่งยากน้อยที่สุด [4] เมื่อระบบนิเวศยังคงเติบโตอย่างต่อเนื่อง พร้อมกับการเพิ่มโมเดลและการปรับปรุงประสิทธิภาพใหม่ๆ เป็นประจำ ศักยภาพสำหรับการประยุกต์ใช้งานนวัตกรรมในสาขาสร้างสรรค์ การศึกษา และเวิร์กโฟลว์ระดับองค์กรจึงขยายตัวอย่างมีนัยสำคัญ

Nunchaku v1.2.0 ได้นำเสนอการปรับปรุงเพิ่มเติม รวมถึงการเพิ่มประสิทธิภาพความเร็วขึ้น 20–30% สำหรับโมเดล Z-Image และการรองรับ LoRA แบบเนทีฟใน ComfyUI [3] วงจรการพัฒนาอย่างต่อเนื่องนี้ช่วยให้ผู้ใช้ได้รับประโยชน์จากความก้าวหน้าล่าสุดในด้านเทคโนโลยีควอนไทเซชัน (quantization) ทำให้แอปพลิเคชันของพวกเขาอยู่ในระดับแนวหน้าของความสามารถในการสร้างเนื้อหาด้วย AI

การนำ Nunchaku ไปรวมเข้ากับ Diffusers ถือเป็นก้าวสำคัญอย่างยิ่งในการทำให้โมเดลดิฟฟิวชันที่มีประสิทธิภาพสูงเข้าถึงได้โดยกลุ่มผู้ใช้งานที่กว้างขึ้น ด้วยการผสานระหว่างการอนุมานแบบประสิทธิภาพสูงกับความง่ายในการใช้งาน Hugging Face กำลังช่วยปิดช่องว่างระหว่างงานวิจัยขั้นสูงและการประยุกต์ใช้จริง empowers developers worldwide to create more sophisticated and efficient AI-driven experiences.