AI Workload เกิดจากอะไร? เมื่อ Memory กลายเป็นตัวจำกัดความเร็ว

GPU รุ่นใหม่สามารถเพิ่มพลังประมวลผลได้มหาศาล แต่ความเร็วของการคำนวณเพียงอย่างเดียวไม่ได้หมายความว่า AI Workload จะเร็วขึ้นเสมอ หากหน่วยความจำไม่สามารถส่งข้อมูลให้ GPU ได้ทัน พลังประมวลผลส่วนหนึ่งจะถูกปล่อยให้ว่างและรอข้อมูล นี่คือปัญหาที่เรียกว่า Memory Wall ซึ่งกำลังกลายเป็นข้อจำกัดสำคัญของระบบ AI ขนาดใหญ่

Memory Wall คืออะไร และทำไม GPU ถึงต้อง “รอข้อมูล”?

Memory Wall คือภาวะที่ความสามารถในการประมวลผลของ Processor เติบโตเร็วกว่าความสามารถของ Memory ในการส่งข้อมูลให้ Processor ใช้งาน

ใน AI โดยเฉพาะงาน Deep Learning GPU ต้องประมวลผลข้อมูลจำนวนมหาศาลอย่างต่อเนื่อง หากข้อมูลจาก Memory เดินทางมาไม่ทัน GPU จะเกิดช่วงเวลาที่ต้องรอ แม้ตัว GPU จะมี Compute Capacity เหลืออยู่ก็ตาม

ดังนั้น Performance ของ AI จึงไม่ได้ขึ้นอยู่กับ “GPU คำนวณเร็วแค่ไหน” เท่านั้น แต่รวมถึง “Memory ส่งข้อมูลให้ GPU ได้เร็วแค่ไหน” ด้วย

ทำไมการซื้อ GPU ที่แรงขึ้นอย่างเดียวอาจไม่ช่วย?

เมื่อ AI Model ใหญ่ขึ้น ทั้ง Parameters, Weights และข้อมูลที่ต้องประมวลผลก็เพิ่มขึ้นตามไปด้วย ทำให้ความต้องการด้าน Memory Bandwidth และ Memory Capacity สูงขึ้นอย่างมาก

หากระบบติดข้อจำกัดด้าน Memory การเพิ่ม GPU ที่มี Compute Performance สูงขึ้นอาจให้ผลตอบแทนไม่เต็มที่ เพราะคอขวดไม่ได้อยู่ที่การคำนวณ แต่อยู่ที่การเคลื่อนย้ายข้อมูล

นี่จึงเป็นเหตุผลที่การออกแบบ AI Infrastructure ต้องมองทั้ง Compute + Memory + Data Movement ไม่ใช่เลือก GPU จากตัวเลขประสิทธิภาพเพียงอย่างเดียว

ตัวอย่างการประยุกต์ใช้: ออกแบบ AI Infrastructure ให้สมดุล

ในการสร้างระบบ AI สำหรับองค์กร การประเมิน Infrastructure จึงควรถามมากกว่า “GPU รุ่นนี้แรงหรือไม่?” แต่ต้องดูว่า Workload ต้องการ Memory Capacity และ Bandwidth เท่าไร ข้อมูลถูกส่งระหว่าง CPU, GPU และ Memory อย่างไร และมีจุดใดที่ทำให้ GPU ต้องรอ

การเลือก Hardware ที่เหมาะสมจึงเป็นเรื่องของ การจับคู่ Compute กับ Memory ให้สมดุลกับ Workload เพื่อให้เงินลงทุนที่เพิ่มเข้าไปถูกนำมาใช้จริง ไม่ใช่เพิ่มพลังประมวลผลในส่วนที่ระบบไม่สามารถป้อนข้อมูลได้ทัน

คำถามที่พบบ่อย

Memory Wall หมายถึง GPU ช้าใช่หรือไม่?
ไม่ใช่ GPU อาจประมวลผลได้เร็วมาก แต่ต้องรอข้อมูลจาก Memory จึงใช้ความสามารถได้ไม่เต็มที่

เพิ่ม GPU แล้วแก้ปัญหาได้หรือไม่?
ไม่เสมอไป หากคอขวดอยู่ที่ Memory Bandwidth หรือ Data Movement การเพิ่ม Compute อาจไม่ช่วยมากนัก

ทำไมเรื่องนี้สำคัญกับ AI?
เพราะ AI Workload สมัยใหม่ต้องเคลื่อนย้ายข้อมูลจำนวนมาก การออกแบบ Memory จึงมีผลโดยตรงต่อ Performance และประสิทธิภาพของ Infrastructure

สรุป

พลังประมวลผลอย่างเดียวไม่พอ สำหรับ AI Infrastructure ยุคใหม่ เพราะ GPU ที่เร็วที่สุดก็ไม่มีประโยชน์เต็มที่ หากต้องนั่งรอข้อมูลจาก Memory ปัญหา Memory Wall จึงทำให้การออกแบบระบบ AI ต้องมองทั้ง Compute และ Memory ไปพร้อมกัน และเลือก Infrastructure ให้เหมาะกับลักษณะของ Workload ไม่ใช่เลือกจาก “GPU ที่แรงที่สุด” เพียงอย่างเดียว