Loading blogs...
Posts tagged GPU.
Workstation บนเทอร์โบชาร์จ LLMs: การเพจ PagedAttention สำหรับแคช KV, การให้บริการ vLLM, Self-Debugging สำหรับตัวแทน, อัตราโทเค็น PowerInfer และการตัดหน่วยความจำ EG-MLA — พร้อมข้อเสียด้านการผลิต
Balinder WaliaRead 
โมเดลภาษาขนาดใหญ่คืออะไร และทำงานอย่างไร คำอธิบายที่ชัดเจนและไม่ใช่ด้านเทคนิคสำหรับผู้จัดการและวิศวกร เช่น โทเค็น การฝัง หม้อแปลง การฝึกอบรม และการอนุมาน รวมถึง Kubernetes YAML ที่ใช้งานจริงเพื่อปรับใช้ LLM ของคุณเองกับ Ollama และ vLLM
Balinder WaliaRead