Dự án llama-modchip hỗ trợ chạy mô hình DeepSeek 284B trên CPU không cần GPU với RAM 64GB

Dự án llama-modchip công bố giải pháp vận hành mô hình DeepSeek 284B trên CPU với RAM dưới 59 GiB mà không cần GPU. Tài liệu dự án nêu rõ hệ thống xử lý mô hình DeepSeek-V4-Flash với ngữ cảnh 256K trên vi xử lý và chiếm dung lượng đỉnh 57,61 GiB VmRSS.
Hệ thống kết hợp thuật toán nén SwiGLU-H2 cùng kỹ thuật lượng tử hóa Fractal-64 và cơ chế cắt tỉa chuyên gia MoE. Dữ liệu được phân chia tính toán qua các tầng thanh ghi và hệ thống bộ nhớ đệm L1, L2 cùng L3 của vi xử lý.
Dự án thu nhỏ mô hình từ cỡ ban đầu 76,87 GiB xuống 56,56 GiB trên đĩa và ghi nhận tốc độ nạp ngữ cảnh đạt 44,36 token mỗi giây trên CPU. Tốc độ giải mã trên CPU thuần đạt 9,06 đến 10,74 token mỗi giây và tăng lên 11,5 đến 14,7 token mỗi giây khi có kỹ thuật PVS.
Theo dự án llama-modchip, giải pháp mang lại khả năng suy luận trực tiếp trên RAM máy tính hiện có mà không cần hoán đổi dữ liệu qua bộ nhớ NVMe. Tuy nhiên, tài liệu lưu ý việc mở các tệp này trên phần mềm llama.cpp, Ollama hoặc LM Studio chưa vá lỗi sẽ thất bại do không nhận diện được định dạng ten-xơ mới.