MAGNVS công bố PROMETHEVS chạy mô hình DeepSeek 510 GB trên máy tính 12 GB VRAM

Theo công ty MAGNVS Ltd, công cụ PROMETHEVS chạy mô hình DeepSeek-V4.1-Flash-1017 dung lượng 510 GB trực tiếp trên máy tính cá nhân trang bị 12 GB bộ nhớ đồ họa (VRAM). Cấu hình thử nghiệm gồm vi xử lý Ryzen 9 3950X, 64 GB RAM, card đồ họa RTX 3060 cùng hai ổ cứng NVMe.
Công cụ hoạt động theo phương pháp nén rồi sửa lỗi (compress-then-correct), tính toán từng từ trên bản nén 2-bit của các khối chuyên gia. Khi mô hình phân vân giữa hai lựa chọn, từ đó được tính lại bằng trọng số gốc khôi phục từ mặt phẳng hiệu chỉnh lưu trữ sẵn.
Tốc độ xử lý đạt mức tối đa 7,4 token mỗi giây trên lệnh lập trình với bộ nhớ đệm ấm, so với mức 2,14 token mỗi giây của bản giải mã chuẩn. Tuy nhiên, nhà phát triển lưu ý đây là trường hợp tốt nhất, còn các lệnh suy luận và tác tử (chương trình trí tuệ nhân tạo tự hành) đều chạy dưới 5,3 token mỗi giây.
Hệ thống đạt tốc độ gần bản nén và câu trả lời tiệm cận mô hình gốc, song nhà phát triển lưu ý toàn bộ số liệu mới chỉ đến từ một máy tính, một mô hình và một họ câu lệnh.