Blog NVIDIA công bố năm giải pháp bộ nhớ đưa thông lượng trên megawatt của Vera Rubin gấp tới 30 lần GB300

Theo các tác giả blog NVIDIA, năm giải pháp đồng thiết kế loại bỏ lãng phí bộ nhớ được giới thiệu cho hệ thống AI. Kiến trúc gồm chuẩn số NVFP4, xử lý Wide-EP, phần mềm Dynamo, chip Vera và tầng lưu trữ CMX.
Hệ thống vận hành đồng bộ, cho phép khối đệm KV (dữ liệu lưu trạng thái suy luận) 4-bit giảm chiếm dụng bộ nhớ băng thông cao HBM. Công cụ KV Cache Runner theo dõi từng khối dữ liệu và chuyển qua thư viện NIXL khi GPU bận xử lý.
Trong các thử nghiệm xác thực từ các nhà cung cấp lưu trữ, VAST Data và WEKA đạt tốc độ đọc 35 GB/s trên một chip H100 và tới 270 GB/s trên tám chip.
Các tác giả blog NVIDIA nhận định cần đo lường hiệu quả bộ nhớ bằng lượng token hữu ích trên mỗi byte thay vì chỉ xét dung lượng. Hệ thống Vera Rubin NVL72 đạt thông lượng trên megawatt gấp tới 30 lần GB300 NVL72, từ cùng mức dung lượng 288 GB trên mỗi GPU.