Amazon đưa mô hình Nemotron 3.5 Super VL lên SageMaker với hai biến thể NVFP4 và BF16

Amazon thông báo mô hình NVIDIA Nemotron 3.5 Super VL đã có mặt trên SageMaker JumpStart, triển khai qua SageMaker Studio hoặc Python SDK. Mô hình nhận đầu vào gồm hình ảnh, video cùng văn bản và hỗ trợ ngữ cảnh 1 triệu token.
Theo Amazon, NVIDIA xây dựng Super VL cho xử lý tài liệu thông minh, hiểu giao diện cho tác tử máy tính (phần mềm tự thao tác máy tính), hỏi đáp video và tác tử đa phương thức.
Trong thử nghiệm của Amazon, bản BF16 trên máy chủ ml.p5en.48xlarge đạt 140,85 token xuất mỗi giây, còn bản NVFP4 chạy trên phiên bản G7 với GPU nhỏ hơn. Mô hình sở hữu 120 tỷ tham số với 12 tỷ tham số kích hoạt mỗi token, kết hợp khung ngôn ngữ lai và bộ mã hóa C-RADIO.
Amazon nêu rõ các phép đo này không thể so sánh biệt lập BF16 và NVFP4 do hai biến thể chạy trên các hệ thống GPU khác nhau. Dù tích hợp đầu MTP, cấu hình phục vụ của JumpStart không kích hoạt tính năng giải mã suy đoán (kỹ thuật tăng tốc xuất văn bản).