Amazon SageMaker Inference hỗ trợ phân chia GPU giúp tối ưu chi phí theo từng tải công việc

Amazon SageMaker Inference hỗ trợ phân chia GPU (bộ xử lý đồ họa) thành các phần độc lập qua công nghệ NVIDIA Multi-Instance GPU (MIG). Tính năng này áp dụng trên các điểm cuối dùng thành phần suy luận (inference components), không hỗ trợ điểm cuối đơn mô hình hay phi máy chủ.
Theo Amazon, mỗi phân vùng nhận một phần cố định đơn vị tính toán và khối bộ nhớ chuyên dụng với cơ chế cô lập phần cứng. Cơ chế này chỉ giới hạn cô lập trên phần cứng GPU, còn các mô hình vẫn chia sẻ CPU máy chủ, bộ nhớ hệ thống và mạng.
Thử nghiệm của Amazon ghi nhận chi phí rẻ hơn từ 18 đến 34 phần trăm trên mỗi triệu token đầu ra khi xử lý chuỗi lệnh dài và lượng đồng thời cao. Ngược lại, nguyên một bộ tăng tốc A100 vẫn giữ mức chi phí rẻ hơn đối với các chuỗi lệnh ngắn hoặc mức đồng thời thấp dưới ngưỡng chuyển đổi.
Amazon kết luận phân chia GPU không phải giải pháp cho mọi trường hợp, mang lại nhiều kích cỡ phù hợp từng khối lượng công việc. Hãng khuyến nghị khách hàng coi đây là phép so sánh theo từng trường hợp cụ thể chứ không phải một phán quyết chung.