DeepX hoàn tất thiết kế chip DX-M2 dưới 5 W, mô phỏng tăng tốc 6,7 lần với bộ nhớ PIM

Theo EE Times, công ty DeepX của Hàn Quốc vừa hoàn tất thiết kế vi mạch DX-M2 và đang phát triển tích hợp bộ nhớ LPDDR5x-PIM của Samsung. Vi mạch này được thiết kế để chạy các mô hình AI tới 100 tỷ tham số trên robot và drone ở mức công suất dưới 5 W.
Giám đốc điều hành Lokwon Kim cho biết mức công suất 5 W cho phép đưa AI lên thiết bị chạy pin như drone. Theo EE Times, vi mạch này nhằm đưa AI cục bộ vào thiết bị có giới hạn khắt khe về năng lượng và nhiệt lượng.
Theo mô phỏng của DeepX, việc chuyển tác vụ sang bộ nhớ LPDDR5x-PIM giúp tăng tốc độ xử lý 6,7 lần trên mô hình Llama3.1-8B so với khi chỉ chạy riêng DX-M2. Băng thông bộ nhớ của chip tăng gấp ba lần lên 150 GB/s, đồng thời DeepX cho biết NPU đạt 80 TOPS trên tiến trình 2 nanômét.
Theo ông Kim, việc đưa mô hình tới 100 tỷ tham số lên thiết bị có thể giảm hơn 80% lưu lượng tới trung tâm dữ liệu AI. Tuy nhiên, hiệu năng mô phỏng tăng 6,7 lần đòi hỏi điện năng tiêu thụ gấp 2,7 lần, và trình biên dịch vẫn chưa hoàn thiện cho phần cứng thực tế.