Bộ tự mã hóa thưa hé lộ sự chuyên hóa chi tiết của chuyên gia MoE trên mô hình Qwen3-30B-A3B

Bốn tác giả Anyuan Zhuo, Shaohua Zhang, Yuan Lin và Pinyan Lu nghiên cứu tính chuyên hóa của chuyên gia MoE bằng bộ tự mã hóa thưa (SAE) trên đầu ra tầng MoE. Họ chỉ ra mô hình kết hợp chuyên gia (MoE) định tuyến dữ liệu tới vài chuyên gia nhưng trách nhiệm của từng chuyên gia vẫn chưa rõ ràng.
Nhóm tác giả giải thích các phân tích cũ chỉ đếm tần suất chọn trên ngữ liệu gán nhãn thô thay vì đóng góp thực tế. Bộ mã hóa SAE afin cho phép phân rã giá trị tiền kích hoạt của biến tiềm ẩn (latents) để xác định tập biến do từng chuyên gia chi phối.
Trên các tầng 4, 30 và 46 của Qwen3-30B-A3B, mức đóng góp tập trung hơn nhiều so với cơ chế định tuyến cổng (gating). Phần lớn biến tiềm ẩn chỉ do một hoặc hai chuyên gia chi phối, và độ chồng lấn chỉ tập trung ở vài cặp chuyên gia.
Nhóm tác giả kết luận việc tự động diễn giải hé lộ sự phân công nhiệm vụ chi tiết dưới các miền thô, gồm các chuyên gia riêng cho Java và mã web giao diện (front-end web code), hoặc cho hình học và cho số học cùng đa thức (arithmetic and polynomials). Dù vậy, các lĩnh vực thô tiếp nhận số chuyên gia rất không đồng đều; nhóm nghiên cứu đã cung cấp mã nguồn và SAE.