Hệ thống Memorilla giúp mô hình ngôn ngữ nén bộ nhớ ngữ nghĩa hiệu quả qua 16 token

Nhóm nghiên cứu giới thiệu Memorilla, hệ thống bộ nhớ ngữ nghĩa gom thông tin tài liệu thành lượng token (đơn vị từ tố) cố định cho mô hình ngôn ngữ lớn giữ nguyên trọng số. Hệ thống mã hóa tài liệu thành các vector nhúng tái sử dụng, rồi học cách đưa thông tin truy vấn vào không gian nhúng của mô hình.
Nghiên cứu xuất phát từ rào cản của các hệ thống hiện tại khi rất khó vừa thu thập, kết hợp thông tin cần thiết, vừa duy trì độ dài ngữ cảnh ngắn. Đối với mô hình cố định trọng số, việc tiếp cận tri thức tích lũy hoàn toàn phụ thuộc vào lượng dữ liệu được đưa vào cửa sổ ngữ cảnh.
Chỉ với 16 token nhớ, Memorilla vượt qua các mô hình Mem0 và MemoRAG trên 5 trong số 8 benchmark (bộ kiểm chuẩn đánh giá). Trên tập FactKG, hệ thống đạt độ chính xác 84,33% so với 80,43% của phương pháp nạp toàn bộ ngữ cảnh, dù dùng ít hơn 108 lần số token.
Nhóm tác giả đánh giá Memorilla giúp mô hình tích lũy tri thức hiệu quả trong tương tác dài, mở ra bước tiến cho hệ thống AI học tập liên tục. Tuy nhiên, mức tăng tỷ lệ thành công của tác nhân từ 18,6% lên 24,2% mới chỉ được xác nhận trong môi trường mô phỏng thử nghiệm TextWorld.