Khung AI Reframe vượt trội Mix-RL và MOPD trên 14 bài kiểm chuẩn hình ảnh và video

Nhóm tác giả Haozhi Yuan giới thiệu khung hậu huấn luyện Reframe, coi trạng thái quan sát là đối tượng căn chỉnh cho tác tử thị giác (hệ thống AI tự hành). Phương pháp mới này không đòi hỏi bước khởi động SFT (tinh chỉnh có giám sát) riêng cho từng tác vụ.
Theo nhóm tác giả, nghiên cứu khắc phục hai thách thức khi tác tử dùng công cụ, do mô hình có thể bỏ qua quan sát hữu ích và hành động kém căn cứ có thể giới hạn bằng chứng chưng cất.
Thực nghiệm chứng minh Reframe vượt trội cả Mix-RL lẫn vanilla MOPD trên 14 bài kiểm chuẩn (bài kiểm tra chuẩn) về hình ảnh và video. Theo phân tích thành phần, GD-GRPO làm tăng độ phụ thuộc quan sát cùng hiệu quả công cụ so với phương pháp GRPO dựa trên kết quả đầu ra.
Nhóm tác giả nhận định hai giai đoạn bổ trợ lẫn nhau, khi việc học dựa vào quan sát có thể giúp chính sách mô hình hưởng lợi từ việc sửa chữa quan sát. Kết luận này được ghi nhận trong phạm vi 14 bài kiểm chuẩn thử nghiệm mà không đòi hỏi khởi động SFT riêng cho từng tác vụ.