Đa phương thức / NAVIN RESEARCH
Defend Multimodal Agents Against Visual Prompt Injection
Treat text inside images and documents as untrusted data, not system instructions.
Treat text inside images and documents as untrusted data, not system instructions.
Tóm tắt: An image can contain instructions intended for the model rather than the user. Keep system policy separate, label visual content as untrusted, restrict tools, require authorization for side effects, and validate actions in code. No prompt can replace these controls.
Các bước triển khai
- Threat-model screenshots, PDFs, web pages, QR codes, and retrieved images.
- Tell the model to extract relevant content without following embedded commands.
- Use least-privilege tools and confirmation for consequential actions.
- Detect unexpected tool requests and retain redacted security traces.
Danh sách kiểm tra
- Add benign and adversarial visual instructions to the test set.
- Verify the same policy holds across OCR and native vision paths.
- Test mixed trusted and untrusted images.
Sai lầm thường gặp
- Relying on a warning sentence alone.
- Giving a browsing agent broad credentials.
- Displaying external content without origin labels.
Quyết định thực tế
Hãy triển khai thiết kế nhỏ nhất vượt qua các bước kiểm tra ở trên. Ghi lại phiên bản mô hình, prompt, công cụ, dữ liệu và runtime đã dùng để kiểm thử để những thay đổi sau này có thể được so sánh thay vì phỏng đoán. Kiểm tra lại tài liệu được liên kết trước khi dựa vào giới hạn, tên mô hình, giá hoặc tính năng thử nghiệm của nhà cung cấp.
