Đánh giá an toàn / NAVIN RESEARCH
Prompt Injection Defense for Tool-Using AI Agents
Combine trust separation, least privilege, validation, approvals, and monitoring because prompts alone cannot secure agents.
Combine trust separation, least privilege, validation, approvals, and monitoring because prompts alone cannot secure agents.
Tóm tắt: Treat retrieved pages, emails, files, images, and tool results as untrusted data. Keep policy separate, restrict available tools, validate every call in code, require approval for consequential actions, and minimize credentials and data exposure.
Các bước triển khai
- Map every place untrusted content can enter context.
- Label source and trust level in structured context.
- Enforce authorization outside the model.
- Add adversarial cases to continuous evaluations.
Danh sách kiểm tra
- Attempt data exfiltration and privilege escalation.
- Test indirect instructions inside each supported modality.
- Confirm blocked actions leave an auditable event.
Sai lầm thường gặp
- Using 'ignore malicious instructions' as the only defense.
- Giving browsing and write tools the same broad token.
- Returning secrets in tool errors.
Quyết định thực tế
Hãy triển khai thiết kế nhỏ nhất vượt qua các bước kiểm tra ở trên. Ghi lại phiên bản mô hình, prompt, công cụ, dữ liệu và runtime đã dùng để kiểm thử để những thay đổi sau này có thể được so sánh thay vì phỏng đoán. Kiểm tra lại tài liệu được liên kết trước khi dựa vào giới hạn, tên mô hình, giá hoặc tính năng thử nghiệm của nhà cung cấp.
