Đánh giá an toàn / NAVIN RESEARCH
Build Tool-Call Evaluations for AI Agents
Test tool selection, arguments, sequencing, authorization, recovery, and unnecessary calls with executable fixtures.
Test tool selection, arguments, sequencing, authorization, recovery, and unnecessary calls with executable fixtures.
Tóm tắt: A tool-call eval should assert the intended operation and state transition, not demand one exact natural-language trace. Use fake or sandbox tools, seed controlled state, and check required calls, forbidden calls, argument properties, and final state.
Các bước triển khai
- Create fixtures for common and boundary tasks.
- Record allowed, required, and forbidden tool effects.
- Inject typed errors and stale-state responses.
- Score both completion and efficiency.
Danh sách kiểm tra
- Test write idempotency and duplicate calls.
- Verify denied operations stay denied after retries.
- Review near-miss arguments that pass schema but violate business rules.
Sai lầm thường gặp
- Exact-match grading of call order when order is irrelevant.
- Testing against production systems.
- Ignoring unnecessary expensive calls.
Quyết định thực tế
Hãy triển khai thiết kế nhỏ nhất vượt qua các bước kiểm tra ở trên. Ghi lại phiên bản mô hình, prompt, công cụ, dữ liệu và runtime đã dùng để kiểm thử để những thay đổi sau này có thể được so sánh thay vì phỏng đoán. Kiểm tra lại tài liệu được liên kết trước khi dựa vào giới hạn, tên mô hình, giá hoặc tính năng thử nghiệm của nhà cung cấp.
