Suy luận / NAVIN RESEARCH
Reasoning With Tools: Separate Planning From Execution
Let models choose actions while deterministic code validates, executes, and records each operation.
Let models choose actions while deterministic code validates, executes, and records each operation.
Tóm tắt: The model may propose a plan and tool calls, but the application owns permissions, validation, execution, retry policy, and stopping. This separation keeps failures inspectable and prevents natural language from bypassing control logic.
Các bước triển khai
- Expose a narrow set of task-relevant tools.
- Validate each call against schema, user scope, and current state.
- Return concise results with stable identifiers and explicit error types.
- Stop on success, budget exhaustion, policy denial, or repeated non-progress.
Danh sách kiểm tra
- Simulate stale state between planning and execution.
- Test partial tool failure and duplicate requests.
- Confirm the agent cannot manufacture a tool result in plain text.
Sai lầm thường gặp
- Executing a prose plan as code.
- Returning stack traces or secrets to the model.
- Allowing endless plan-revise loops.
Quyết định thực tế
Hãy triển khai thiết kế nhỏ nhất vượt qua các bước kiểm tra ở trên. Ghi lại phiên bản mô hình, prompt, công cụ, dữ liệu và runtime đã dùng để kiểm thử để những thay đổi sau này có thể được so sánh thay vì phỏng đoán. Kiểm tra lại tài liệu được liên kết trước khi dựa vào giới hạn, tên mô hình, giá hoặc tính năng thử nghiệm của nhà cung cấp.
