Đánh giá an toàn / NAVIN RESEARCH
Evaluate RAG Before Tuning the Generator
Separate retrieval recall, ranking, context quality, answer support, and citation correctness.
Separate retrieval recall, ranking, context quality, answer support, and citation correctness.
Tóm tắt: Diagnose retrieval-augmented generation in stages. First confirm the needed evidence exists and is retrieved. Then test ranking and context assembly. Only after that should you evaluate whether the model answers faithfully and cites the supporting passage.
Các bước triển khai
- Create questions with labeled source passages and unanswerable cases.
- Measure retrieval recall at several cutoffs.
- Inspect reranking and duplicate chunks.
- Score answer correctness, support, and citation precision separately.
Danh sách kiểm tra
- Run ablations with oracle evidence.
- Test stale and conflicting documents.
- Verify access control before retrieval results enter context.
Sai lầm thường gặp
- Changing embeddings and prompts simultaneously.
- Using answer similarity as a retrieval metric.
- Forcing an answer when evidence is absent.
Quyết định thực tế
Hãy triển khai thiết kế nhỏ nhất vượt qua các bước kiểm tra ở trên. Ghi lại phiên bản mô hình, prompt, công cụ, dữ liệu và runtime đã dùng để kiểm thử để những thay đổi sau này có thể được so sánh thay vì phỏng đoán. Kiểm tra lại tài liệu được liên kết trước khi dựa vào giới hạn, tên mô hình, giá hoặc tính năng thử nghiệm của nhà cung cấp.
