Đánh giá an toàn / NAVIN RESEARCH
Use LLM-as-a-Judge Carefully
Design rubrics, randomize ordering, calibrate against humans, and keep deterministic checks first.
Design rubrics, randomize ordering, calibrate against humans, and keep deterministic checks first.
Tóm tắt: Model judges are useful for nuanced qualities but can be biased by style, length, position, or self-preference. Give a concrete rubric and evidence, hide irrelevant identity, randomize pair order, and validate judge agreement against expert labels.
Các bước triển khai
- Define dimensions and anchored score examples.
- Use deterministic graders before subjective judging.
- Run pairwise order swaps and repeated judgments.
- Escalate low-agreement or high-risk cases to humans.
Danh sách kiểm tra
- Measure agreement and bias by answer length and model source.
- Keep a private calibration set.
- Version judge model, prompt, and rubric.
Sai lầm thường gặp
- One vague 'which is better?' prompt.
- Using the candidate model as its only judge.
- Reporting judge scores as objective truth.
Quyết định thực tế
Hãy triển khai thiết kế nhỏ nhất vượt qua các bước kiểm tra ở trên. Ghi lại phiên bản mô hình, prompt, công cụ, dữ liệu và runtime đã dùng để kiểm thử để những thay đổi sau này có thể được so sánh thay vì phỏng đoán. Kiểm tra lại tài liệu được liên kết trước khi dựa vào giới hạn, tên mô hình, giá hoặc tính năng thử nghiệm của nhà cung cấp.
