Deterministic evals use | fixed, rule-based checks | to score model outputs. | Examples include checking
Các đánh giá tất định sử dụng | các kiểm tra dựa trên quy tắc cố định | để chấm điểm đầu ra của mô hình. | Các ví dụ bao gồm việc kiểm tra
whether a response contains | a required keyword, | matches an expected format, | or equals a known
liệu một phản hồi có chứa | một từ khóa bắt buộc, | khớp với định dạng mong đợi, | hoặc bằng một
correct answer exactly. | They are fast, | cheap, and fully reproducible, | making them a good
câu trả lời đúng chính xác. | Chúng nhanh, | rẻ và hoàn toàn có thể tái lập, | khiến chúng trở thành một
first layer of evaluation | for any system. | Their limitation is that | they cannot assess
lớp đánh giá đầu tiên | cho bất kỳ hệ thống nào. | Hạn chế của chúng là | chúng không thể đánh giá
open-ended or subjective | output quality.
chất lượng đầu ra | mở hoặc chủ quan.
Resources
- How I Built Deterministic LLM Evaluation Metrics for DeepEval (article)
- Demystifying evals for AI agents (article)
References
- https://roadmap.sh/ai-engineer (Node: Deterministic Evals)