RAGAS is an | open-source framework specifically | designed for evaluating | retrieval-augmented generation pipelines.
RAGAS là một | framework mã nguồn mở được thiết kế | đặc biệt để đánh giá | các pipeline RAG.
It provides a suite | of reference-free metrics, | meaning it does not | require hand-labeled ground
Nó cung cấp một bộ | các chỉ số không cần tham chiếu, | nghĩa là nó không | yêu cầu sự thật cơ bản được dán nhãn thủ công
truth answers, which | makes it practical | to run on | real production data.
các câu trả lời, điều này | làm cho nó thực tế | để chạy trên | dữ liệu sản xuất thực tế.
Its core metrics cover | the main ways | a RAG system | can fail: retrieving
Các chỉ số cốt lõi của nó bao gồm | những cách chính | một hệ thống RAG | có thể thất bại: truy xuất
the wrong context, | generating answers that | are not supported by | the retrieved context,
sai ngữ cảnh, | tạo ra các câu trả lời | không được hỗ trợ bởi | ngữ cảnh đã truy xuất,
and producing responses that | do not actually address | the user’s question.
và tạo ra các phản hồi | không thực sự giải quyết | câu hỏi của người dùng.
Resources
- Ragas Docs (official)
- ragas (opensource)
- RAGAS: How to Evaluate a RAG Application (video)
References
- https://roadmap.sh/ai-engineer (Node: RAGAS)