LLM observability is the practice | of monitoring and understanding | what happens inside your AI application | at runtime, | tracking things like | which prompts were sent, | what responses came back, | how long each call took, | and how many tokens were used.
LLM observability là thực hành | giám sát và hiểu | những gì xảy ra bên trong ứng dụng AI của bạn | tại thời điểm chạy, | theo dõi các thứ như | prompt nào đã được gửi, | phản hồi nào đã trả về, | mỗi cuộc gọi mất bao lâu, | và bao nhiêu token đã được sử dụng.
Without visibility into these details, | debugging failures | or understanding why outputs changed | is extremely difficult.
Nếu không có khả năng hiển thị các chi tiết này, | việc gỡ lỗi các thất bại | hoặc hiểu tại sao đầu ra thay đổi | là cực kỳ khó khăn.
Good observability gives you | a continuous record | of your system’s behavior | in development and production.
Khả năng quan sát tốt cung cấp cho bạn | một bản ghi liên tục | về hành vi của hệ thống | trong quá trình phát triển và sản xuất.
Resources
- What is LLM observability? (article)
- LLM Evaluation and AI Observability for Agent Monitoring (article)
References
- https://roadmap.sh/ai-engineer (Node: LLM Observability)
← Constraining outputs and inputs · AI Engineer Roadmap · LLM Evaluations →