Streamed Responses
Streamed and unstreamed responses | describe how an AI | agent sends its answer
Các phản hồi được truyền phát | và không truyền phát mô tả | cách một AI agent gửi câu trả lời
to the user.
cho người dùng.
With a streamed response, | the agent starts sending | words as soon as
Với một phản hồi được truyền phát, | agent bắt đầu gửi | các từ ngay khi
it generates them. | The user sees the | text grow on the
nó tạo ra chúng. | Người dùng thấy văn bản | hiển thị trên
screen in real time. | An unstreamed response waits | until the whole answer
màn hình theo thời gian thực. | Một phản hồi không truyền phát đợi | cho đến khi toàn bộ câu trả lời
is ready, then sends | it all at once. | This makes the code
đã sẵn sàng, sau đó gửi | tất cả cùng một lúc. | Điều này làm cho code
on the client side | simpler and is easier | to cache or log,
ở phía client | đơn giản hơn và dễ dàng hơn | để cache hoặc log,
but the user must | wait longer, especially | for big outputs.
nhưng người dùng phải | đợi lâu hơn, đặc biệt | cho các kết quả đầu ra lớn.
Resources
- Streaming Responses in AI: How AI Outputs Are Generated in Real Time (article)
- AI for Web Devs: Faster Responses with HTTP Streaming (article)
- Master the OpenAI API: Stream Responses (article)