Repetition Penalties

Repetition penalties discourage LLMs | from repeating words or phrases | by reducing the probability
Repetition penalties ngăn cản các LLM | lặp lại các từ hoặc cụm từ | bằng cách giảm xác suất

of selecting previously used tokens. | This includes frequency penalty (scales with usage count) | and presence penalty (applies equally to any used token).
chọn các token đã được sử dụng trước đó. | Điều này bao gồm frequency penalty (tỷ lệ với số lần sử dụng) | và presence penalty (áp dụng như nhau cho bất kỳ token nào đã sử dụng).

These parameters improve output quality | by promoting vocabulary diversity | and preventing redundant phrasing.
Các tham số này cải thiện chất lượng đầu ra | bằng cách thúc đẩy sự đa dạng từ vựng | và ngăn chặn cách diễn đạt dư thừa.

Resources

• Stop the LLM From Rambling: Using Penalties to Control Repetition (article)
• What are LLM Presence and Frequency Penalties? (video)

References

• https://roadmap.sh/ai-engineer (Node: Repetition Penalties)

← Streaming Responses · AI Engineer Roadmap · Sampling Parameters →