Context compaction is a technique | used to reduce the length | of the context provided | to a large language model (LLM) | without sacrificing relevant information.
Context compaction là một kỹ thuật | được sử dụng để giảm độ dài | của ngữ cảnh được cung cấp | cho một large language model (LLM) | mà không làm mất đi thông tin liên quan.
This process aims to remove | redundant, irrelevant, | or less important information | from the context window | to make room for more data | or improve the efficiency | and effectiveness of the LLM’s processing.
Quy trình này nhằm mục đích loại bỏ | thông tin dư thừa, không liên quan, | hoặc ít quan trọng hơn | khỏi cửa sổ ngữ cảnh | để dành chỗ cho nhiều dữ liệu hơn | hoặc cải thiện hiệu quả | và tính hiệu quả của việc xử lý của LLM.
Compaction can involve techniques | like summarization, filtering, | or re-ranking of context information.
Compaction có thể bao gồm các kỹ thuật | như tóm tắt, lọc, | hoặc xếp hạng lại thông tin ngữ cảnh.
Resources
- Context Engineering (article)
- Context Compaction (article)
References
- https://roadmap.sh/ai-engineer (Node: Context Compaction)
← RAG & Dynamic Filters · AI Engineer Roadmap · Context Isolation →