Tokens in Large Language Models
Tokens are fundamental units | of text that LLMs | process, created by breaking
Tokens là các đơn vị cơ bản | của văn bản mà LLMs | xử lý, được tạo ra bằng cách chia
text into smaller components | such as words, subwords, | or characters. Understanding tokens
văn bản thành các thành phần nhỏ hơn | như từ, từ con, | hoặc ký tự. Hiểu về tokens
is crucial because models | predict the next token | in sequences, API costs
là rất quan trọng vì các mô hình | dự đoán token tiếp theo | trong các chuỗi, chi phí API
are based on token | count, and models have | maximum token limits for
dựa trên số lượng token, | và các mô hình có | giới hạn token tối đa cho
input and output.
đầu vào và đầu ra.
Resources
- Explaining Tokens — the Language and Currency of AI (article)
- Understanding Tokens and Parameters in Model Training: A Deep Dive (article)
References
- https://roadmap.sh/ai-engineer (Node: Tokens)