Pre-trained Models
Pre-trained models are Machine | Learning (ML) models that | have been previously trained
Pre-trained models là các mô hình | Machine Learning (ML) đã | được huấn luyện trước đó
on a large dataset | to solve a specific | task or set of tasks.
trên một tập dữ liệu lớn | để giải quyết một tác vụ | hoặc một tập hợp các tác vụ cụ thể.
These models learn patterns, | features, and representations from | the training data, which
Các mô hình này học các mẫu, | đặc trưng, và các biểu diễn từ | dữ liệu huấn luyện, cái mà
can then be fine-tuned | or adapted for other | related tasks. Pre-training provides
sau đó có thể được fine-tuned | hoặc điều chỉnh cho các tác vụ | liên quan khác. Pre-training cung cấp
a good starting point, | reducing the amount of | data and computation required
một điểm khởi đầu tốt, | giảm bớt lượng | dữ liệu và tính toán cần thiết
to train a new | model from scratch.
để huấn luyện một mô hình | mới từ đầu.
Resources
- Pre-trained Models: Past, Present and Future (article)
- Transforming Language with Generative Pre-trained Transformers (GPT) (video)
References
- https://roadmap.sh/ai-engineer (Node: Pre-trained Models)