Inference SDK
The Hugging Face Inference SDK | is a powerful tool | that allows developers to easily integrate | and run inference on large language models | hosted on the Hugging Face Hub.
Hugging Face Inference SDK | là một công cụ mạnh mẽ | cho phép các nhà phát triển dễ dàng tích hợp | và chạy inference trên các LLM | được lưu trữ trên Hugging Face Hub.
By using the InferenceClient, | users can make API calls | to various models for tasks | such as text generation, | image creation, and more.
Bằng cách sử dụng InferenceClient, | người dùng có thể thực hiện các API call | đến nhiều mô hình khác nhau cho các tác vụ | như tạo văn bản, | tạo hình ảnh và hơn thế nữa.
The SDK supports both synchronous | and asynchronous operations, | thus compatible with existing workflows.
SDK hỗ trợ cả các hoạt động đồng bộ | và bất đồng bộ, | do đó tương thích với các quy trình làm việc hiện có.
Resources
- Inference (official)
- Endpoint Setup (article)
References
- https://roadmap.sh/ai-engineer (Node: Inference SDK)
← Hugging Face Hub · AI Engineer Roadmap · Transformers.js →