Content Moderation APIs

Content Moderation APIs are tools | that automatically analyze text, | images, video, and audio | to detect potentially harmful
Các API kiểm duyệt nội dung là các công cụ | tự động phân tích văn bản, | hình ảnh, video và âm thanh | để phát hiện nội dung có khả năng gây hại

or inappropriate content. | These APIs use machine learning models | to identify violations | of predefined policies related to areas
hoặc không phù hợp. | Các API này sử dụng các mô hình học máy | để xác định các vi phạm | các chính sách được xác định trước liên quan đến các lĩnh vực

like hate speech, violence, | self-harm, and sexually suggestive material. | The results allow developers | to filter or take action
như ngôn từ thù ghét, bạo lực, | tự hại và tài liệu gợi dục. | Các kết quả cho phép các lập trình viên | lọc hoặc thực hiện hành động

against problematic user-generated content.
chống lại nội dung do người dùng tạo ra có vấn đề.

Resources

• Moderation API (official)
• How to use the moderation API (article)
• Content moderation: What it is, how it works, and the best APIs (article)

References

• https://roadmap.sh/ai-engineer (Node: Content Moderation APIs)

← Conducting adversarial testing · AI Engineer Roadmap · Adding end-user IDs in prompts →