Publié le: Nov 9, 2023
Amazon Comprehend a annoncé de nouvelles fonctionnalités destinées à aider les entreprises à améliorer la confiance et la sécurité des contenus textuels. Amazon Comprehend est un service de traitement du langage naturel (NLP) qui fournit des API pré-entraînées et personnalisées pour tirer des enseignements de données textuelles. Grâce aux nouvelles fonctionnalités de détection de toxicité et de classification de sécurité rapide, les clients peuvent désormais appliquer des garde-fous pour modérer le contenu généré par les utilisateurs et les machines.
Aujourd'hui, les organisations doivent gérer le contenu généré à la fois par les applications d'IA génératives et par les utilisateurs en ligne via des chats, des commentaires et des forums de discussion. Les utilisateurs mal intentionnés peuvent soit générer du contenu, soit inciter des modèles d'IA génératifs à créer du contenu contenant un langage toxique et des données sensibles. Pour garantir la sécurité des utilisateurs, les entreprises doivent modérer ce contenu rapidement et intelligemment. À partir d'aujourd'hui, les entreprises peuvent utiliser les fonctionnalités de détection de la toxicité et de classification rapide de sécurité de Comprehend pour modérer le contenu textuel de manière réactive, évolutive et rentable.
La détection de toxicité est une fonctionnalité basée sur la PNL qui identifie le contenu toxique en classant le texte en sept catégories, notamment le harcèlement sexuel, les discours haineux, les menaces, les abus, les blasphèmes, les insultes et les images. Le Prompt Safety Classifier signale les instructions dangereuses afin d'empêcher l'utilisation inappropriée d'applications d'IA génératives. Ces deux API fournissent des scores de confiance qui peuvent être utilisés pour supprimer automatiquement du contenu inapproprié en utilisant un seuil défini, ou pour augmenter les flux de travail de modération humaine.
Les deux API prennent en charge la langue anglaise et sont disponibles dans les régions USA Est (Virginie du Nord), USA Ouest (Oregon), Europe (Irlande) et Asie-Pacifique (Sydney). Les clients peuvent accéder à ces fonctionnalités à l'aide de l'interface de ligne de commande et des kits SDK AWS. Pour commencer, consultez la documentation relative à Amazon Comprehend Trust and Safety.