Veröffentlicht am: Nov 9, 2023
Amazon Comprehend kündigte neue Funktionen an, mit denen Unternehmen das Vertrauen und die Sicherheit textbasierter Inhalte verbessern können. Amazon Comprehend ist ein Service zur Verarbeitung natürlicher Sprache (Natural Language Processing, NLP), der vortrainierte und benutzerdefinierte APIs bereitstellt, um Erkenntnisse aus Text abzuleiten. Mit den neuen Funktionen Toxizitätserkennung und Prompt Safety Classification können Kunden nun Schutzmaßnahmen anwenden, um benutzer- und maschinengenerierte Inhalte zu moderieren.
Heute müssen Unternehmen Inhalte verwalten, die sowohl von generativen KI-Anwendungen als auch von Online-Nutzern über Chats, Kommentare und Forumsdiskussionen erzeugt werden. Benutzer mit böswilliger Absicht können entweder selbst oder mithilfe von generativen KI-Modellen Inhalte erstellen, die toxische Sprache und sensible Daten enthalten. Um die Sicherheit der Benutzer zu gewährleisten, müssen Unternehmen diese Inhalte schnell und intelligent moderieren. Ab heute können Unternehmen die Funktionen Toxizitätserkennung und sofortige Sicherheitsklassifizierung von Comprehend verwenden, um textbasierte Inhalte auf ansprechende, skalierbare und kosteneffiziente Weise zu moderieren.
Die Toxizitätserkennung ist eine NLP-gestützte Funktion, die toxische Inhalte identifiziert, indem Text in sieben Kategorien klassifiziert wird, darunter sexuelle Belästigung, Hassreden, Bedrohung, Missbrauch, Obszönität, Beleidigung und explizite Sprache. Der Prompt Safety Classifier kennzeichnet unsichere Eingabeaufforderungen, um eine unangemessene Verwendung generativer KI-Anwendungen zu verhindern. Beide APIs bieten Konfidenzwerte, die verwendet werden können, um unangemessene Inhalte mithilfe eines festgelegten Schwellenwerts automatisch zu redigieren oder die Arbeitsabläufe bei der menschlichen Moderation zu verbessern.
Beide APIs unterstützen die englische Sprache und sind in den Regionen USA Ost (Nord-Virginia), USA West (Oregon), Europa (Irland) und Asien-Pazifik (Sydney) verfügbar. Kunden können mit AWS CLI und SDKs auf diese Funktionen zugreifen. Sehen Sie sich zunächst die Amazon Comprehend Trust and Safety-Dokumentation an.