Amazon Bedrock – Häufig gestellte Fragen

Kundendienstmitarbeiter für Amazon Bedrock sind vollständig verwaltete Funktionen, die es Entwicklern erleichtern, generative KI-basierte Anwendungen zu erstellen, die komplexe Aufgaben für eine Vielzahl von Anwendungsfällen erledigen und aktuelle Antworten auf der Grundlage proprietärer Wissensquellen liefern können. Mit nur wenigen Klicks können Kundendienstmitarbeiter für Amazon Bedrock automatisch Aufgaben aufschlüsseln und einen Orchestrierungsplan erstellen – ganz ohne manuelle Programmierung. Der Kundendienstmitarbeiter stellt über eine API eine sichere Verbindung zu Unternehmensdaten her, konvertiert Daten automatisch in ein maschinenlesbares Format und ergänzt die Anfrage mit relevanten Informationen, um die genaueste Antwort zu erhalten. Kundendienstmitarbeiter können dann automatisch APIs aufrufen, um die Anfrage eines Benutzers zu erfüllen. Beispielsweise möchte ein Fertigungsunternehmen möglicherweise eine generative KI-Anwendung entwickeln, die die Nachverfolgung von Lagerbeständen, Verkaufsdaten und Lieferketteninformationen automatisiert und optimale Nachbestellstellen und Mengen empfehlen kann, um die Effizienz zu maximieren. Als vollständig verwaltete Funktionen nehmen Kundendienstmitarbeiter für Amazon Bedrock den undifferenzierten Aufwand für die Verwaltung der Systemintegration und der Infrastrukturbereitstellung ab und ermöglichen es Entwicklern, generative KI in ihrem gesamten Unternehmen in vollem Umfang zu nutzen.

Mit Kundendienstmitarbeitern für Amazon Bedrock können Sie FMs sicher mit Ihren Unternehmensdatenquellen verbinden. Mit einer Wissensdatenbank können Sie Kundendienstmitarbeiter einsetzen, um FMs in Amazon Bedrock Zugriff auf zusätzliche Daten zu gewähren, die dem Modell helfen, relevantere, kontextspezifischere und genauere Antworten zu generieren, ohne das FM ständig neu trainieren zu müssen. Basierend auf Benutzereingaben identifizieren die Kundendienstmitarbeiter die entsprechende Wissensbasis, rufen die relevanten Informationen ab und fügen die Informationen zur Eingabeaufforderung hinzu, sodass das Modell mehr Kontextinformationen erhält, um eine Vervollständigung zu generieren.

Kundendienstmitarbeiter für Amazon Bedrock können Ihnen helfen, die Produktivität zu steigern, Ihr Kundenservice-Erlebnis zu verbessern oder DevOps-Aufgaben zu automatisieren.

Mit Kundendienstmitarbeitern erhalten Entwickler nahtlose Unterstützung für Überwachung, Verschlüsselung, Benutzerberechtigungen und Verwaltung von API-Aufrufen, ohne benutzerdefinierten Code schreiben zu müssen. Kundendienstmitarbeiter für Amazon Bedrock automatisieren die schnelle Entwicklung und Orchestrierung von vom Benutzer angeforderten Aufgaben. Entwickler können die vom Kundendienstmitarbeiter erstellte Vorlage für Prompts als Grundlage verwenden, um sie für eine verbesserte Benutzererfahrung weiter zu verfeinern. Sie können die Benutzereingabe, den Orchestrierungsplan und die FM-Antwort aktualisieren. Mit dem Zugriff auf die Prompt-Vorlage haben Entwickler eine bessere Kontrolle über die Kundendienstmitarbeiter-Orchestrierung.

Mit vollständig verwalteten Kundendienstmitarbeitern müssen Sie sich keine Gedanken über die Bereitstellung oder Verwaltung der Infrastruktur machen und können Anwendungen schneller zur Produktion bringen.

Alle von Amazon Bedrock verarbeiteten Kundeninhalte werden verschlüsselt und im Ruhezustand in der AWS-Region gespeichert, in der Sie Amazon Bedrock verwenden.

Nein. Die Eingaben der Nutzer und die Ergebnisse des Modells werden nicht an die Modellanbieter weitergegeben.

Amazon Bedrock bietet verschiedene Funktionen zur Unterstützung von Sicherheits- und Datenschutzanforderungen. Bedrock erfüllt gängige Compliance-Standards wie Service and Organization Control (SOC), International Organization for Standardization (ISO), Health Insurance Portability and Accountability Act (HIPAA) und Kunden können Bedrock in Übereinstimmung mit der General Data Protection Regulation (GDPR) nutzen. Amazon Bedrock ist im Umfang der SOC-Berichte 1, 2 und 3 enthalten, sodass Kunden Einblicke in unsere Sicherheitskontrollen erhalten. Wir weisen die Einhaltung der Vorschriften durch umfangreiche Prüfungen unserer AWS-Kontrollen durch Dritte nach. Amazon Bedrock ist einer der AWS-Services, die der ISO-Konformität für die Normen ISO 9001, ISO 27001, ISO 27017, ISO 27018, ISO 27701, ISO 22301 und ISO 20000 unterliegen. Amazon Bedrock ist nach CSA Security Trust Assurance and Risk (STAR) Level 2 zertifiziert, was die Verwendung von bewährten Verfahren und den Sicherheitsstatus der AWS-Cloud-Angebote bestätigt. Bei Amazon Bedrock werden Ihre Inhalte nicht zur Verbesserung der Basismodelle verwendet und nicht an Drittanbieter von Modellen weitergegeben. Sie können AWS PrivateLink verwenden, um eine private Konnektivität von Ihrer Amazon Virtual Private Cloud (VPC) zu Amazon Bedrock herzustellen, ohne Ihre Daten dem Internetverkehr auszusetzen.

Nein, AWS und die Modell-Drittanbieter werden keine Eingaben oder Ausgaben von Bedrock verwenden, um Amazon Titan oder Drittanbieter-Modelle zu trainieren.

Amazon Bedrock unterstützt SDKs für Laufzeit-Services. iOS- und Android-SDKs sowie Java, JS, Python, CLI, .Net, Ruby, PHP, Go und CPP unterstützen sowohl Text- als auch Spracheingabe.

Streaming wird in allen SDKs unterstützt.

Aktuelle Preisinformationen finden Sie auf der Seite mit der Preisübersicht für Amazon Bedrock.

Abhängig von Ihrem AWS-Supportvertrag wird Amazon Bedrock im Rahmen der Pläne Developer Support, Business Support und Enterprise Support unterstützt.

Sie können CloudWatch-Metriken verwenden, um die Eingabe- und Ausgabe-Token zu verfolgen.

Wir haben Continued Pre-Training für Titan-Text-Express- und Titan-Modelle auf Amazon Bedrock eingeführt. Auf diese Weise können Sie das Pre-Training auf einem Titan-Basismodell mit großen Mengen unbeschrifteter Daten fortsetzen. Bei dieser Art von Training wird das Modell von einem allgemeinen Domain-Korpus an einen spezifischeren Domain-Korpus wie Medizin, Recht, Finanzen usw. angepasst, wobei die meisten Fähigkeiten des Titan-Basismodells erhalten bleiben. 

In der Regel möchten Unternehmen Modelle für Aufgaben in einer bestimmten Domäne erstellen. Die Basismodelle sind möglicherweise nicht auf die Fachsprache trainiert, die in dieser speziellen Domäne verwendet wird. Die direkte Feinabstimmung des Basismodells erfordert daher große Mengen an gekennzeichneten Trainingsdatensätzen und eine lange Trainingsdauer, um genaue Ergebnisse zu erzielen. Um diesen Aufwand zu verringern, kann der Kunde stattdessen große Mengen an nicht gekennzeichneten Daten für ein fortgesetztes Pre-Training zur Verfügung stellen. Mit dieser Aufgabe wird das Titan-Basismodell an die neue Domäne angepasst. Anschließend kann der Kunde das neu vortrainierte benutzerdefinierte Modell auf nachgelagerte Aufgaben abstimmen, wobei deutlich weniger markierte Trainingsdatensätze und eine kürzere Trainingsdauer benötigt werden. 

Bedrock Continued Pre-Training und Fine Tuning (FT) haben sehr ähnliche Anforderungen. Aus diesem Grund haben wir uns dafür entschieden, einheitliche APIs zu erstellen, die sowohl CPT als auch FT unterstützen. Die Vereinheitlichung der APIs reduziert die Lernkurve und hilft den Kunden bei der Nutzung von Standard-Features wie CloudWatch Event Bridge zur Verfolgung lang laufender Aufträge, S3-Integration zum Abrufen von Trainingsdaten, Resource Tags und Modellverschlüsselung. 

Das Continued Pre-Training hilft Ihnen, die Titan-Modelle einfach an Ihre domänenspezifischen Daten anzupassen, wobei die Basisfunktionalität der Titan-Modelle erhalten bleibt. Um einen Continued-Pre-Training-Auftrag zu erstellen, navigieren Sie zur Bedrock-Konsole und klicken Sie auf „Benutzerdefinierte Modelle“. Sie navigieren zur Seite für benutzerdefinierte Modelle, die zwei Registerkarten enthält: Modelle und Trainingsaufträge. Beide Registerkarten bieten auf der rechten Seite ein Dropdown-Menü mit der Bezeichnung „Modell anpassen“. Wählen Sie in der Dropdown-Liste Modell anpassen die Option „Continued Pre-Training“, um zum Bildschirm „Auftrag für Continued Pre-Training erstellen“ zu gelangen. Sie geben das Quellmodell, den Namen, die Modellverschlüsselung, die Eingabedaten, die Hyperparameter und die Ausgabedaten an. Zusätzlich können Sie Tags sowie Details zu IAM-Rollen und Ressourcenrichtlinien für die Stelle angeben.

Die Amazon-Titan-Modellfamilie, die exklusiv für Amazon Bedrock entwickelt wurde, basiert auf der 25-jährigen Erfahrung von Amazon in der Innovation mit KI und Machine Learning in seinem gesamten Unternehmen. Amazon-Titan-Basismodelle (FMs) bieten Kunden über eine vollständig verwaltete API eine breite Palette an leistungsstarken Bild-, multimodalen und Textmodellen. Amazon-Titan-Modelle werden von AWS erstellt und anhand großer Datensätze vortrainiert, sodass sie leistungsstarke Allzweckmodelle sind, die eine Vielzahl von Anwendungsfällen unterstützen und gleichzeitig den verantwortungsvollen Umgang mit KI unterstützen. Verwenden Sie sie unverändert oder passen Sie sie individuell mit Ihren eigenen Daten an.

Weitere Informationen über Daten, die zur Entwicklung und Training von Amazon Titan FMs verarbeitet werden, finden Sie auf der Seite Amazon Titan Model Training & Privacy.

Zu den unterstützten Datenformaten gehören .pdf-, .txt-, .md-, .html-, .doc- und .docx-, .csv-, .xls- und .xlsx-Dateien. Dateien müssen in Amazon S3 hochgeladen werden. Zeigen Sie einfach auf den Speicherort Ihrer Daten in Amazon S3, und Knowledge Bases für Amazon Bedrock kümmert sich um den gesamten Aufnahme-Workflow in Ihre Vektordatenbank.

Knowledge Bases für Amazon Bedrock bietet drei Optionen zum Aufteilen von Text, bevor er in Einbettungen umgewandelt wird. 

1.  Standardoption: Knowledge Bases für Amazon Bedrock teilt Ihr Dokument automatisch in Abschnitte auf, die jeweils 200 Token enthalten, um sicherzustellen, dass ein Satz nicht in der Mitte unterbrochen wird. Enthält ein Dokument weniger als 200 Tokens, wird es nicht weiter aufgeteilt. Zwischen zwei aufeinanderfolgenden Chunks wird eine Überlappung von 20 % der Token beibehalten.

2.  Chunking mit fester Größe: Bei dieser Option können Sie die maximale Anzahl von Tokens pro Block und den Prozentsatz der Überlappung zwischen Blöcken angeben, damit Knowledge Bases für Amazon Bedrock Ihr Dokument automatisch in Abschnitte aufteilt, um sicherzustellen, dass ein Satz nicht in der Mitte unterbrochen wird. 

3.  Option „Eine Einbettung pro Dokument erstellen“: Amazon Bedrock erstellt eine Einbettung pro Dokument. Diese Option eignet sich, wenn Sie Ihre Dokumente vorverarbeitet haben, indem Sie sie in separate Dateien aufgeteilt haben, und nicht möchten, dass Bedrock Ihre Dokumente weiter zerlegt.
 

Gegenwärtig verwendet Knowledge Bases für Amazon Bedrock die neueste Version des Titan-Text-Einbettungsmodells, das in Amazon Bedrock verfügbar ist. Das Titan-Text-Einbettungsmodell unterstützt 8K-Token und mehr als 25 Sprachen und erstellt eine Einbettung mit 1 536 Dimensionen. 

Knowledge Bases für Amazon Bedrock kümmert sich um den gesamten Erfassungsablauf, bei dem Ihre Dokumente in Einbettungen (Vektoren) umgewandelt und die Einbettungen in einer speziellen Vektordatenbank gespeichert werden. Knowledge Bases für Amazon Bedrock unterstützt gängige Datenbanken für die Vektorspeicherung, einschließlich Vektor-Engine für Amazon OpenSearch Serverless, Pinecone, Redis Enterprise Cloud, Amazon Aurora (in Kürze verfügbar) und MongoDB (in Kürze verfügbar). Wenn Sie noch keine Vektordatenbank haben, erstellt Amazon Bedrock einen Amazon OpenSearch Serverless Vector Store für Sie.

Je nach Anwendungsfall können Sie Amazon EventBridge verwenden, um eine regelmäßige oder ereignisgesteuerte Synchronisierung zwischen Amazon S3 und Knowledge Bases für Amazon Bedrock zu erstellen.

Mit der Modellbewertung von Amazon Bedrock können Sie mit nur wenigen Klicks das beste Basismodell für Ihren Anwendungsfall bewerten, vergleichen und auswählen. Amazon Bedrock bietet die Wahl zwischen automatischer Bewertung und menschlicher Bewertung. Sie können die automatische Bewertung mit vordefinierten Metriken wie Genauigkeit, Robustheit und Toxizität verwenden. Sie können menschliche Bewertungs-Workflows für subjektive oder benutzerdefinierte Metriken wie Freundlichkeit, Stil und Übereinstimmung mit der Markensprache verwenden. Bei menschlichen Bewertungs-Workflows können Ihre eigenen Mitarbeiter oder ein von AWS verwaltetes Team als Prüfer eingesetzt werden. Die Modellbewertung bietet integrierte kuratierte Datensätze. Sie können aber auch Ihre eigenen Datensätze verwenden.

Mithilfe automatischer Bewertungen können Sie eine Vielzahl vordefinierter Metriken wie Genauigkeit, Robustheit und Toxizität bewerten. Sie können auch menschliche Bewertungs-Workflows für subjektive oder benutzerdefinierte Metriken verwenden, wie z. B. Freundlichkeit, Relevanz, Stil und Übereinstimmung mit der Markensprache.

Automatische Bewertungen ermöglichen es Ihnen, die Liste der verfügbaren FMs anhand von Standardkriterien (wie Genauigkeit, Toxizität und Robustheit) schnell einzugrenzen. Von Menschen durchgeführte Bewertungen werden häufig zur Beurteilung von differenzierteren oder subjektiven Kriterien verwendet, die ein menschliches Urteilsvermögen erfordern und bei denen es möglicherweise keine automatischen Bewertungen gibt (z. B. Übereinstimmung mit der Markensprache, kreative Absicht, Freundlichkeit).

Sie können Bedrock-Modelle schnell auf Metriken wie Genauigkeit, Robustheit und Toxizität bewerten, indem Sie kuratierte integrierte Datensätze nutzen oder Ihre eigenen Prompt-Datensätze einbringen. Nachdem Ihre Prompt-Datensätze zur Inferenz an Amazon.Bedrock-Modelle gesendet wurden, werden die Modellantworten mit Bewertungsalgorithmen für jede Dimension bewertet. Die Backend-Engine fasst die einzelnen Prompt-Response-Ergebnisse zu einer Gesamtbewertung zusammen und stellt sie in leicht verständlichen visuellen Berichten dar.

Mit Amazon Bedrock können Sie mit wenigen Klicks menschliche Bewertungs-Workflows einrichten und Ihre internen Mitarbeiter oder ein von AWS verwaltetes Expertenteam zur Bewertung von Modellen einsetzen. Über die intuitive Benutzeroberfläche von Amazon Bedrock können Benutzer Modellantworten überprüfen und Feedback dazu geben, indem sie auf Daumen hoch/runter klicken, auf einer Skala von 1 bis 5 bewerten, die beste aus mehreren Antworten auswählen oder Prompts bewerten. Beispielsweise kann einem Teammitglied gezeigt werden, wie zwei Modelle auf dieselbe Aufforderung reagieren, und dann aufgefordert werden, das Modell auszuwählen, das genauere, relevantere oder stilistischere Ergebnisse liefert. Sie können die für Sie wichtigen Bewertungskriterien festlegen, indem Sie einfach die Anweisungen und Schaltflächen auf der Bewertungsoberfläche für Ihr Team anpassen. Sie können auch detaillierte Anweisungen mit Beispielen und dem Gesamtziel der Modellbewertung geben, damit die Teilnehmer ihre Arbeit entsprechend ausrichten können. Diese Methode ist nützlich, um subjektive Kriterien zu bewerten, die ein menschliches Urteilsvermögen oder ein differenziertes Fachwissen erfordern und nicht ohne weiteres durch automatische Auswertungen beurteilt werden können.

Mit Guardrails für Amazon Bedrock können Sie Schutzmaßnahmen für Ihre generativen KI-Anwendungen implementieren, die auf Ihren Anwendungsfällen und verantwortungsvollen KI-Richtlinien basieren. Guardrails hilft dabei, die Interaktion zwischen Nutzern und Basismodellen (FMs) zu kontrollieren, indem unerwünschte und schädliche Inhalte gefiltert werden, und wird in Kürze persönlich identifizierbare Informationen (PII) schwärzen, um die Sicherheit von Inhalten und die Privatsphäre in generativen KI-Anwendungen zu verbessern. Sie können mehrere Integrationsschutzebenen mit unterschiedlichen Konfigurationen erstellen, die auf bestimmte Anwendungsfälle zugeschnitten sind. Darüber hinaus können Sie Benutzereingaben und FM-Antworten, die möglicherweise gegen benutzerdefinierte Richtlinien im Integritätsschutz verstoßen, kontinuierlich überwachen und analysieren.

Mit Guardrails können Kunden eine Reihe von Richtlinien definieren, um ihre generativen KI-Anwendungen zu schützen. Sie können die folgenden Richtlinien in einem Integritätsschutz konfigurieren.

• Verweigerte Themen – Sie können eine Reihe von Themen definieren, die im Kontext Ihrer Anwendung unerwünscht sind. Beispielsweise kann ein Online-Banking-Assistent so konzipiert werden, dass er keine Anlageberatung anbietet.
• Inhaltsfilter – Sie können Schwellenwerte konfigurieren, um schädliche Inhalte in den Kategorien Hass, Beleidigung, Sexualität und Gewalt zu filtern.
• Wortfilter (in Kürze verfügbar) – Sie können eine Reihe von Wörtern definieren, die in Benutzereingaben und FM-generierten Antworten blockiert werden.
• PII-Redigierung (in Kürze verfügbar) – Sie können eine Reihe von PII auswählen, die in FM-generierten Antworten geschwärzt werden können. Je nach Anwendungsfall können Sie auch eine Benutzereingabe blockieren, wenn sie personenbezogene Daten enthält.

Guardrails kann mit allen großen Sprachmodellen verwendet werden, die auf Amazon Bedrock verfügbar sind, einschließlich Titan, Anthropic Claude, Meta Llama 2, AI21 Jurassic und Cohere Command FMs. Er kann auch mit fein abgestimmten FMs sowie Kundendienstmitarbeitern für Amazon Bedrock verwendet werden.

AWS bietet eine unbegrenzte Entschädigung für Urheberrechtsansprüche, die sich aus der generativen Ausgabe der folgenden allgemein verfügbaren generativen KI-Services von Amazon ergeben: Amazon Titan Models, Amazon CodeWhisperer Professional und andere Services, die in Abschnitt 50.10 der Servicebedingungen aufgeführt sind (die „entschädigten generativen KI-Services“). Dies bedeutet, dass die Kunden vor Ansprüchen Dritter geschützt sind, die behaupten, dass die von den entschädigten generativen KI-Diensten als Reaktion auf vom Kunden bereitgestellte Eingaben oder andere Daten erzeugte Ausgabe gegen das Urheberrecht verstößt. Die Kunden müssen die Dienste auch verantwortungsbewusst nutzen, z. B. indem sie keine rechtsverletzenden Daten eingeben oder die Filterfunktionen eines Dienstes deaktivieren.

Darüber hinaus schützt unsere standardmäßige IP-Entschädigungsklausel für die Nutzung der Dienste die Kunden vor Ansprüchen Dritter, die behaupten, dass die Dienste und die zu ihrer Schulung verwendeten Daten gegen geistiges Eigentum verstoßen (einschließlich Urheberrechtsansprüchen).