Amazon Bedrock – Häufig gestellte Fragen

Agenten für Amazon Bedrock sind vollständig verwaltete Funktionen, die es Entwicklern erleichtern, generative KI-basierte Anwendungen zu erstellen, die komplexe Aufgaben für eine Vielzahl von Anwendungsfällen erledigen und aktuelle Antworten auf der Grundlage proprietärer Wissensquellen liefern können. Mit nur wenigen Klicks können Agenten für Amazon Bedrock automatisch Aufgaben aufschlüsseln und einen Orchestrierungsplan erstellen – ganz ohne manuelle Programmierung. Der Kundendienstmitarbeiter stellt über eine API eine sichere Verbindung zu Unternehmensdaten her, konvertiert Daten automatisch in ein maschinenlesbares Format und ergänzt die Anfrage mit relevanten Informationen, um die genaueste Antwort zu erhalten. Kundendienstmitarbeiter können dann automatisch APIs aufrufen, um die Anfrage eines Benutzers zu erfüllen. Beispielsweise möchte ein Fertigungsunternehmen möglicherweise eine generative KI-Anwendung entwickeln, die die Nachverfolgung von Lagerbeständen, Verkaufsdaten und Lieferketteninformationen automatisiert und optimale Nachbestellstellen und Mengen empfehlen kann, um die Effizienz zu maximieren. Als vollständig verwaltete Funktionen nehmen Kundendienstmitarbeiter für Amazon Bedrock den undifferenzierten Aufwand für die Verwaltung der Systemintegration und der Infrastrukturbereitstellung ab und ermöglichen es Entwicklern, generative KI in ihrem gesamten Unternehmen in vollem Umfang zu nutzen.

Mit Kundendienstmitarbeitern für Amazon Bedrock können Sie FMs sicher mit Ihren Unternehmensdatenquellen verbinden. Mit einer Wissensdatenbank können Sie Kundendienstmitarbeiter einsetzen, um FMs in Amazon Bedrock Zugriff auf zusätzliche Daten zu gewähren, die dem Modell helfen, relevantere, kontextspezifischere und genauere Antworten zu generieren, ohne das FM ständig neu trainieren zu müssen. Basierend auf Benutzereingaben identifizieren die Kundendienstmitarbeiter die entsprechende Wissensbasis, rufen die relevanten Informationen ab und fügen die Informationen zur Eingabeaufforderung hinzu, sodass das Modell mehr Kontextinformationen erhält, um eine Vervollständigung zu generieren.

Kundendienstmitarbeiter für Amazon Bedrock können Ihnen helfen, die Produktivität zu steigern, Ihr Kundenservice-Erlebnis zu verbessern oder DevOps-Aufgaben zu automatisieren.

Mit Kundendienstmitarbeitern erhalten Entwickler nahtlose Unterstützung für Überwachung, Verschlüsselung, Benutzerberechtigungen und Verwaltung von API-Aufrufen, ohne benutzerdefinierten Code schreiben zu müssen. Kundendienstmitarbeiter für Amazon Bedrock automatisieren die schnelle Entwicklung und Orchestrierung von vom Benutzer angeforderten Aufgaben. Entwickler können die vom Agenten erstellte Vorlage für Prompts als Grundlage verwenden, um sie für eine verbesserte Benutzererfahrung weiter zu verfeinern. Sie können die Benutzereingabe, den Orchestrierungsplan und die FM-Antwort aktualisieren. Mit dem Zugriff auf die Prompt-Vorlage haben Entwickler eine bessere Kontrolle über die Kundendienstmitarbeiter-Orchestrierung.

Mit vollständig verwalteten Kundendienstmitarbeitern müssen Sie sich keine Gedanken über die Bereitstellung oder Verwaltung der Infrastruktur machen und können Anwendungen schneller zur Produktion bringen.

Alle von Amazon Bedrock verarbeiteten Kundeninhalte werden verschlüsselt und im Ruhezustand in der AWS-Region gespeichert, in der Sie Amazon Bedrock verwenden.

Nein. Die Eingaben der Nutzer und die Ergebnisse des Modells werden nicht an die Modellanbieter weitergegeben.

Amazon Bedrock bietet verschiedene Funktionen zur Unterstützung von Sicherheits- und Datenschutzanforderungen. Bedrock erfüllt gängige Compliance-Standards wie Service and Organization Control (SOC), International Organization for Standardization (ISO), Health Insurance Portability and Accountability Act (HIPAA) und Kunden können Bedrock in Übereinstimmung mit der General Data Protection Regulation (GDPR) nutzen. Amazon Bedrock ist im Umfang der SOC-Berichte 1, 2 und 3 enthalten, sodass Kunden Einblicke in unsere Sicherheitskontrollen erhalten. Wir weisen die Einhaltung der Vorschriften durch umfangreiche Prüfungen unserer AWS-Kontrollen durch Dritte nach. Amazon Bedrock ist einer der AWS-Services, die der ISO-Konformität für die Normen ISO 9001, ISO 27001, ISO 27017, ISO 27018, ISO 27701, ISO 22301 und ISO 20000 unterliegen. Amazon Bedrock ist nach CSA Security Trust Assurance and Risk (STAR) Level 2 zertifiziert, was die Verwendung von bewährten Verfahren und den Sicherheitsstatus der AWS-Cloud-Angebote bestätigt. Bei Amazon Bedrock werden Ihre Inhalte nicht zur Verbesserung der Basismodelle verwendet und nicht an Drittanbieter von Modellen weitergegeben. Sie können AWS PrivateLink verwenden, um eine private Konnektivität von Amazon VPC zu Amazon Bedrock herzustellen, ohne Ihre Daten dem Internetverkehr auszusetzen.

Nein, AWS und die Modell-Drittanbieter werden keine Eingaben oder Ausgaben von Amazon Bedrock verwenden, um Amazon Titan oder Drittanbieter-Modelle zu trainieren.

Amazon Bedrock unterstützt SDKs für Laufzeit-Services. iOS- und Android-SDKs sowie Java, JS, Python, CLI, .Net, Ruby, PHP, Go und C++ unterstützen sowohl Text- als auch Spracheingabe.

Streaming wird in allen SDKs unterstützt.

Aktuelle Preisinformationen finden Sie unter Amazon-Bedrock-Preise.

Abhängig von Ihrem AWS-Support-Vertrag wird Amazon Bedrock im Rahmen der Pläne Developer Support, Business Support und Enterprise Support unterstützt.

Sie können CloudWatch-Metriken verwenden, um die Eingabe- und Ausgabe-Token zu verfolgen.

Wir haben Continued Pre-Training für Modelle von Amazon Titan Text Express und Amazon Titan auf Amazon Bedrock eingeführt. Continued Pre-Training ermöglicht es Ihnen, das Vortraining auf einem Amazon-Titan-Basismodell mit großen Mengen an ungekennzeichneten Daten fortzusetzen. Bei dieser Art von Training wird das Modell von einem allgemeinen Domain-Korpus an einen spezifischeren Domain-Korpus wie Medizin, Recht, Finanzen usw. angepasst, wobei die meisten Fähigkeiten des Amazon-Titan-Basismodells erhalten bleiben. 

Unternehmen möchten möglicherweise Modelle für Aufgaben in einer bestimmten Domain erstellen. Die Basismodelle sind möglicherweise nicht auf die Fachsprache trainiert, die in dieser speziellen Domain verwendet wird. Die direkte Feinabstimmung des Basismodells erfordert daher große Mengen an gekennzeichneten Trainingsdatensätzen und eine lange Trainingsdauer, um genaue Ergebnisse zu erzielen. Um diesen Aufwand zu verringern, kann der Kunde stattdessen große Mengen an nicht gekennzeichneten Daten für einen Continued-Pre-Training-Auftrag zur Verfügung stellen. Mit dieser Aufgabe wird das Amazon-Titan-Basismodell an die neue Domain angepasst. Anschließend kann der Kunde das neu vortrainierte benutzerdefinierte Modell auf nachgelagerte Aufgaben abstimmen, wobei deutlich weniger markierte Trainingsdatensätze und eine kürzere Trainingsdauer benötigt werden. 

Amazon Bedrock Continued Pre-Training und Fine Tuning haben sehr ähnliche Anforderungen. Aus diesem Grund haben wir uns dafür entschieden, einheitliche APIs zu erstellen, die sowohl das fortlaufende Pre-Training als auch Fine Tuning unterstützen. Die Vereinheitlichung der APIs reduziert die Lernkurve und hilft den Kunden bei der Nutzung von Standard-Features wie Amazon EventBridge zur Verfolgung lang laufender Aufträge, Amazon-S3-Integration zum Abrufen von Trainingsdaten, Ressourcen-Tags und Modellverschlüsselung. 

Das Continued Pre-Training hilft Ihnen, die Amazon-Titan-Modelle an Ihre Domain-Spezifischen Daten anzupassen, wobei die Basisfunktionalität der Amazon-Titan-Modelle erhalten bleibt. Um einen Continued-Pre-Training-Auftrag zu erstellen, navigieren Sie zur Amazon-Bedrock-Konsole und klicken Sie auf „Benutzerdefinierte Modelle“. Sie navigieren zur Seite für benutzerdefinierte Modelle, die zwei Registerkarten enthält: Modelle und Trainingsaufträge. Beide Registerkarten bieten auf der rechten Seite ein Dropdownmenü namens „Modell anpassen“. Wählen Sie im Dropdownmenü „Continued Pretraining“ aus, um zu „Continued-Pretraining-Auftrag erstellen“ zu gelangen. Sie geben das Quellmodell, den Namen, die Modellverschlüsselung, die Eingabedaten, die Hyperparameter und die Ausgabedaten an. Zusätzlich können Sie Tags sowie Details zu AWS Identity and Access Management (IAM)-Rollen und Ressourcenrichtlinien für den Auftrag angeben.

Die Amazon-Titan-Modellfamilie ist exklusiv für Amazon Bedrock erhältlich und beinhaltet die 25-jährige Erfahrung von Amazon bei Innovationen mit KI und Machine Learning im gesamten Unternehmen. Amazon-Titan-FMs bieten Kunden über eine vollständig verwaltete API eine breite Auswahl an leistungsstarken Bild-, multimodalen und Textmodellen. Amazon-Titan-Modelle werden von AWS erstellt und anhand großer Datensätze vortrainiert, sodass sie leistungsstarke Allzweckmodelle sind, die eine Vielzahl von Anwendungsfällen unterstützen und gleichzeitig den verantwortungsvollen Umgang mit KI unterstützen. Verwenden Sie sie unverändert oder passen Sie sie individuell mit Ihren eigenen Daten an.

Weitere Informationen über Daten, die zur Entwicklung und zum Training von Amazon-Titan-FMs verarbeitet werden, finden Sie unter Amazon Titan – Modelltraining & Datenschutz.

Zu den unterstützten Datenformaten gehören .pdf-, .txt-, .md-, .html-, .doc- und .docx-, .csv-, .xls- und .xlsx-Dateien. Dateien müssen in Amazon S3 hochgeladen werden. Zeigen Sie auf den Speicherort Ihrer Daten in Amazon S3, und Wissensdatenbanken für Amazon Bedrock kümmert sich um den gesamten Aufnahme-Workflow in Ihre Vektordatenbank.

Knowledge Bases für Amazon Bedrock bietet drei Optionen zum Aufteilen von Text, bevor er in Einbettungen umgewandelt wird. 

1.  Standardoption: Wissensdatenbanken für Amazon Bedrock teilt Ihr Dokument automatisch in Abschnitte auf, die jeweils 200 Token enthalten, um sicherzustellen, dass ein Satz nicht in der Mitte unterbrochen wird. Enthält ein Dokument weniger als 200 Tokens, wird es nicht weiter aufgeteilt. Zwischen zwei aufeinanderfolgenden Chunks wird eine Überlappung von 20 % der Token beibehalten.

2.  Chunking mit fester Größe: Bei dieser Option können Sie die maximale Anzahl von Token pro Block und den Prozentsatz der Überlappung zwischen Blöcken angeben für Wissensdatenbanken für Amazon Bedrock angeben, damit Ihr Dokument automatisch in Abschnitte aufgeteilt wird, um sicherzustellen, dass ein Satz nicht in der Mitte unterbrochen wird. 

3.  Option „Eine Einbettung pro Dokument erstellen“: Amazon Bedrock erstellt eine Einbettung pro Dokument. Diese Option eignet sich, wenn Sie Ihre Dokumente vorverarbeitet haben, indem Sie sie in separate Dateien aufgeteilt haben, und nicht möchten, dass Amazon Bedrock Ihre Dokumente weiter zerlegt.
 

Gegenwärtig verwendet Wissensdatenbanken für Amazon Bedrock die neueste Version des Amazon-Titan-Text-Einbettungsmodells, das in Amazon Bedrock verfügbar ist. Das Amazon-Titan-Text-Einbettungsmodell unterstützt 8K-Token und mehr als 25 Sprachen und erstellt eine Einbettung mit 1 536 Dimensionen. 

Knowledge Bases für Amazon Bedrock kümmert sich um den gesamten Erfassungsablauf, bei dem Ihre Dokumente in Einbettungen (Vektoren) umgewandelt und die Einbettungen in einer speziellen Vektordatenbank gespeichert werden. Knowledge Bases für Amazon Bedrock unterstützt gängige Datenbanken für die Vektorspeicherung, einschließlich Vektor-Engine für Amazon OpenSearch Serverless, Pinecone, Redis Enterprise Cloud, Amazon Aurora (in Kürze verfügbar) und MongoDB (in Kürze verfügbar). Wenn Sie noch keine Vektordatenbank haben, erstellt Amazon Bedrock einen OpenSearch Serverless Vector Store für Sie.

Je nach Anwendungsfall können Sie Amazon EventBridge verwenden, um eine regelmäßige oder ereignisgesteuerte Synchronisierung zwischen Amazon S3 und Wissensdatenbanken für Amazon Bedrock zu erstellen.

Mit der Modellbewertung von Amazon Bedrock können Sie mit nur wenigen kurzen Schritten das beste FM für Ihren Anwendungsfall bewerten, vergleichen und auswählen. Amazon Bedrock bietet die Wahl zwischen automatischer Bewertung und menschlicher Bewertung. Sie können die automatische Bewertung mit vordefinierten Metriken wie Genauigkeit, Robustheit und Toxizität verwenden. Sie können menschliche Bewertungs-Workflows für subjektive oder benutzerdefinierte Metriken wie Freundlichkeit, Stil und Übereinstimmung mit der Markensprache verwenden. Bei menschlichen Bewertungen können Ihre eigenen Mitarbeiter oder ein von AWS verwaltetes Team als Prüfer eingesetzt werden. Die Modellbewertung von Amazon Bedrock bietet integrierte kuratierte Datensätze. Sie können aber auch Ihre eigenen Datensätze verwenden.

Mithilfe automatischer Bewertungen können Sie eine Vielzahl vordefinierter Metriken wie Genauigkeit, Robustheit und Toxizität bewerten. Sie können auch menschliche Bewertungs-Workflows für subjektive oder benutzerdefinierte Metriken verwenden, wie z. B. Freundlichkeit, Relevanz, Stil und Übereinstimmung mit der Markensprache.

Automatische Bewertungen ermöglichen es Ihnen, die Liste der verfügbaren FMs anhand von Standardkriterien (wie Genauigkeit, Toxizität und Robustheit) schnell einzugrenzen. Von Menschen durchgeführte Bewertungen werden häufig zur Beurteilung von differenzierteren oder subjektiven Kriterien verwendet, welche ein menschliches Urteilsvermögen erfordern und bei denen es möglicherweise keine automatischen Bewertungen gibt (z. B. Übereinstimmung mit der Markensprache, kreative Absicht, Freundlichkeit).

Sie können Amazon-Bedrock-Modelle schnell auf Metriken wie Genauigkeit, Robustheit und Toxizität prüfen, indem Sie kuratierte integrierte Datensätze verwenden oder Ihre eigenen Prompt-Datensätze einbringen. Nachdem Ihre Prompt-Datensätze zur Inferenz an Amazon.Bedrock-Modelle gesendet wurden, werden die Modellantworten mit Bewertungsalgorithmen für jede Dimension bewertet. Die Backend-Engine fasst die einzelnen Prompt-Response-Ergebnisse zu einer Gesamtbewertung zusammen und stellt sie in leicht verständlichen visuellen Berichten dar.

Mit Amazon Bedrock können Sie in wenigen Schritten menschliche Überprüfungsworkflows einrichten und Ihre internen Mitarbeiter oder ein von AWS verwaltetes Expertenteam zur Bewertung von Modellen heranziehen. Über die intuitive Benutzeroberfläche von Amazon Bedrock können Benutzer Modellantworten überprüfen und Feedback dazu geben, indem sie auf Daumen hoch oder runter klicken, auf einer Skala von 1 bis 5 bewerten, die beste aus mehreren Antworten auswählen oder Prompts bewerten. Beispielsweise kann einem Teammitglied gezeigt werden, wie zwei Modelle auf dieselbe Aufforderung reagieren, und dann aufgefordert werden, das Modell auszuwählen, das genauere, relevantere oder stilistischere Ergebnisse liefert. Sie können die für Sie wichtigen Bewertungskriterien festlegen, indem Sie die Anweisungen und Schaltflächen auf der Bewertungsoberfläche für Ihr Team anpassen. Sie können auch detaillierte Anweisungen mit Beispielen und dem Gesamtziel der Modellbewertung geben, damit Benutzer ihre Arbeit entsprechend ausrichten können. Diese Methode ist nützlich, um subjektive Kriterien zu bewerten, die ein menschliches Urteilsvermögen oder ein differenziertes Fachwissen erfordern und die nicht ohne weiteres durch automatische Auswertungen beurteilt werden können.

Integritätsschutz für Amazon Bedrock hilft Ihnen Schutzmaßnahmen für Ihre generativen KI-Anwendungen zu implementieren, die auf Ihren Anwendungsfällen und verantwortungsvollen KI-Richtlinien basieren. Integritätsschutz hilft dabei, die Interaktion zwischen Nutzern und FMs zu kontrollieren, indem unerwünschte und schädliche Inhalte gefiltert werden, und bald persönlich identifizierbare Informationen (PII) geschwärzt werden, um die Sicherheit von Inhalten und die Privatsphäre in generativen KI-Anwendungen zu verbessern. Sie können mehrere Integrationsschutzebenen mit unterschiedlichen Konfigurationen erstellen, die auf bestimmte Anwendungsfälle zugeschnitten sind. Außerdem können Sie mit dem Integritätsschutz Benutzereingaben und FM-Reaktionen, die gegen die vom Kunden definierten Richtlinien verstoßen könnten, kontinuierlich überwachen und analysieren.

Mit dem Integritätsschutz können Sie eine Reihe von Richtlinien definieren, um Ihre generativen KI-Anwendungen zu schützen. Sie können die folgenden Richtlinien in einem Integritätsschutz konfigurieren.

• Verweigerte Themen: Definieren Sie eine Reihe von Themen, die im Kontext Ihrer Anwendung unerwünscht sind. Beispielsweise kann ein Online-Banking-Assistent so konzipiert werden, dass er keine Anlageberatung anbietet.
• Inhaltsfilter: Konfigurieren Sie Schwellenwerte, um schädliche Inhalte in den Kategorien Hass, Beleidigung, Sexualität und Gewalt zu filtern.
• Wortfilter (in Kürze verfügbar): Definieren Sie eine Reihe von Wörtern, die in Benutzereingaben und FM-generierten Antworten blockiert werden sollen.
• PII-Redigierung (in Kürze verfügbar): Wählen Sie eine Reihe von PII aus, die in FM-generierten Antworten geschwärzt werden können. Je nach Anwendungsfall können Sie auch eine Benutzereingabe blockieren, wenn sie personenbezogene Daten enthält.

Guardrails kann mit allen großen Sprachmodellen verwendet werden, die auf Amazon Bedrock verfügbar sind, einschließlich Titan, Anthropic Claude, Meta Llama 2, AI21 Jurassic und Cohere Command FMs. Er kann auch mit fein abgestimmten FMs sowie Kundendienstmitarbeitern für Amazon Bedrock verwendet werden.

AWS bietet eine unbegrenzte Entschädigung für Urheberrechtsansprüche, die sich aus der generativen Ausgabe der folgenden allgemein verfügbaren generativen KI-Services von Amazon ergeben: Amazon Titan Models, Amazon CodeWhisperer Professional und andere Services, die in Abschnitt 50.10 der Servicebedingungen aufgeführt sind (die „entschädigten generativen KI-Services“). Dies bedeutet, dass die Kunden vor Ansprüchen Dritter geschützt sind, die behaupten, dass die von den entschädigten generativen KI-Diensten als Reaktion auf vom Kunden bereitgestellte Eingaben oder andere Daten erzeugte Ausgabe gegen das Urheberrecht verstößt. Die Kunden müssen die Dienste auch verantwortungsbewusst nutzen, z. B. indem sie keine rechtsverletzenden Daten eingeben oder die Filter-Features eines Dienstes deaktivieren.

Darüber hinaus schützt unsere standardmäßige IP-Entschädigungsklausel für die Nutzung der Dienste die Kunden vor Ansprüchen Dritter, die behaupten, dass die Dienste und die zu ihrer Schulung verwendeten Daten gegen geistiges Eigentum verstoßen (einschließlich Urheberrechtsansprüchen).