Übersicht
Der Generative AI Application Builder in AWS vereinfacht die Entwicklung, das schnelle Experimentieren und den Einsatz von Anwendungen für generative künstliche Intelligenz (KI), ohne dass umfassende Erfahrungen mit KI erforderlich sind. Diese AWS-Lösung beschleunigt die Entwicklung und optimiert Experimente, indem sie Ihnen hilft, Ihre geschäftsspezifischen Daten und Dokumente zu erfassen, die Leistung großer Sprachmodelle (LLMs) zu bewerten und zu vergleichen, schnell erweiterbare Anwendungen zu erstellen und diese Anwendungen mit einer Architektur für Unternehmen bereitzustellen.
Generative-KI-Anwendungsentwickler in AWS umfasst Integrationen mit Amazon Bedrock und den darin enthaltenen LLMs, sowie den in Amazon SageMaker bereitgestellten LLMs. Darüber hinaus verfügt diese Lösung über vorgefertigte Konnektoren zu Anbietern wie Anthropic und Hugging Face und ermöglicht Verbindungen zu einem Modell Ihrer Wahl über LangChain oder AWS Lambda. Beginnen Sie mit dem No-Code-Bereitstellungsassistenten, um generative KI-Anwendungen für Konversationssuche, KI-generierte Chatbots, Textgenerierung und Textzusammenfassung zu erstellen.
Vorteile
Mit dieser Lösung können Benutzer schnell experimentieren, da der Aufwand entfällt, der für die Bereitstellung mehrerer Instances mit unterschiedlichen Konfigurationen und für den Vergleich von Ergebnissen und Leistung erforderlich ist. Experimentieren Sie mit mehreren Konfigurationen verschiedener LLMs, Prompt Engineering, Wissensdatenbanken für Unternehmen und anderen Parametern.
Mit vorgefertigten Konnektoren zu einer Vielzahl von LLMs, wie z. B. den über Amazon Bedrock verfügbaren Modellen und den externen Anbietern Anthropic und Hugging Face, bietet Ihnen diese Lösung die Flexibilität, das Modell Ihrer Wahl sowie die von Ihnen bevorzugten AWS- und führenden FM-Services bereitzustellen.
Diese Lösung basiert auf den Entwicklungsprinzipien von AWS Well-Architected und bietet Sicherheit und Skalierbarkeit auf Unternehmensniveau mit hoher Verfügbarkeit und geringer Latenz. Dadurch wird eine nahtlose Integration in Ihre Anwendungen mit hohen Leistungsstandards gewährleistet.
Erweitern Sie die Funktionalität dieser Lösung, indem Sie Ihre vorhandenen Projekte integrieren oder zusätzliche AWS-Services nativ verbinden. Da es sich um eine Open-Source-Anwendung handelt, können Sie die enthaltene LangChain-Orchestrierungsservice-Ebene oder Lambda-Funktionen verwenden, um eine Verbindung mit den Services Ihrer Wahl herzustellen.
Technische Details
Sie können diese Architektur mithilfe des Implementierungsleitfadens und der zugehörigen AWS-CloudFormation-Vorlage, die zwei separate Architekturen bereitstellt, automatisch bereitstellen:
- Bereitstellungs-Dashboard – Das Bereitstellungs-Dashboard ist eine Web-Benutzeroberfläche (UI), die Administratorbenutzern als Verwaltungskonsole zum Anzeigen, Verwalten und Erstellen ihrer Anwendungsfälle dient. Dieses Dashboard ermöglicht es Kunden, mithilfe mehrerer Konfigurationen von LLMs und Daten schnell mit Anwendungen für generative KI zu experimentieren, zu iterieren und bereitzustellen.
- Textanwendungsfall – Der Testanwendungsfall ermöglicht es Benutzern, mithilfe generativer KI eine Benutzeroberfläche in natürlicher Sprache zu erleben. Dieser Anwendungsfall kann in neue oder bestehende Anwendungen integriert werden und kann über das Bereitstellungs-Dashboard oder unabhängig über eine angegebene URL bereitgestellt werden.
-
Bereitstellungs-Dashboard
-
Anwendungsfall-Text
-
Bereitstellungs-Dashboard
-
Zum Vergrößern klicken
Schritt 1
Admin-Benutzer melden sich bei der Benutzeroberfläche des Bereitstellungs-Dashboards an.
Schritt 2
Amazon CloudFront stellt die Webbenutzeroberfläche bereit, die in einem Amazon Simple Storage Service (Amazon S3)-Bucket gehostet wird.Schritt 3
AWS WAF schützt die APIs vor Angriffen. Diese Lösung konfiguriert eine Reihe von Regeln, die als Web-Zugriffssteuerungsliste (Web-ACL) bezeichnet werden und Webanfragen auf der Grundlage konfigurierbarer, benutzerdefinierter Websicherheitsregeln und -bedingungen zulassen, blockieren oder zählen.
Schritt 4
Die Webbenutzeroberfläche nutzt eine Reihe von REST-APIs, die mithilfe von Amazon API Gateway verfügbar gemacht werden.
Schritt 5
Amazon Cognito authentifiziert Benutzer und unterstützt sowohl die CloudFront-Webbenutzeroberfläche als auch das API Gateway.
Schritt 6
AWS Lambda stellt die Geschäftslogik für die REST-Endpunkte bereit. Diese unterstützende Lambda-Funktion verwaltet und erstellt die erforderlichen Ressourcen für die Durchführung von Anwendungsfall-Bereitstellungen mit AWS CloudFormation.Schritt 7
Amazon DynamoDB fungiert als Konfigurationsspeicher für die Bereitstellungsdetails.Schritt 8
Wenn ein neuer Anwendungsfall vom Admin-Benutzer erstellt wird, initiiert die unterstützende Lambda-Funktion ein CloudFormation-Stack-Erstellungsereignis für den angeforderten Anwendungsfall.Schritt 9
Wenn die konfigurierte Bereitstellung ein LLM verwendet, auf das außerhalb von AWS zugegriffen wird, ist ein API-Schlüssel erforderlich und in AWS Secrets Manager wird ein Geheimnis zum Speichern des API-Schlüssels erstellt.Schritt 10
Alle vom Admin-Benutzer im Bereitstellungsassistenten bereitgestellten LLM-Konfigurationsoptionen werden in einem Parameterspeicher, einer Funktion von AWS Systems Manager gespeichert. Die Bereitstellung verwendet diesen Parameterspeicher, um das LLM zur Laufzeit zu konfigurieren.Schritt 11
Mithilfe von Amazon CloudWatch sammelt diese Lösung Betriebsmetriken von verschiedenen Services, um benutzerdefinierte Dashboards zu generieren, mit denen Sie die Leistung und den Betriebsstatus der Lösung überwachen können.
Schritt 1
Admin-Benutzer melden sich bei der Benutzeroberfläche des Bereitstellungs-Dashboards an.
Schritt 2
Amazon CloudFront stellt die Webbenutzeroberfläche bereit, die in einem Amazon Simple Storage Service (Amazon S3)-Bucket gehostet wird.Schritt 3
AWS WAF schützt die APIs vor Angriffen. Diese Lösung konfiguriert eine Reihe von Regeln, die als Web-Zugriffssteuerungsliste (Web-ACL) bezeichnet werden und Webanfragen auf der Grundlage konfigurierbarer, benutzerdefinierter Websicherheitsregeln und -bedingungen zulassen, blockieren oder zählen.
Schritt 4
Die Webbenutzeroberfläche nutzt eine Reihe von REST-APIs, die mithilfe von Amazon API Gateway verfügbar gemacht werden.
Schritt 5
Amazon Cognito authentifiziert Benutzer und unterstützt sowohl die CloudFront-Webbenutzeroberfläche als auch das API Gateway.
Schritt 6
AWS Lambda stellt die Geschäftslogik für die REST-Endpunkte bereit. Diese unterstützende Lambda-Funktion verwaltet und erstellt die erforderlichen Ressourcen für die Durchführung von Anwendungsfall-Bereitstellungen mit AWS CloudFormation.Schritt 7
Amazon DynamoDB fungiert als Konfigurationsspeicher für die Bereitstellungsdetails.Schritt 8
Wenn ein neuer Anwendungsfall vom Admin-Benutzer erstellt wird, initiiert die unterstützende Lambda-Funktion ein CloudFormation-Stack-Erstellungsereignis für den angeforderten Anwendungsfall.Schritt 9
Wenn die konfigurierte Bereitstellung ein LLM verwendet, auf das außerhalb von AWS zugegriffen wird, ist ein API-Schlüssel erforderlich und in AWS Secrets Manager wird ein Geheimnis zum Speichern des API-Schlüssels erstellt.Schritt 10
Alle vom Admin-Benutzer im Bereitstellungsassistenten bereitgestellten LLM-Konfigurationsoptionen werden in einem Parameterspeicher, einer Funktion von AWS Systems Manager, gespeichert. Die Bereitstellung verwendet diesen Parameterspeicher, um das LLM zur Laufzeit zu konfigurieren.Schritt 11
Mithilfe von Amazon CloudWatch sammelt diese Lösung Betriebsmetriken von verschiedenen Services, um benutzerdefinierte Dashboards zu generieren, mit denen Sie die Leistung und den Betriebsstatus der Lösung überwachen können.
-
Anwendungsfall-Text
-
Zum Vergrößern klicken
Schritt 1
Admin-Benutzer stellen den Anwendungsfall mithilfe des Bereitstellungs-Dashboards bereit. Geschäftsanwender melden sich bei der Benutzeroberfläche des Anwendungsfalls an.
Schritt 2
CloudFront stellt die Web-Benutzeroberfläche bereit, die in einem S3-Bucket gehostet wird.Schritt 3
Die Webbenutzeroberfläche nutzt eine WebSocket-Integration, die mit API-Gateway erstellt wurde. Das API-Gateway wird von einer benutzerdefinierten Lambda-Authorizer-Funktion unterstützt, die die entsprechende AWS Identity and Access Management (IAM)-Richtlinie zurückgibt, die auf der Amazon-Cognito-Gruppe basiert, zu der der authentifizierende Benutzer gehört.Schritt 4
Amazon Cognito authentifiziert Benutzer und unterstützt sowohl die CloudFront-Webbenutzeroberfläche als auch das API Gateway.
Schritt 5
Der LangChain Orchestrator ist eine Sammlung von Lambda-Funktionen und -Schichten, die die Geschäftslogik für die Erfüllung von Anforderungen von Geschäftsbenutzern bereitstellen.
Schritt 6
Der LangChain Orchestrator verwendet Parameter Store und DynamoDB, um die konfigurierten LLM-Optionen und die erforderlichen Sitzungsinformationen wie den Chat-Verlauf abzurufen.Schritt 7
Wenn für die Bereitstellung die Wissensdatenbank aktiviert ist, nutzt der LangChain Orchestrator Amazon Kendra, um eine Suchabfrage zum Abrufen von Dokumentauszügen auszuführen.Schritt 8
Mithilfe des Chat-Verlaufs, der Abfrage und des Kontextes von Amazon Kendra erstellt der LangChain-Orchestrator die endgültige Aufforderung und sendet die Anfrage an das LLM, das in Amazon Bedrock oder Amazon SageMaker gehostet wird.Schritt 9
Wenn Sie ein LLM verwenden, auf das außerhalb von AWS zugegriffen wird, wird der API-Schlüssel in Secrets Manager gespeichert. Dieser API-Schlüssel muss vor dem API-Aufruf an den Modellanbieter abgerufen werden.Schritt 10
Wenn die Antwort vom LLM zurückgegeben wird, streamt der LangChain Orchestrator die Antwort zurück über den API-Gateway-WebSocket, damit diese von der Client-Anwendung verarbeitet wird.
Schritt 11
Mithilfe von CloudWatch sammelt diese Lösung Betriebsmetriken von verschiedenen Services, um benutzerdefinierte Dashboards zu generieren, mit denen Sie die Leistung und den Betriebsstatus der Bereitstellung überwachen können.
Schritt 1
Admin-Benutzer stellen den Anwendungsfall mithilfe des Bereitstellungs-Dashboards bereit. Geschäftsanwender melden sich bei der Benutzeroberfläche des Anwendungsfalls an.
Schritt 2
CloudFront stellt die Web-Benutzeroberfläche bereit, die in einem S3-Bucket gehostet wird.Schritt 3
Die Webbenutzeroberfläche nutzt eine WebSocket-Integration, die mit API-Gateway erstellt wurde. Das API-Gateway wird von einer benutzerdefinierten Lambda-Authorizer-Funktion unterstützt, die die entsprechende AWS Identity and Access Management (IAM)-Richtlinie zurückgibt, die auf der Amazon-Cognito-Gruppe basiert, zu der der authentifizierende Benutzer gehört.Schritt 4
Amazon Cognito authentifiziert Benutzer und unterstützt sowohl die CloudFront-Webbenutzeroberfläche als auch das API Gateway.
Schritt 5
Der LangChain Orchestrator ist eine Sammlung von Lambda-Funktionen und -Schichten, die die Geschäftslogik für die Erfüllung von Anforderungen von Geschäftsbenutzern bereitstellen.
Schritt 6
Der LangChain Orchestrator verwendet Parameter Store und DynamoDB, um die konfigurierten LLM-Optionen und die erforderlichen Sitzungsinformationen wie den Chat-Verlauf abzurufen.Schritt 7
Wenn für die Bereitstellung die Wissensdatenbank aktiviert ist, nutzt der LangChain Orchestrator Amazon Kendra, um eine Suchabfrage zum Abrufen von Dokumentauszügen auszuführen.Schritt 8
Mithilfe des Chat-Verlaufs, der Abfrage und des Kontextes von Amazon Kendra erstellt der LangChain-Orchestrator die endgültige Aufforderung und sendet die Anfrage an das LLM, das in Amazon Bedrock oder Amazon SageMaker gehostet wird.Schritt 9
Wenn Sie ein LLM verwenden, auf das außerhalb von AWS zugegriffen wird, wird der API-Schlüssel in Secrets Manager gespeichert. Dieser API-Schlüssel muss vor dem API-Aufruf an den Modellanbieter abgerufen werden.Schritt 10
Wenn die Antwort vom LLM zurückgegeben wird, streamt der LangChain Orchestrator die Antwort zurück über den API-Gateway-WebSocket, damit diese von der Client-Anwendung verarbeitet wird.
Schritt 11
Mithilfe von CloudWatch sammelt diese Lösung Betriebsmetriken von verschiedenen Services, um benutzerdefinierte Dashboards zu generieren, mit denen Sie die Leistung und den Betriebsstatus der Bereitstellung überwachen können.
- Datum der Veröffentlichung
Ähnliche Inhalte
Der einfachste Weg, Anwendungen für generative KI mit Basismodellen zu erstellen und zu skalieren.
Dieser Leitfaden zeigt, wie Sie ein von Amazon SageMaker JumpStart bereitgestelltes Modell der generativen künstlichen Intelligenz (KI) einsetzen, um mithilfe des AWS Cloud Development Kit (AWS CDK) einen asynchronen SageMaker-Endpunkt zu erstellen.
Dieser Leitfaden zeigt, wie eine Anwendung erstellt wird, mit der Benutzer mithilfe von Abfragen in natürlicher Sprache (NLQ) Fragen direkt an relationale Datenbanken stellen können.
Steigern Sie die Produktivität, schaffen Sie differenzierte Erlebnisse und führen Sie Innovationen mit AWS schneller ein.