Amazon Bedrock Marketplace: Zugriff auf über 100 Foundation Modells, an einem Ort

von Danilo Poccia übersetzt durch Tobias Wasle

Heute stellen ich Ihnen den Amazon Bedrock Marketplace[EN] vor, ein neuartiger Zugang zu über 100 beliebten, aufstrebenden und spezialisierten Basismodellen (engl. Foundation Models kurz FMs) über Amazon Bedrock. Mit diesem können Sie jetzt neue Modelle von Enterprise-Anbietern wie IBM und Nvidia, spezialisierte Modelle wie Upstages‘ Solar Pro für koreanische Sprachverarbeitung oder Evolutionary Scales ESM3 für Proteinforschung verwenden, gleich neben FMs von Anbietern wie Anthropic und Meta auf Amazon Bedrock.

Modelle, die mit Amazon Bedrock Marketplace bereitgestellt werden, können über die gleichen APIs wie die nativen Bedrock-Modelle aufgerufen werden. Marktplatz-Modelle, die mit der Converse-API kompatibel sind können auch mit Tools wie Amazon Bedrock Agents und Amazon Bedrock Knowledge Bases verwendet werden.

Da generative KI auch immer mehr Organisationen verändert, wächst der Bedarf an spezialisierten Modellen, die für bestimmte Domänen, Sprachen oder Aufgaben optimiert sind. Doch das Suchen und Bewerten dieser Modelle kann herausfordernd und kostspielig sein. Um ein neues Modell zur Anwendung zu Bringen, müssen Sie es irgendwo finden, Abstraktionen schaffen, und anbinden, sowie komplexe Sicherheits- und Governance-Anforderungen bewältigen. Amazon Bedrock Marketplace adressiert diese Herausforderungen, indem es eine einzige Schnittstelle für den Zugriff auf spezialisierte sowie auch generelle FMs bietet.

Verwendung des Amazon Bedrock Marketplace

Um zu beginnen, wähle ich in der Amazon Bedrock-Konsole Model Catalog (Modellkatalog) im Abschnitt Basismodelle der Navigationsleiste aus. Hier kann ich nach Modellen suchen, die mir bei einem spezifischen Anwendungsfall oder einer bestimmten Sprache helfen. Die Suchergebnisse umfassen sowohl die bekt Modelle als auch Modelle, die im Amazon Bedrock Marketplace verfügbar sind. Ich kann die Ergebnisse nach Anbieter, Modalität (Text, Bild oder Audio) oder Aufgabe (wie Klassifizierung oder Textzusammenfassung) filtern.

Im Katalog gibt es Modelle von Organisationen wie Arcee AI [EN,EXTERN] , die kontextangepasste kleine Sprachmodelle (SLMs) entwickeln, und Widn.AI[EXTERN], die mehrsprachige Modelle anbieten.

Zum Beispiel interessiere ich mich für die IBM Granite [EN,EXTERN] -Modelle und suche nach Modellen von IBM Data and AI.

Ich wähle Granite 3.0 2B Instruct, ein Sprachmodell, das für Enterprise-Anwendungen entwickelt wurde. Die Auswahl des Modells öffnet die Modelldetailseite, auf der ich weitere Informationen vom Modellanbieter sehen kann, wie Highlights über das Modell, Preisgestaltung und Nutzung einschließlich Beispiel-API-Aufrufen.

Dieses spezielle Modell erfordert ein Abonnement, und ich wähle Abonnementoptionen anzeigen.

Im Abonnement-Dialog überprüfe ich die Preisgestaltung und rechtlichen Hinweise. Unter Preisdetails sehe ich den vom Anbieter festgelegten Softwarepreis. Für dieses Modell fallen keine zusätzlichen Kosten über die bereitgestellte Infrastruktur hinaus an. Die Amazon SageMaker-Infrastrukturkosten werden separat berechnet und können in der Amazon SageMaker-Preisgestaltung eingesehen werden.

Um mit diesem Modell fortzufahren, wähle ich Abonnieren.

Nachdem das Abonnement abgeschlossen wurde, was normalerweise einige Minuten dauert, kann ich das Modell bereitstellen. Für die Deployment details (Bereitstellungsdetails) verwende ich die Standardeinstellungen und den empfohlenen Instanztyp.

Ich erweitere die optionalen Advanced Settings (erweiterte Einstellungen). Hier kann ich wählen, ob ich das FM in einem virtuellen privaten Cloud (VPC) bereitstellen möchte oder die AWS Identity and Access Management (IAM)-Servicerolle angeben, die von dem bereitgestellten FM verwendet werden soll. Amazon Bedrock Marketplace erstellt automatisch eine Servicerolle für den Zugriff auf Amazon Simple Storage Service (Amazon S3)-Buckets, in denen die Modellgewichte gespeichert sind, aber ich kann auch wählen, eine bestehende Rolle zu verwenden.

Ich behalte die Standardwerte bei und schließe die Bereitstellung ab.

Nach einigen Minuten ist die Bereitstellung In Betrieb und kann auf der Seite Marketplace-deployments in der Navigationsleiste eingesehen werden.

Dort kann ich einen Endpunkt auswählen, um Details anzuzeigen und die Konfiguration wie die Anzahl der Instanzen zu bearbeiten. Um die Bereitstellung zu testen, wähle ich Open in Playground (Im Playground öffnen) und bitte um etwas Poesie.

Ich kann das Modell auch auf der Seite Chat/Text des Playgrounds über die neue Kategorie Marketplace auswählen, in der die bereitgestellten Endpunkte aufgelistet sind.

Auf ähnliche Weise kann ich das Modell mit anderen Tools wie Amazon Bedrock Agents, Amazon Bedrock Knowledge Bases, Amazon Bedrock Prompt Management, Amazon Bedrock Guardrails und Modellevaluierungen verwenden, indem ich das Modell auswählen und den Marketplace-Modellendpunkt wähle.

Das hier verwendete Modell generiert Text-zu-Text, aber ich kann den Amazon Bedrock Marketplace verwenden, um Modelle für verschiedenen Modalitäten bereitzustellen. Zum Beispiel kann ich nach der Bereitstellung von Stability AI[EN,EXTERN] Stable Diffusion 3.5 Large[EN,EXTERN] einen kurzen Test im Amazon Bedrock Image-Playground durchführen.

Die von mir bereitgestellten Modelle sind über die Amazon Bedrock InvokeModel API verfügbar. Wenn ein Modell bereitgestellt ist, kann ich es mit der AWS Command Line Interface (AWS CLI) und allen AWS SDKs verwenden, indem ich den Endpunkt Amazon Resource Name (ARN) als Modell-ID verwende.

Für Chat-optimierte Sprachmodelle kann ich auch die Amazon Bedrock Converse API verwenden, die Modellunterschiede abstrahiert und einen Modellwechsel mit einer einzigen Parameteränderung ermöglicht.

Wissenswertes

Amazon Bedrock Marketplace[EN] ist in den folgenden AWS-Regionen verfügbar: US East (N. Virginia), US East (Ohio), US West (Oregon), Asien-Pazifik (Mumbai), Asien-Pazifik (Seoul), Asien-Pazifik (Singapur), Asien-Pazifik (Sydney), Asien-Pazifik (Tokio), Kanada (Central), Europa (Frankfurt), Europa (Irland), Europa (London), Europa (Paris) und Südamerika (São Paulo).

Mit Amazon Bedrock Marketplace zahlen Sie Lizenzgebühran den Drittanbieter des Modells (die wie im vorherigen Beispiel auch 0 € sein kann) und eine Hosting-Gebühr basierend auf der Art und Anzahl der Instanzen, die Sie für Ihre Modellendpunkte wählen.

Entdecken Sie die neuen Modelle im Modellkatalog in der Amazon Bedrock-Konsole, besuchen Sie die Amazon Bedrock Marketplace-Dokumentation und senden Sie Feedback an AWS re:Post für Amazon Bedrock. Tiefgehende technische Inhalte und Einblicke, wie unsere Builder-Communities Amazon Bedrock nutzen, finden Sie auf community.aws.

Über die Autoren

Danilo Poccia arbeitet mit Startups und Unternehmen jeder Größe zusammen, um deren Innovation zu unterstützen. In seiner Rolle als Chief Evangelist (EMEA) bei Amazon Web Services nutzt er seine Erfahrung, um Menschen dabei zu helfen, ihre Ideen zum Leben zu erwecken. Dabei konzentriert er sich auf serverlose Architekturen und ereignisgesteuerte Programmierung sowie auf die technischen und geschäftlichen Auswirkungen von maschinellem Lernen und Edge Computing. Er ist der Autor von „AWS Lambda in Action“ aus dem Manning-Verlag.