Häufig gestellte Fragen zu Amazon SageMaker AI

Amazon SageMaker AI (ehemals Amazon SageMaker) ist ein vollständig verwalteter Service, der eine breite Palette von Tools vereint, um leistungsstarkes, kostengünstiges Machine Learning (ML) für jeden Anwendungsfall zu ermöglichen. Mit SageMaker AI können Sie ML-Modelle im großen Maßstab erstellen, trainieren und bereitstellen. SageMaker ist eine einheitliche Plattform für Daten, Analytik und KI. Es bietet Kunden ein neues, KI-gestütztes, einheitliches Entwicklungserlebnis, mit dem sie einfach und schnell Anwendungen in AWS erstellen können.

Auf der re:Invent 2024 gehören zu den unterstützten Funktionen Inferenzendpunkte, JumpStart, Train, MLFlow, Model Registry, Partner-KI-Anwendungen, HyperPod, Pipelines und andere. Wir sind bestrebt, alle vorhandenen Funktionen, die die gesamte Modellentwicklung vom Training bis zur Bereitstellung unterstützen, in das neue Unified Studio zu integrieren.

SageMaker bietet ein einheitliches Daten- und KI-Erlebnis, um Ihre Daten zu finden, darauf zuzugreifen und darauf zu reagieren und so Analytik- und KI-Initiativen zu beschleunigen. SageMaker AI wird weiterhin unterstützt, sodass Sie keine Maßnahmen ergreifen müssen, um sicherzustellen, dass Ihre bestehenden Workflows weiterhin funktionieren. Sie können beispielsweise Ihre vorhandenen Amazon-SageMaker-HyperPod-Cluster weiterhin so verwenden, wie sie sind. Wenn Sie sie im neuen SageMaker Unified Studio verwenden möchten, richten Sie eine Verbindung mit diesem Cluster ein. Alle Ihre vorhandenen HyperPod-Konfigurationen werden automatisch in Ihr Projekt in SageMaker migriert, und die Leistung und Kosteneffizienz bleiben gleich. Das SageMaker-Unified-Studio-Erlebnis kann jedoch die Produktivität verbessern, da alle Tools an einem Ort zusammengeführt werden.

Wir freuen uns, ein einheitliches Studio ankündigen zu können, mit dem Sie schneller zusammenarbeiten und entwickeln können. In SageMaker Unified Studio können Sie Daten entdecken, Daten abfragen, KI-Modelle trainieren und generative KI-Anwendungen erstellen. Wir sind hier, um Sie bei jedem Schritt zu unterstützen. Wir stellen benutzerfreundliche Richtlinien zur Verfügung, mit denen Sie Ihre bestehenden Projekte im ersten Quartal 2025 in das einheitliche Studio bringen können. Wenn Sie Fragen haben, zögern Sie nicht, sich an Ihr Konto-Team zu wenden.

SageMaker Studio ist nach wie vor eine hervorragende Wahl für Kunden, die ein zuverlässiges und optimiertes ML-Entwicklungserlebnis benötigen. Unternehmen, die Daten- und Analytikfunktionen nutzen möchten, werden von der integrierten Governance, der fortschrittlichen Analytik und den generativen KI-Features der neuen einheitlichen Plattform begeistert sein. Mit der neuen integrierten Benutzeroberfläche von SageMaker Unified Studio können Sie Daten vorbereiten und integrieren, Daten mithilfe von SQL durchsuchen und Daten mit einem einheitlichen Katalog erkunden und verwalten.

Ja, HyperPod, JumpStart, MLFlow, JupyterLab und Pipelines sind alle im neuen SageMaker Unified Studio verfügbar. Darüber hinaus werden Inferenzendpunkte, Train, Model Registry und andere beliebte SageMaker-Funktionen im neuen Unified Studio unterstützt.

Reise 1. Basismodelle (FMs) auswählen, anpassen und bereitstellen:

• Einen Datensatz durchsuchen und auswählen
• Ein FM auswählen
• Modelle bewerten (automatisch und menschlich)
• Anpassen, optimieren: FM-Preis, -Leistung und -Qualität optimieren
• Für Inferenz optimieren und bereitstellen
• Mit FMOps und Modellüberwachung automatisieren

Reise 2. ML-Modelle in großem Umfang entwickeln, trainieren und bereitstellen:

• Datenvorbereitung für ML beschleunigen und skalieren
• Entwickeln von ML-Modellen
• Trainieren und Optimieren von ML-Modellen
• In der Produktion bereitstellen
• Verwalten und Überwachen
• ML-Lebenszyklus automatisieren

Reise 3. Modell auswählen, eine generative KI-Anwendung entwickeln und bereitstellen:

• Modell auswählen und optimieren
• Modell zu Amazon Bedrock importieren
• Generative KI-Anwendung entwickeln und bereitstellen, die in Ihren Endpunkt integriert ist

Reise 4. Modell auswählen, auf einem Endpunkt bereitstellen und den Endpunkt mit generativen KI-Anwendungen verbinden:

• Modell auswählen
• Modell auf einem SageMaker-Endpunkt bereitstellen
• Endpunkt mit Ihren generativen KI-Anwendungen verbinden

Das neue einheitliche Entwicklungserlebnis umfasst ein nutzungsorientiertes Preismodell für das Studio und eine durchgängige Preisgestaltung für alle zugrunde liegenden Services. Unified Studio berechnet Gebühren für die Speicherung von Metadaten, API-Anforderungen und Governance. Weitere Informationen finden Sie unter Amazon-SageMaker-Preise.

SageMaker bietet speziell entwickelte ML-Governance-Tools für den gesamten Lebenszyklus von ML. Mit Amazon SageMaker Role Manager können Administratoren in wenigen Minuten Mindestberechtigungen definieren. Amazon SageMaker Model Cards erleichtert das Erfassen, Abrufen und Weitergeben wichtiger Modellinformationen von der Konzeption bis zur Bereitstellung, und Amazon SageMaker Model Dashboard hält Sie über das Verhalten des Produktionsmodells auf dem Laufenden – alles an einem Ort. Weitere
Informationen finden Sie unter ML-Governance mit Amazon SageMaker.

Sie können mit SageMaker Role Manager Mindestberechtigungen in Minutenschnelle definieren. SageMaker Role Manager bietet einen Basissatz von Berechtigungen für ML-Aktivitäten und Personas mit einem Katalog von vorgefertigten IAM-Richtlinien. Sie können die grundlegenden Berechtigungen beibehalten oder sie weiter an Ihre speziellen Bedürfnisse anpassen. Mit ein paar selbstgesteuerten Eingabeaufforderungen können Sie schnell gängige Governance-Konstrukte wie Netzwerkzugriffsgrenzen und Verschlüsselungsschlüssel eingeben. SageMaker Role Manager erstellt die IAM-Richtlinie dann automatisch. Sie können die generierte Rolle und die zugehörigen Richtlinien über die AWS-IAM-Konsole einsehen. Um die Berechtigungen weiter auf Ihren Anwendungsfall zuzuschneiden, verknüpfen Sie Ihre verwalteten IAM-Richtlinien mit der IAM-Rolle, die Sie mit SageMaker Role Manager erstellen. Sie können auch Tags hinzufügen, um die Rolle zu identifizieren und über AWS-Services hinweg zu organisieren.

SageMaker Model Cards hilft Ihnen dabei, die Modelldokumentation über den gesamten ML-Lebenszyklus hinweg zu zentralisieren und zu standardisieren, indem Sie eine einzige Quelle der Wahrheit für Modellinformationen schaffen. SageMaker Model Cards füllt Schulungsdetails automatisch aus, um den Dokumentationsprozess zu beschleunigen. Sie können auch Details wie den Zweck des Modells und die Leistungsziele hinzufügen. Sie können die Ergebnisse der Modellbewertung an Ihre Modellkarte anhängen und Visualisierungen bereitstellen, um wichtige Einblicke in die Modellleistung zu erhalten. SageMaker Model Cards können durch Exportieren in ein PDF-Format leicht mit anderen geteilt werden.

Das SageMaker Model Dashboard gibt Ihnen einen umfassenden Überblick über die eingesetzten Modelle und Endpunkte, so dass Sie Ressourcen und Verletzungen des Modellverhaltens in einem einzigen Fenster verfolgen können. Durch die Integration mit SageMaker Model Monitor und SageMaker Clarify können Sie das Modellverhalten in vier Dimensionen überwachen, einschließlich der Daten- und Modellqualität sowie der Verzerrung und der Attributionsabweichungen. SageMaker Model Dashboard bietet außerdem eine integrierte Funktion zum Einrichten und Empfangen von Warnmeldungen für fehlende und inaktive Modellüberwachungsaufträge sowie für Abweichungen im Modellverhalten in Bezug auf Modellqualität, Datenqualität, Bias Drift und Feature Attribution Drift. Sie können einzelne Modelle weiter untersuchen und die Faktoren analysieren, die sich im Laufe der Zeit auf die Modellleistung auswirken. Dann können Sie mit ML-Praktikern nachfassen, um Korrekturmaßnahmen zu ergreifen.

SageMaker JumpStart hilft Ihnen, schnell und einfach mit ML zu beginnen. SageMaker JumpStart bietet eine Reihe von Lösungen für die häufigsten Anwendungsfälle, die mit nur wenigen Klicks bereitgestellt werden können. Die Lösungen sind vollständig anpassbar, und präsentieren die Anwendung von AWS-CloudFormation-Vorlagen und Referenzarchitektur, sodass Sie Ihre ML-Reise beschleunigen können. SageMaker JumpStart bietet auch Grundlagenmodelle und unterstützt die Ein-Klick-Bereitstellung und Feinabstimmung von mehr als 150 gängigen Open-Source-Modellen, beispielsweise für Transformer, zur Objekterkennung oder zur Bildklassifizierung. 

SageMaker JumpStart bietet proprietäre und öffentliche Modelle. Eine Liste der verfügbaren Grundlagenmodelle finden Sie unter Erste Schritte mit Amazon SageMaker JumpStart.

Sie können über SageMaker Studio, das SageMaker-SDK und die AWS-Managementkonsole auf die Grundlagenmodelle zugreifen. Um mit proprietären Basismodellen beginnen zu können, müssen Sie die Verkaufsbedingungen im AWS Marketplace akzeptieren.

Nein. Ihre Inferenz- und Trainingsdaten werden nicht verwendet oder weitergegeben, um das Basismodell, das SageMaker JumpStart den Kunden zur Verfügung stellt, zu aktualisieren oder zu trainieren.

Nein. Bei firmeneigenen Modellen können Kunden die Gewichte und Skripte der Modelle nicht einsehen.

Modelle sind in allen Regionen auffindbar, in denen SageMaker Studio verfügbar ist. Die Möglichkeit, ein Modell bereitzustellen, unterscheidet sich jedoch je nach Modell und Instance-Verfügbarkeit des erforderlichen Instanceyps. Die Verfügbarkeit der AWS-Region und die erforderliche Instance finden Sie auf der Modell-Detailseite im AWS Marketplace.

Bei proprietären Modellen werden Ihnen die vom Modellanbieter festgelegten Softwarepreise und die SageMaker-Infrastrukturgebühren auf der Grundlage der verwendeten Instance in Rechnung gestellt. Für öffentlich verfügbare Modelle werden Ihnen die SageMaker-Infrastrukturgebühren auf der Grundlage der verwendeten Instance berechnet. Weitere Informationen finden Sie unter Preise für Amazon SageMaker und AWS Marketplace.

Sicherheit hat bei AWS oberste Priorität, und SageMaker JumpStart ist auf Sicherheit ausgelegt. Das ist der Grund, warum SageMaker Ihnen den Besitz und die Kontrolle über Ihre Inhalte durch einfache, leistungsstarke Tools gibt, mit denen Sie festlegen können, wo Ihre Inhalte gespeichert werden, und mit denen Sie Ihre Inhalte während der Übertragung und im Ruhezustand sichern und Ihren Zugriff auf AWS-Services und Ressourcen für Ihre Benutzer verwalten können.

1. Wir geben keine Informationen zu Kundenschulungen und Inferenzen an Modellverkäufer auf AWS Marketplace weiter. Ebenso werden die Modellartefakte des Verkäufers (z. B. Modellgewichte) nicht mit dem Käufer geteilt.
2. SageMaker JumpStart verwendet keine Kundenmodelle, Trainingsdaten oder Algorithmen, um seinen Service zu verbessern, und gibt keine Kundenschulungs- und Inferenzdaten an Dritte weiter.
3. In SageMaker JumpStart werden ML-Modellartefakte bei der Übertragung und Speicherung verschlüsselt.
4. Im Rahmen des AWS-Modells der geteilten Verantwortung ist AWS für den Schutz der Infrastruktur verantwortlich, in der die gesamte AWS Cloud ausgeführt wird. Sie sind dafür verantwortlich, die Kontrolle über Ihre auf dieser Infrastruktur gehosteten Inhalte zu behalten.

Durch die Verwendung eines Modells aus dem AWS Marketplace oder SageMaker JumpStart übernehmen die Benutzer die Verantwortung für die Qualität der Modellausgabe und erkennen die in der individuellen Modellbeschreibung beschriebenen Funktionen und Einschränkungen an.

SageMaker JumpStart enthält mehr als 150 vortrainierte öffentlich verfügbare Modelle von PyTorch Hub und TensorFlow Hub. Für Sichtaufgaben wie Bildklassifizierung und Objekterkennung können Sie Modelle wie RESNET, MobileNet und Single-Shot Detector (SSD) nutzen. Für Textaufgaben wie Satzklassifizierung, Textklassifizierung und Beantwortung von Fragen können Sie Modelle wie BERT, RoBERTa und DistilBERT verwenden.

Mit SageMaker JumpStart können Datenwissenschaftler und ML-Entwickler ML-Artefakte, einschließlich Notebooks und Modelle, innerhalb ihrer Organisation problemlos gemeinsam nutzen. Administratoren können ein Repository einrichten, auf das eine bestimmte Gruppe von Benutzern zugreifen kann. Alle Benutzer mit Zugriffsberechtigung auf das Repository können Modelle und Notebooks sowie die öffentlichen Inhalte innerhalb von SageMaker JumpStart durchsuchen und verwenden. Benutzer können Artefakte auswählen, um Modelle zu trainieren, Endpunkte einzusetzen und Notebooks in SageMaker JumpStart auszuführen.

Mit SageMaker JumpStart können Sie bei der Entwicklung von ML-Anwendungen die Markteinführung beschleunigen. Modelle und Notebooks, die von einem Team innerhalb Ihres Unternehmens erstellt wurden, können mit nur wenigen Klicks mit anderen Teams innerhalb Ihres Unternehmens geteilt werden. Der interne Wissensaustausch und die Wiederverwendung von Ressourcen können die Produktivität Ihres Unternehmens erheblich steigern.

Ja. Administratoren können steuern, welche Amazon SageMaker JumpStart-Modelle für ihre Benutzer über mehrere AWS-Konten und Benutzerprinzipale hinweg sichtbar und nutzbar sind. Weitere Informationen finden Sie in der Dokumentation.

Das Inferenzoptimierungs-Toolkit macht es Ihnen leicht, die neuesten Techniken zur Inferenzoptimierung zu implementieren, um eine Kostenleistung auf dem neuesten Stand der Technik (SOTA) auf Amazon SageMaker zu erzielen und gleichzeitig monatelange Entwicklerzeit zu sparen. Sie können aus einem Menü beliebter Optimierungstechniken von SageMaker wählen und Optimierungsjobs im Voraus ausführen, das Modell auf Leistungs- und Genauigkeitsmetriken vergleichen und das optimierte Modell dann zur Inferenz auf einem SageMaker-Endpunkt bereitstellen. Das Toolkit behandelt alle Aspekte der Modelloptimierung, sodass Sie sich mehr auf Ihre Geschäftsziele konzentrieren können.

Das Toolkit zur Inferenzoptimierung hilft Ihnen, die Kostenleistung und die Markteinführungszeit für generative KI-Anwendungen zu verbessern. Das vollständig verwaltete Toolkit zur Modelloptimierung bietet Ihnen Zugriff auf die neuesten Optimierungstechniken mit benutzerfreundlichen Tools. Es ist auch einfach, im Laufe der Zeit auf die beste verfügbare Lösung aufzurüsten, da sich das Toolkit kontinuierlich an die neuesten Innovationen, neue Hardware und Hosting-Funktionen anpasst.

Das Inferenzoptimierungs-Toolkit unterstützt Optimierungstechniken wie spekulative Dekodierung, Quantisierung und Kompilierung. Sie können die Optimierungen, die Sie Ihrem Modell hinzufügen möchten, mit wenigen Klicks auswählen, und Amazon SageMaker übernimmt die gesamte undifferenzierte Schwerstarbeit wie die Beschaffung der Hardware, die Auswahl des Deep-Learning-Containers und der entsprechenden Tuning-Parameter für die Ausführung der Optimierungsjobs und das Speichern der optimierten Modellartefakte an dem von Ihnen angegebenen S3-Speicherort.

Für Speculative Decoding können Sie mit dem von SageMaker bereitgestellten Entwurfsmodell beginnen, sodass Sie Ihre eigenen Entwurfsmodelle nicht von Grund auf neu erstellen und Routing- und Optimierungen auf Systemebene anfordern müssen. Bei der Quantisierung wählen Sie einfach den Präzisionstyp aus, den Sie verwenden möchten, und starten einen Benchmarking-Job, um die Kompromisse zwischen Leistung und Genauigkeit zu messen. Amazon SageMaker generiert einen umfassenden Bewertungsbericht, sodass Sie den Kompromiss zwischen Leistung und Genauigkeit einfach analysieren können. Bei Compilation ruft Amazon SageMaker für die gängigsten Modelle und deren Konfigurationen automatisch kompilierte Modellartefakte während der Einrichtung und Skalierung des Endpunkts ab. Dadurch müssen Sie keine Kompilierungsjobs im Voraus ausführen, wodurch Sie Hardwarekosten sparen.

Das Amazon SageMaker-Toolkit zur Inferenzoptimierung hilft Ihnen dabei, Ihre Kosten und den Zeitaufwand für die Optimierung von GenAI-Modellen zu reduzieren, sodass Sie sich auf Ihre Geschäftsziele konzentrieren können.

SageMaker Canvas ist ein No-Code-Service mit einer intuitiven Point-and-Click-Oberfläche, mit der Sie hochpräzise, auf ML basierende Prognosen aus Ihren Daten erstellen können. Mit SageMaker Canvas können Sie über eine Drag-and-Drop-Benutzeroberfläche auf Daten aus einer Vielzahl von Quellen zugreifen und diese kombinieren. Dabei werden die Daten automatisch bereinigt und aufbereitet, um die manuelle Bereinigung zu minimieren. SageMaker Canvas wendet eine Vielzahl von hochmodernen ML-Algorithmen an, um hochpräzise Vorhersagemodelle zu finden, und bietet eine intuitive Benutzeroberfläche zur Erstellung von Vorhersagen. Sie können SageMaker Canvas verwenden, um in einer Vielzahl von Geschäftsanwendungen viel genauere Vorhersagen zu treffen und einfach mit Datenwissenschaftlern und Analysten in Ihrem Unternehmen zusammenzuarbeiten, indem Sie Ihre Modelle, Daten und Berichte teilen. Weitere Informationen zu SageMaker Canvas finden Sie in den häufig gestellten Fragen zu Amazon SageMaker Canvas.

Mit SageMaker Canvas zahlen Sie auf der Grundlage der Nutzung. Mit SageMaker Canvas können Sie Ihre Daten aus verschiedenen Quellen interaktiv einlesen, untersuchen und aufbereiten, hochpräzise ML-Modelle mit Ihren Daten trainieren und Vorhersagen erstellen. Es gibt zwei Komponenten, die Ihre Rechnung bestimmen: Sitzungsgebühren, die auf der Anzahl der Stunden basieren, in denen SageMaker Canvas verwendet oder angemeldet wird, und Gebühren für das Training des Modells, die auf der Größe des Datensatzes basieren, der zur Erstellung des Modells verwendet wird. Weitere Informationen finden Sie unter Preise für Amazon SageMaker Canvas.

Amazon SageMaker Pipelines unterstützt Sie bei der Erstellung vollautomatischer ML-Workflows von der Datenvorbereitung bis zur Modellbereitstellung. Auf diese Weise können Sie in der Produktion Tausende von ML-Modellen bereitstellen. Sie können Pipelines mit dem SageMaker-Python-SDK erstellen und sie über die Benutzeroberfläche von SageMaker Studio anzeigen, ausführen und überprüfen. SageMaker Pipelines kümmert sich um die Verwaltung der Daten zwischen den Schritten, das Packen der Code-Rezepte und die Orchestrierung ihrer Ausführung, wodurch die monatelange Codierung auf einige Stunden reduziert wird. Jedes Mal, wenn ein Workflow ausgeführt wird, wird eine vollständige Aufzeichnung der verarbeiteten Daten und der ergriffenen Maßnahmen geführt, damit Datenwissenschaftler und ML-Entwickler Probleme schnell beheben können.

Für die Nutzung von SageMaker Pipelines fallen keine zusätzlichen Gebühren an. Sie zahlen nur für das zugrunde liegende Computing oder sonstige separate AWS-Services, die Sie in SageMaker Pipelines verwenden.

Für die Nutzung von SageMaker Components für Kubeflow-Pipelines fallen keine zusätzlichen Gebühren an. 

Human-in-the-Loop ist der Prozess, bei dem menschliche Eingaben während des gesamten ML-Lebenszyklus genutzt werden, um die Genauigkeit und Relevanz von Modellen zu verbessern. Menschen können eine Vielzahl von Aufgaben übernehmen, von der Datengenerierung und -kommentierung bis hin zur Modellprüfung und -anpassung. Das menschliche Eingreifen ist besonders wichtig für generative KI-Anwendungen, bei denen der Mensch in der Regel sowohl der Anforderer als auch der Konsument der Inhalte ist. Es ist daher von entscheidender Bedeutung, dass Menschen Basismodelle (FMs) darin schulen, wie sie genau, sicher und sachdienlich auf die Aufforderungen der Benutzer reagieren können. Menschliches Feedback kann verwendet werden, um Ihnen bei der Erledigung mehrerer Aufgaben zu helfen. Erstens, die Erstellung qualitativ hochwertiger Trainingsdatensätze für generative KI-Anwendungen durch überwachtes Lernen (bei dem ein Mensch den Stil, die Länge und die Genauigkeit simuliert, mit der ein Modell auf Benutzeraufforderungen reagieren sollte) und verstärkendes Lernen mit menschlichem Feedback (bei dem ein Mensch die Modellantworten einstuft und klassifiziert). Zweitens, die Verwendung von Daten, die von Menschen erstellt wurden, um FMs an bestimmte Aufgaben oder an Ihre domain- und bereichsspezifischen Daten anzupassen und die Modellausgabe für Sie relevant zu machen.

Human-in-the-Loop-Fähigkeiten spielen eine wichtige Rolle bei der Entwicklung und Verbesserung von generativen KI-Anwendungen auf der Grundlage von FMs. Hochqualifiziertes Personal, das in den Leitlinien der Aufgaben geschult ist, kann Feedback, Anleitung, Inputs und Bewertungen bei Aktivitäten wie der Generierung von Demonstrationsdaten zur Schulung von FMs, der Korrektur und Verbesserung von Stichprobenantworten, der Feinabstimmung eines Modells auf der Grundlage von Unternehmens- und Branchendaten, der Absicherung gegen Toxizität und Voreingenommenheit und vielem mehr liefern. Human-in-the-Loop-Fähigkeiten können daher die Genauigkeit und Leistung des Modells verbessern. 

Amazon SageMaker Ground Truth bietet die umfassendste Palette von Human-in-the-Loop-Fähigkeiten. Es gibt zwei Möglichkeiten, Amazon SageMaker Ground Truth zu nutzen: ein Self-Service-Angebot und ein AWS-verwaltetes Angebot. Im Rahmen des Self-Service-Angebots können Ihre Datenannotatoren, Inhaltsersteller und Prompt-Engineers (intern, von Anbietern verwaltet oder unter Nutzung der öffentlichen Crowd) unsere Low-Code-Benutzeroberfläche verwenden, um die „Human-in-the-Loop“-Aufgaben zu beschleunigen, während Sie gleichzeitig die Flexibilität haben, Ihre eigenen benutzerdefinierten Workflows zu erstellen und zu verwalten. Bei dem von AWS verwalteten Angebot (SageMaker Ground Truth Plus) übernehmen wir die schwere Arbeit für Sie, einschließlich der Auswahl und Verwaltung der richtigen Arbeitskräfte für Ihren Anwendungsfall. SageMaker Ground Truth Plus entwirft und passt einen durchgängigen Workflow an (einschließlich detaillierter Mitarbeiterschulungen und Qualitätssicherungsschritte) und stellt ein qualifiziertes, von AWS verwaltetes Team bereit, das für die spezifischen Aufgaben geschult ist und Ihre Anforderungen an Datenqualität, Sicherheit und Compliance erfüllt. 

SageMaker Data Wrangler reduziert den Zeitaufwand für die Zusammenführung und Vorbereitung von Daten für ML. Über eine einzige Schnittstelle in SageMaker Studio können Sie in nur wenigen Schritten Daten aus Amazon S3, Amazon Athena, Amazon Redshift, AWS Lake Formation, Amazon EMR, Snowflake und Databricks durchsuchen und importieren. Sie können auch Daten abfragen und importieren, die aus über 50 Datenquellen übertragen und von Amazon AppFlow im AWS-Glue-Datenkatalog registriert werden. SageMaker Data Wrangler wird die Rohdaten automatisch laden, aggregieren und anzeigen. Nachdem Sie Ihre Daten in SageMaker Data Wrangler importiert haben, können Sie automatisch generierte Spaltenzusammenfassungen und Histogramme sehen. Mit dem Bericht SageMaker Data Wrangler Data Quality and Insights, der zusammenfassende Statistiken und Warnungen zur Datenqualität enthält, können Sie Ihre Daten besser verstehen und mögliche Fehler erkennen. Sie können die von SageMaker Clarify unterstützte Verzerrungsanalyse auch direkt von SageMaker Data Wrangler aus durchführen, um mögliche Verzerrungen bei der Datenaufbereitung zu erkennen. Von dort aus können Sie die vorgefertigten Transformationen von SageMaker Data Wrangler verwenden, um Ihre Daten vorzubereiten. Sobald Ihre Daten vorbereitet sind, können Sie mit Amazon SageMaker Pipelines vollautomatische Workflows für ML erstellen oder diese Daten in den Amazon SageMaker Feature Store importieren.

Sie zahlen für alle ML-Rechen-, Speicher- und Datenverarbeitungsressourcen, die Sie für SageMaker Data Wrangler verwenden. Hier können Sie alle Details zu den Preisen von SageMaker Data Wrangler einsehen. Im Rahmen des kostenlosen Kontingents für AWS können Sie auch kostenlos mit SageMaker Data Wrangler beginnen.

Der SageMaker Feature Store ist eine vollständig verwaltete, speziell entwickelte Plattform zum Speichern, Freigeben und Verwalten von Features für Machine Learning (ML)-Modelle. Features können entdeckt und gemeinsam genutzt werden, um sie modell- und teamübergreifend mit sicherem Zugriff und Kontrolle, auch für AWS-Konten, einfach wiederzuverwenden. SageMaker Feature Store unterstützt sowohl Online- als auch Offline-Features für Echtzeit-Inferenz, Batch-Inferenz und Training. Es verwaltet auch Batch- und Streaming-Feature-Engineering-Pipelines, um Doppelarbeit bei der Feature-Erstellung zu reduzieren und die Modellgenauigkeit zu verbessern.

Im Rahmen des kostenlosen Kontingents für AWS können Sie SageMaker Feature Store zum Einstieg kostenlos verwenden. Mit dem SageMaker Feature Store bezahlen Sie für das Schreiben in den Feature Store sowie für das Lesen und Speichern im Online Feature Store. Informationen zu Preisen finden Sie unter Preise für Amazon SageMaker.

SageMaker bietet zwei Angebote zum Daten-Labeling: Amazon SageMaker Ground Truth Plus und Amazon SageMaker Ground Truth. Mit beiden Optionen können Sie Rohdaten wie Bilder, Textdateien und Videos identifizieren und informative Beschriftungen hinzufügen, um hochwertige Trainings-Datensätze für Ihre ML-Modelle zu erstellen. Weitere Informationen finden Sie unter Daten-Labeling mit Amazon SageMaker.

SageMaker-Studio-Notebooks sind Jupyter-Notebooks in einem Schritt, die sich schnell hochfahren lassen. Die zugrunde liegenden Rechenressourcen sind voll elastisch, sodass Sie die verfügbaren Ressourcen einfach nach oben oder unten wählen können und die Änderungen automatisch im Hintergrund stattfinden, ohne Ihre Arbeit zu unterbrechen. SageMaker ermöglicht auch die Freigabe von Notebooks in einem Schritt. Sie können Notebooks problemlos mit anderen teilen und diese erhalten genau dasselbe Notebook, das am selben Ort gespeichert ist.

Mit SageMaker-Studio-Notebooks können Sie sich mit Ihren Unternehmensdaten über IAM Identity Center anmelden. Die gemeinsame Nutzung von Notebooks innerhalb und zwischen Teams ist einfach, da die für den Betrieb eines Notebooks erforderlichen Abhängigkeiten automatisch in den Arbeits-Images verfolgt werden, die bei der gemeinsamen Nutzung des Notebooks mit diesem gekapselt werden.

ML-Praktiker können einen gemeinsamen Arbeitsbereich erstellen, in dem Teamkollegen SageMaker-Studio-Notebooks gemeinsam lesen und bearbeiten können. Durch die Verwendung der gemeinsamen Schritte können Teamkollegen dieselbe Notebook-Datei gemeinsam bearbeiten, den Notebook-Code gleichzeitig ausführen und die Ergebnisse gemeinsam überprüfen, um ein Hin und Her zu vermeiden und die Zusammenarbeit zu optimieren. In den gemeinsam genutzten Bereichen werden ML-Teams über integrierte Unterstützung für Dienste wie BitBucket und AWS CodeCommit verfügen, so dass sie problemlos verschiedene Versionen ihres Notebooks verwalten und Änderungen im Laufe der Zeit vergleichen können. Alle in den Notebooks erstellten Ressourcen, wie z. B. Experimente und ML-Modelle, werden automatisch gespeichert und mit dem spezifischen Arbeitsbereich verknüpft, in dem sie erstellt wurden, so dass die Teams leichter organisiert bleiben und die Entwicklung von ML-Modellen beschleunigen können.

Nein. Sie können auf derselben Compute-Instance mehrere Notebooks einrichten und betreiben. Sie zahlen nur für genutzte Datenverarbeitung, nicht für einzelne Elemente. Weitere Informationen zu diesem Thema finden Sie unserem Leitfaden zur Messung.

Neben Notebooks können Sie in SageMaker Studio zudem Terminals und interaktive Shells starten und betreiben – alles auf derselben Computing-Instance. Jede Anwendung läuft innerhalb eines Containers oder Images. SageMaker Studio stellt eine Reihe integrierter Images bereit, die gezielt und vorab konfiguriert für Datenwissenschaft und ML sind.

Überwachung und Herunterfahren der Ressourcen, die von Ihren SageMaker-Studio-Notebooks genutzt werden, können über die visuelle Oberfläche von SageMaker Studio sowie die AWS-Managementkonsole erfolgen. Weitere Informationen finden Sie in der Dokumentation.

Nein. Für Einrichten oder Konfigurieren einer SageMaker-Studio-Domain sowie Hinzufügen, Updaten und Löschen von Benutzerprofilen entstehen keine Gebühren.

Als Administrator finden Sie die Liste der einzelnen Gebührenposten für SageMaker, darunter derer für SageMaker Studio, in der AWS-Fakturierungskonsole. Wählen Sie in der AWS-Managementkonsole für SageMaker im Menü oben Services aus, geben Sie im Suchfeld „billing“ (Fakturierung) ein und wählen Sie aus der Dropdown-Liste „Billing“ aus. Wählen Sie dann auf der linken Seite Bills (Rechnungen) aus. Im Details-Bereich können Sie auf SageMaker klicken, um die Liste der Regionen zu erweitern und einzelne Gebührenposten anzusehen.

Mit SageMaker Canvas können Sie nahtlos AWS-Datenquellen entdecken, auf die Ihr Konto Zugriff hat, einschließlich Amazon S3 und Amazon Redshift. Sie können Daten mit der visuellen Drag-and-Drop-Oberfläche von SageMaker Canvas durchsuchen und importieren. Darüber hinaus können Sie Dateien per Drag-and-Drop von Ihrer lokalen Festplatte ziehen und vorgefertigte Konnektoren verwenden, um Daten aus Drittanbieterquellen wie Snowflake zu importieren.

Nachdem Sie Quellen verbunden, einen Datensatz ausgewählt und Ihre Daten vorbereitet haben, können Sie die Zielspalte auswählen, die Sie vorhersagen möchten, um einen Modellerstellungsauftrag einzuleiten. SageMaker Canvas identifiziert automatisch die Art des Problems, generiert neue relevante Funktionen, testet einen umfassenden Satz von Prognosemodellen mit ML-Techniken wie linearer Regression, logistischer Regression, Deep Learning, Zeitreihenvorhersage und Gradient Boosting und erstellt das Modell, das auf der Grundlage Ihres Datensatzes genaue Prognosen macht.

Ja. SageMaker kann Deep-Learning-Modelle und große Trainingssätze in einem Bruchteil der Zeit, die zum manuellen Erstellen und Optimieren dieser Verteilungsstrategien erforderlich ist, automatisch auf AWS-GPU-Instances verteilen. Die beiden verteilten Trainingstechniken, die SageMaker anwendet, sind Datenparallelität und Modellparallelität. Datenparallelität wird angewendet, um die Trainingsgeschwindigkeit zu verbessern, indem die Daten gleichmäßig auf mehrere GPU-Instances verteilt werden, sodass jede Instance gleichzeitig trainieren kann. Modellparallelität ist nützlich für Modelle, die zu groß sind, um auf einer einzelnen GPU gespeichert zu werden, und erfordert, dass das Modell in kleinere Teile aufgeteilt wird, bevor es auf mehrere GPUs verteilt wird. Mit nur wenigen Zeilen zusätzlichen Codes in Ihren PyTorch- und TensorFlow-Schulungsskripten wendet SageMaker automatisch Datenparallelität oder Modellparallelität für Sie an, sodass Sie Ihre Modelle schneller entwickeln und bereitstellen können. SageMaker bestimmt den besten Ansatz für die Aufteilung Ihres Modells, indem es Algorithmen zur Graphenpartitionierung verwendet, um die Berechnungen der einzelnen GPUs auszugleichen und gleichzeitig die Kommunikation zwischen den GPU-Anwendung zu minimieren. SageMaker optimiert Ihre verteilten Trainingsaufträge auch durch Algorithmen, die die AWS-Datenverarbeitung und das AWS-Netzwerk vollständig nutzen, um eine nahezu lineare Skalierungseffizienz zu erzielen, mit der Sie Schulungen schneller abschließen können als manuelle Open-Source-Implementierungen.

Managed Spot Training wird in allen AWS-Regionen unterstützt, in denen SageMaker derzeit verfügbar ist.

Es gibt keine festen Grenzen für die Größe der Datensätze, die Sie für Trainingsmodelle mit SageMaker verwenden können.

Nein, derzeit nicht. Die beste Modelloptimierung genießen Sie mit SageMaker.

Derzeit verwenden wir als Algorithmus für die Optimierung von Hyperparametern eine benutzerdefinierte Implementierung der bayes'schen Optimierungsmethodik. Diese zielt darauf ab, eine vom Kunden festgelegte Zielmetrik über den gesamten Optimierungsprozess zu optimieren. Die Implementierung prüft insbesondere die Zielmetrik der abgeschlossenen Trainingsaufträgen und leitet aus den gewonnenen Informationen die Hyperparameterkombination für den nächsten Trainingsauftrag ab.

Nein. Wie sich bestimmte Hyperparameter auf die Leistung des Modells auswirken, hängt von verschiedenen Faktoren ab. Es lässt sich kaum abschließend vorhersagen, ob ein Hyperparameter wichtiger ist als der andere und deshalb angepasst werden muss. Wenn in SageMaker Algorithmen integriert sind, geben wir an, ob ein Hyperparameter angepasst werden kann.

Wie lange eine Hyperparameteroptimierung dauert, hängt von verschiedenen Faktoren ab. So ist beispielsweise zu berücksichtigen, wie groß der Datenbestand ist, welcher Algorithmus zugrunde liegt und welche Werte die Hyperparameter aufweisen. Darüber hinaus können Kunden angeben, wie viele Trainings gleichzeitig laufen sollen und wie viele Trainings insgesamt durchgeführt werden sollen. All diese Entscheidungen wirken sich auf die Dauer der Hyperparameteroptimierung aus.

Nein, derzeit nicht. Derzeit müssen Sie eine einzelne Zielmetrik vorgeben, wenn Sie Ihren Algorithmuscode so optimieren oder abändern möchten, dass er eine neue Metrik (ein gewichteter Durchschnitt aus zwei oder mehreren nützlichen Kennzahlen) ausgibt und dass die Optimierung auf diese Zielmetrik optimal ausgerichtet wird.

Für die eigentliche Hyperparameteroptimierung wird nichts berechnet. Kostenpflichtig sind jedoch die Trainings, die von der Hyperparameteroptimierung ausgelöst werden. Hierbei sind die Preise für Modelltraining ausschlaggebend.

SageMaker Autopilot automatisiert jeden Schritt in einem typischen ML-Workflow, einschließlich der Funktionsvorverarbeitung, der Algorithmusauswahl und der Hyperparameter-Optimierung. Der besondere Fokus liegt hier auf Anwendungsfällen in den Bereichen Klassifizierung und Regression. Die automatische Modelloptimierung auf der anderen Seite wurde für die Optimierung beliebiger Modelle konzipiert. Dabei ist es unerheblich, ob es auf integrierten Algorithmen, Deep Learning-Frameworks oder benutzerdefinierten Containern basiert. Im Austausch für die Flexibilität müssen Sie den jeweiligen Algorithmus manuell auswählen und die zu optimierenden Hyperparameter and die entsprechenden Suchbereiche bestimmen.

Bestärkendes Lernen ist eine Technik des ML, mit der ein Agent in einer interaktiven Umgebung durch Versuch und Irrtum lernen kann. Dabei fließt auch Feedback von seinen eigenen Aktionen und Erfahrungen ein.

Ja, Sie können Modelle für das verstärkende Lernen zusätzlich zu den Modellen für das überwachte und unüberwachte Lernen in SageMaker trainieren.

Beim Supervised Learning und beim bestärkenden Lernen wird die Zuweisung zwischen Eingabe und Ausgabe verwendet. Beim Supervised Learning besteht das Feedback, das ein Agent erhält, aber aus einem korrekten Satz an Aktionen für das Ausführen einer Aufgabe. Das bestärkende Lernen verwendet dagegen ein verzögertes Feedback, bei dem Belohnungssignale optimiert werden, um ein langfristiges Ziel durch eine Folge von Aktionen zu gewährleisten.

Beim überwachten Lernen besteht das Ziel darin, basierend auf Mustern in den Trainingsdaten die richtige Antwort zu ermitteln. Beim nicht überwachten Lernen gilt es, Ähnlichkeiten und Unterschiede zwischen Datenpunkten zu finden. Im Gegensatz dazu besteht das Ziel des Reinforcement Learnings (RL) darin, zu lernen, wie ein gewünschtes Ergebnis erreicht werden kann, auch wenn es noch nicht klar ist. Daher ist das bestärkende Lernen besser für die Unterstützung intelligenter Anwendungen geeignet, bei denen ein Agent autonome Entscheidungen treffen kann, z. B. bei Robotern, autonomen Fahrzeugen, HLK-Systemen, industriellen Steuerungen usw.

Amazon SageMaker RL unterstützt eine Reihe von Umgebungen für das Trainieren von RL-Modellen. Sie können AWS-Services wie AWS RoboMaker, Open-Source-Umgebungen, benutzerdefinierte und mit Open-AI-Gym-Schnittstellen entwickelte Umgebungen und kommerzielle Simulationsumgebungen wie MATLAB und SimuLink verwenden.

Nein. SageMaker RL umfasst Toolkits für das verstärkende Lernen wie Coach und Ray RLLib, die Implementierungen von RL-Agenten-Algorithmen wie DQN, PPO, A3C usw. bieten.

Ja. Sie können Ihre eigenen Bibliotheken für das verstärkende Lernen und Algorithmus-Implementierungen in Docker-Containern einbringen und sie in SageMaker RL ausführen.

Ja. Sie können sogar ein heterogenes Cluster auswählen, bei dem das Training auf einer GPU-Instance und die Simulationen auf mehreren CPU-Instances ausgeführt werden können.

Sie können die Anzahl der Endpunkt-Instances von SageMaker Asynchronous Inference auf Null reduzieren, um Kosten zu senken, wenn Sie nicht aktiv Anfragen verarbeiten. Sie müssen eine Skalierungsrichtlinie definieren, die nach der benutzerdefinierten Metrik „ApproximateBacklogPerInstance“ skaliert und den Wert „MinCapacity“ auf Null setzt. Eine schrittweise Anleitung finden Sie im Abschnitt Automatische Skalierung eines asynchronen Endpunkts im Entwicklerhandbuch. 

SageMaker Serverless Inference ist eine speziell entwickelte Serverless-Modellbereitstellungsoption, die die Bereitstellung und Skalierung von ML-Modellen vereinfacht. SageMaker-Serverless-Inference-Endpunkte starten automatisch die Computingressourcen und skalieren sie je nach Datenverkehr ein und aus, sodass Sie nicht mehr den Instance-Typ auswählen, bereitgestellte Kapazität ausführen oder die Skalierung verwalten müssen. Sie können optional die Speicheranforderungen für Ihren Serverless-Inference-Endpunkt angeben. Sie zahlen nur für die Laufzeit des Inferenzcodes und die verarbeitete Datenmenge, nicht für Leerlaufzeiten.

Bei On-Demand-Serverless-Endpunkten kann es einige Zeit dauern, bis Ihr Endpunkt die Rechenressourcen zur Verarbeitung der Anfragen hochgefahren hat, wenn Ihr Endpunkt eine Weile lang keinen Datenverkehr empfängt und dann plötzlich neue Anforderungen erhält. Dies wird als „Kaltstart“ bezeichnet. Ein Kaltstart kann auch auftreten, wenn Ihre nebenläufige Anforderungen die aktuelle Auslastung für nebenläufige Anforderungen überschreiten. Die Kaltstartzeit hängt von Ihrer Modellgröße, der Dauer des Herunterladens Ihres Modells und der Startzeit Ihres Containers ab.

Um die Variabilität in Ihrem Latenzprofil zu verringern, können Sie optional bereitgestellte Nebenläufigkeit für Ihre Serverless-Endpunkte aktivieren. Mit Provisioned Concurrency sind Ihre Serverless-Endpunkte immer einsatzbereit und können sofort Datenverkehrsschübe bewältigen, ohne dass es zu Kaltstarts kommt.

Wie bei On-Demand-Serverless-Inferenz zahlen Sie, wenn Provisioned Concurrency aktiviert ist, für die zur Verarbeitung von Inferenzanfragen aufgewendete Rechenkapazität, die pro Millisekunde abgerechnet wird, und für die Menge der verarbeiteten Daten. Sie zahlen auch für die Nutzung von Provisioned Concurrency, basierend auf dem konfigurierten Speicher, der bereitgestellten Dauer und dem Umfang der aktivierten Nebenläufigkeit. Weitere Informationen finden Sie unter Preise für Amazon SageMaker.

SageMaker Inference Recommender verkürzt die Zeit, die erforderlich ist, um ML-Modelle in die Produktion zu bringen, indem das Leistungs-Benchmarking automatisiert und die Modellleistung in allen SageMaker-ML-Instances optimiert wird. Sie können jetzt den SageMaker Inference Recommender verwenden, um Ihr Modell an einem Endpunkt bereitzustellen, der die beste Leistung bietet und die Kosten minimiert. Sie können in wenigen Minuten erste Schritte mit dem SageMaker Inference Recommender machen, während Sie einen Instance-Typ auswählen, und Sie erhalten innerhalb von Stunden Empfehlungen für optimale Endpunktkonfigurationen, wodurch wochenlange manuelle Tests und Abstimmungszeiten entfallen. Mit SageMaker Inference Recommender zahlen Sie nur für die SageMaker-ML-Instances, die während des Ladetests verwendet werden und es fallen keine zusätzlichen Gebühren an.

Nein, wir unterstützen derzeit nur ein einziges Modell pro Endpunkt.

Derzeit unterstützen wir nur Echtzeit-Endpunkte.

Wir unterstützen alle von Amazon SageMaker unterstützten Regionen mit Ausnahme der AWS-China-Regionen.

Ja, wir unterstützen alle Arten von Containern. Amazon EC2 Inf1, basierend auf dem AWS-Inferentia-Chip, erfordert ein kompiliertes Modellartefakt, das entweder den Neuron-Compiler oder Amazon SageMaker Neo verwendet. Sobald Sie über ein kompiliertes Modell für ein Inferentia-Ziel und den zugehörigen Container-Image-URI verfügen, können Sie SageMaker Inference Recommender verwenden, um verschiedene Inferentia-Instance-Typen zu vergleichen.

Nein. SageMaker betreibt die Datenverarbeitungs-Infrastruktur für Sie und ermöglicht dort Zustandsprüfungen, die Anwendung von Sicherheitspatches und die Durchführung sonstiger routinemäßigen Wartungsarbeiten. Sie können die Modellartefakte auch aus dem Training mit benutzerdefinierten Inferenzcodes in Ihrer eigenen Hosting-Umgebung bereitstellen.

Das SageMaker-Hosting skaliert mit Application Auto Scaling automatisch auf die Leistung, die für Ihre Anwendung erforderlich ist. Außerdem können Sie die Nummer und den Typ der Instance manuell ändern, ohne dass es zu Ausfallzeiten kommt, indem Sie die Endpunktkonfiguration ändern.

SageMaker sendet Leistungsmetriken an Amazon CloudWatch Metrics, sodass Sie Messwerte verfolgen, Alarme festlegen und automatisch auf Änderungen im Produktionsdatenverkehr reagieren können. Darüber hinaus schreibt SageMaker Protokolle in Amazon CloudWatch Logs, damit Sie Ihre Produktionsumgebung überwachen und Fehler beheben können.

SageMaker kann alle Modelle hosten, die der dokumentierten Spezifikation für Inferenz-Docker-Images entsprechen. Dazu gehören Modelle, die aus SageMaker-Modellartefakten und Inferenzcode erstellt wurden.

SageMaker wurde dafür konzipiert, eine große Anzahl von Transaktionen pro Sekunde zu skalieren. Die genaue Anzahl hängt vom implementierten Modell und der Anzahl und Art der Instances ab, für die das Modell bereitgestellt wird.

Durch die Batch-Transformation können Sie anhand von großen oder kleinen Daten-Batches Prognosen erstellen. Es ist nicht nötig, den Datensatz in mehrere Teile aufzuteilen oder Echtzeit-Endpunkte zu verwalten. Sie können mit einer einfachen API Prognosen für eine große Anzahl von Datensätzen anfordern und diese Daten leicht und schnell umwandeln.

SageMaker Edge Manager erleichtert die Optimierung, Sicherung, Überwachung und Wartung von ML-Modellen auf Flotten von Edge-Geräten wie Smart-Kameras, Robotern, PCs und mobilen Geräten. Mit SageMaker Edge Manager können ML-Entwickler ML-Modelle auf einer Vielzahl von Edge-Geräten in großem Maßstab betreiben.

Um mit SageMaker Edge Manager zu beginnen, müssen Sie Ihre trainierten ML-Modelle in der Cloud kompilieren und verpacken, Ihre Geräte registrieren und Ihre Geräte mit dem SageMaker Edge Manager SDK vorbereiten. Um Ihr Modell für die Bereitstellung vorzubereiten, verwendet SageMaker Edge Manager SageMaker Neo, um Ihr Modell für Ihre Ziel-Edge-Hardware zu kompilieren. Sobald ein Modell kompiliert ist, signiert der SageMaker Edge Manager das Modell mit einem von AWS generierten Schlüssel und verpackt es dann mit seiner Laufzeit und den erforderlichen Anmeldeinformationen, um es für die Bereitstellung vorzubereiten. Auf der Geräteseite registrieren Sie Ihr Gerät bei SageMaker Edge Manager, laden das SageMaker-Edge-Manager-SDK herunter und befolgen die Anweisungen zum Installieren des SageMaker-Edge-Manager-Agenten auf Ihren Geräten. Das Tutorial-Notebook zeigt Ihnen Schritt für Schritt, wie Sie die Modelle vorbereiten und Ihre Modelle mit SageMaker Edge Manager an Edge-Geräte anschließen können.

SageMaker Edge Manager unterstützt gängige CPU (ARM, x86)- und GPU (ARM, Nvidia)-basierte Geräte mit Linux- und Windows-Betriebssystemen. Im Laufe der Zeit wird SageMaker Edge Manager erweitert, um mehr eingebettete Prozessoren und mobile Plattformen zu unterstützen, die auch von SageMaker Neo unterstützt werden.

Nein, müssen Sie nicht. Sie können Ihre Modelle anderswo trainieren oder ein bereits trainiertes Modell aus Open Source oder von Ihrem Modellanbieter verwenden.

Ja, müssen Sie. SageMaker Neo konvertiert und kompiliert Ihre Modelle in eine ausführbare Datei, die Sie dann verpacken und auf Ihren Edge-Geräten bereitstellen können. Sobald das Modellpaket bereitgestellt ist, entpackt der Agent von SageMaker Edge Manager das Modellpaket und führt das Modell auf dem Gerät aus.

SageMaker Edge Manager speichert das Modellpaket in Ihrem angegebenen Amazon-S3-Bucket. Sie können die von AWS IoT Greengrass bereitgestellte Over-the-Air (OTA)-Bereitstellungsfunktion oder einen anderen Bereitstellungsmechanismus Ihrer Wahl verwenden, um das Modellpaket von Ihrem S3-Bucket auf den Geräten bereitzustellen.

Neo-DLR ist eine Open Source-Laufzeit, die nur Modelle ausführt, die vom SageMaker-Neo-Service kompiliert wurden. Im Vergleich zur Open-Source-DLR enthält das SageMaker-Edge-Manager-SDK einen On-Device-Agenten für Unternehmen mit zusätzlichen Funktionen für Sicherheit, Modellverwaltung und Modellbereitstellung. Das SageMaker-Edge-Manager-SDK eignet sich für die Produktionsbereitstellung in großem Maßstab.

SageMaker Edge Manager und AWS IoT Greengrass können in Ihrer IoT-Lösung zusammenarbeiten. Sobald Ihr ML-Modell mit SageMaker Edge Manager verpackt ist, können Sie die OTA-Update-Funktion von AWS IoT Greengrass verwenden, um das Modellpaket auf Ihrem Gerät bereitzustellen. Mit AWS IoT Greengrass können Sie Ihre IoT-Geräte remote überwachen, während Sie mit SageMaker Edge Manager die ML-Modelle auf den Geräten überwachen und warten können.

AWS bietet die größte Breite und Tiefe der Funktionen zum Ausführen von Modellen auf Edge-Geräten. Wir verfügen über Services zur Unterstützung einer Vielzahl von Anwendungsfällen, einschließlich Computervision, Spracherkennung und vorausschauender Wartung.

Für Unternehmen, die Computervision auf Edge-Geräten wie Kameras und Geräten ausführen möchten, können Sie AWS Panorama verwenden. AWS Panorama bietet einsatzbereite Computervision-Anwendungen für Edge-Geräte. Der Einstieg in AWS Panorama ist einfach, indem Sie sich bei der Cloud-Konsole anmelden, das Modell angeben, das Sie in Amazon S3 oder SageMaker verwenden möchten, und anschließend Geschäftslogik als Python-Skript schreiben. AWS Panorama kompiliert das Modell für das Zielgerät und erstellt ein Anwendungspaket, damit es mit nur wenigen Klicks auf Ihren Geräten bereitgestellt werden kann. Darüber hinaus können unabhängige Softwaranbieter, die ihre eigenen benutzerdefinierten Anwendungen erstellen möchten, das AWS Panorama SDK verwenden, und Gerätehersteller können das Geräte-SDK verwenden, um ihre Geräte für AWS Panorama zu zertifizieren.

Kunden, die ihre eigenen Modelle erstellen und die Modellfunktionen genauer steuern möchten, können SageMaker Edge Manager verwenden. SageMaker Edge Manager ist ein verwalteter Service zum Vorbereiten, Ausführen, Überwachen und Aktualisieren von ML-Modellen für Flotten von Edge-Geräten wie Smart-Kameras, Smart-Lautsprechern und Robotern für alle Anwendungsfälle wie die Verarbeitung natürlicher Sprache, Betrugserkennung und vorausschauende Wartung. SageMaker Edge Manager ist für ML-Edge-Entwickler gedacht, die die Kontrolle über ihr Modell wünschen, einschließlich der Entwicklung verschiedener Modellfunktionen und der Überwachung von Modellen für Drift. Jeder ML-Edge-Entwickler kann SageMaker Edge Manager über die SageMaker-Konsole und die SageMaker-APIs verwenden. SageMaker Edge Manager bietet die Funktionen von SageMaker zum Erstellen, Trainieren und Bereitstellen von Modellen in der Cloud für Edge-Geräte.

SageMaker Edge Manager ist in sechs Regionen verfügbar: USA Ost (Nord-Virginia), USA Ost (Ohio), USA West (Oregon), EU (Irland), EU (Frankfurt) und Asien-Pazifik (Tokio). Weitere Details finden Sie in der Liste regionaler AWS-Services.

Mit SageMaker Neo ist es möglich, ML-Modelle einmal zu trainieren und dann überall in der Cloud und am Edge auszuführen. SageMaker Neo optimiert automatisch Modelle, die mit gängigen DL-Frameworks entwickelt wurden und auf mehreren Hardwareplattformen bereitgestellt werden können. Optimierte Modelle können bis zu 25 mal schneller ausgeführt werden und verbrauchen weniger als ein Zehntel der Ressourcen eines typischen ML-Modells.

Melden Sie sich für die ersten Schritte mit SageMaker Neo bei der SageMaker-Konsole an, wählen Sie ein trainiertes Modell aus, folgen Sie dem Beispiel zum Kompilieren von Modellen, und stellen Sie das entstandene Modell auf Ihrer Ziel-Hardwareplattform bereit.

SageMaker Neo umfasst zwei wesentliche Hauptkomponenten – einen Compiler und eine Laufzeit. Zuerst liest der SageMaker-Neo-Compiler Modelle, die von unterschiedlichen Frameworks exportiert wurden. Anschließend wandelt er die Framework-spezifischen Funktionen und Operationen in eine Framework-unabhängige Zwischenrepräsentation um. Danach führt er eine Reihe von Optimierungen aus. Im Anschluss erzeugt der Compiler Binärcode für die optimierten Operationen und schreibt sie in eine freigegebene Objektbibliothek. Außerdem speichert der Compiler die Modelldefinition und Parameter in separaten Dateien. Während der Ausführung lädt die SageMaker-Neo-Laufzeit die vom Compiler erzeugten Artefakte – Modelldefinition, Parameter und die freigegebene Objektbibliothek zur Modellausführung.

Nein. Sie können Modelle an anderer Stelle trainieren und Neo dazu verwenden, sie für SageMaker-ML-Instances oder von AWS IoT Greengrass unterstützte Geräte zu optimieren.

Derzeit unterstützt SageMaker Neo die gängigsten DL-Modelle, die Computer-Vision-Anwendungen unterstützen, und die gängigsten Entscheidungsbaum-Modelle, die heute in SageMaker verwendet werden. Neo optimiert die Leistung von AlexNet-, ResNet-, VGG-, Inception-, MobileNet-, SqueezeNet- und DenseNet-Modellen, die in MXNet und TensorFlow trainiert wurden, und von Klassifizierungs- und Random-Cut-Forest-Modellen, die in XGBoost trainiert wurden.

Die Listen der unterstützten Cloud-Instances, Edge-Geräte und Framework-Versionen finden Sie in der Dokumentation zu SageMaker Neo.

Um eine Liste der unterstützten Regionen zu sehen, sehen Sie sich die Liste regionaler AWS-Services an.

Savings Plans können in jedem Konto innerhalb einer AWS-Organisation/Produktreihe mit konsolidierter Fakturierung erworben werden. Standardmäßig gilt der Vorteil von Savings Plans für die Nutzung über alle Konten innerhalb einer AWS-Organisation/konsolidierten Abrechnungs-Familie. Sie können sich aber auch dafür entscheiden, den Vorteil von Savings Plans nur auf das Konto zu beschränken, das sie erworben hat.