Amazon FSx for Lustre

Leistungsstarkes Dateisystem zur Verarbeitung von Amazon S3- oder lokalen Daten

Amazon FSx for Lustre bietet ein leistungsstarkes Dateisystem, das für die schnelle Verarbeitung von Workloads wie maschinelles Lernen, High Performance Computing (HPC), Videoverarbeitung, Finanzmodellierung und Electronic Design Automation (EDA) optimiert ist. Diese Workloads erfordern in der Regel die Bereitstellung von Daten über eine schnelle und skalierbare Dateisystemschnittstelle, wobei deren Eingabedatensätze meist in langfristigen Datenspeichern wie Amazon S3 gespeichert werden.

Für den Betrieb von Hochleistungsdateisystemen ist in der Regel spezielles Fachwissen und Verwaltungsaufwand nötig. So müssen Sie Storage-Server bereitstellen und komplexe Leistungsparameter abstimmen. Mit Amazon FSx können Sie ein Dateisystem starten und betreiben, das einen Zugriff von weniger als einer Millisekunde auf Ihre Daten ermöglicht und es Ihnen ermöglicht, Daten mit einer Geschwindigkeit von bis zu Hunderten von Gigabyte pro Sekunde Durchsatz und Millionen von IOPS zu lesen und zu schreiben.

Amazon FSx for Lustre arbeitet nativ mit Amazon S3 zusammen und kann so problemlos Cloud-Datensätze mit leistungsstarken Dateisystemen verarbeiten. Wenn ein FSx for Lustre-Dateisystem mit einem S3-Bucket verknüpft ist, stellt es S3-Objekte transparent als Dateien dar und ermöglicht es Ihnen, Ergebnisse in S3 zurückzuschreiben. Sie können FSx for Lustre auch als eigenständiges leistungsstarkes Dateisystem für Workloads verwenden, die Sie von firmeneigenen Systemen in die Cloud verlagern. Wenn Sie lokale Daten in ein FSx for Lustre-Dateisystem kopieren, lassen sich diese Daten schnell von in AWS ausgeführten Computing-Instanzen verarbeiten. Mit Amazon FSx zahlen Sie nur für die Ressourcen, die Sie wirklich in Anspruch nehmen. Es gibt keine Mindestgebühren, Vorabkosten für Hard- oder Software oder zusätzliche Gebühren.

Überblick: Amazon FSx for Lustre

Vorteile

Hohe Leistung und Skalierbarkeit

Amazon FSx for Lustre bietet die Leistung, die Sie benötigen, um eine Vielzahl von Hochleistungs-Workloads zu bewältigen. FSx for Lustre basiert auf Lustre, einem beliebten High-Performance-Dateisystem, das für die Datenverarbeitung optimiert ist, welches Latenzzeiten von weniger als einer Millisekunde und einen Durchsatz aufweist, der auf Hunderte von Gigabyte pro Sekunde skaliert werden kann.

Nahtloser Datenzugang auf S3 oder auf lokale Daten

Amazon FSx arbeitet nativ mit Amazon S3 zusammen, was die Verarbeitung Ihrer S3-Daten über eine leistungsstarke POSIX-Schnittstelle erleichtert. Wenn ein FSx for Lustre-Dateisystem mit einem S3-Bereich verknüpft ist, stellt es S3-Objekte transparent als Dateien dar. Mit FSx for Lustre können Sie jederzeit geänderte und neue Daten auf dem Dateisystem in Ihren S3-Bucket zurückschreiben. FSx for Lustre ermöglicht es Ihnen auch, Ihre lokalen Workloads über Amazon Direct Connect oder VPN in die Cloud zu überführen. 

Vollständig verwaltet

Amazon FSx ist vollständig verwaltet und erleichtert das Starten und Ausführen von Hochleistungs-Dateisystemen in der Cloud. Sie müssen sich keine Gedanken mehr um Hardwarebereitstellung und -wartung, Softwarekonfiguration und komplexe Leistungsoptimierungen für Ihre Dateisysteme machen. Mithilfe der AWS-Managementkonsole, der AWS CLI oder eines AWS SDK können Sie in wenigen Minuten ein Amazon FSx-Dateisystem erstellen und starten.

Kostengünstig

Amazon FSx for Lustre hilft Ihnen bei der Kostenoptimierung Ihres Speichers für High-Performance-Workloads: Es bietet preiswerten und leistungsstarken Speicher für die Datenverarbeitung, wobei Ihre dauerhaft gespeicherten Daten in Amazon S3 oder anderen kostengünstigen, langfristigen Datenspeichern abgelegt werden. Die Leistungsfähigkeit von FSx for Lustre ermöglicht es Ihnen, Datenverarbeitungs-Workloads schneller auszuführen, was den Zeit- und Kostenaufwand für Rechenressourcen reduziert. Mit FSx for Lustre zahlen Sie nur für die Ressourcen, die Sie auch tatsächlich nutzen. Es fallen weder Mindestgebühren noch Vorauszahlungen an.

Native Dateisystemoberfläche

Amazon FSx für Lustre ist POSIX-konform. So können Sie Ihre aktuellen Linux-basierten Anwendungen verwenden, ohne Änderungen vornehmen zu müssen. FSx für Lustre bietet eine native Dateisystemoberfläche und funktioniert wie jedes andere Dateisystem in Ihrem Linux-Betriebssystem. Darüber hinaus sieht es Read-after-Write-Konsistenz vor und unterstützt die Sperrung von Dateien. Den Zugriff auf Ihre FSx for Lustre-Dateisysteme können Sie mit POSIX-Berechtigungen und Amazon Virtual Private Cloud (VPC)-Berechtigungen steuern.

Sicher und regelkonform

Amazon FSx verschlüsselt Ihre Daten im Ruhezustand automatisch. Wenn Sie bestimmten gesetzlichen Auflagen unterliegen, ist FSx for Lustre PCI-DSS-, ISO- und SOC-konform und gleichzeitig HIPAA-zugelassen. Amazon FSx unterstützt die Amazon Virtual Private Cloud (VPC), sodass Sie Ihre FSx for Lustre Dateisystem-Ressourcen in Ihrem virtuellen Netzwerk starten können.

Funktionsweise

FSx_Lustre_diagram

Anwendungsfälle

Machine Learning

Machine-Learning-Workloads nehmen riesige Mengen an Trainingsdaten in Anspruch. Diese Workloads nutzen häufig einen gemeinsamen Datenspeicher, da mehrere da mehrere Recheninstanzen die Trainingsdatensätze gleichzeitig verarbeiten müssen. Amazon FSx eignet sich ideal für Workloads im Bereich des maschinellen Lernens, da es einen gemeinsamen Dateispeicher mit hohem Durchsatz und konsistenten, niedrigen Latenzzeiten für die Verarbeitung der ML-Trainingsdatensätze gewährleistet.

High Performance Computing (HPC)

High Performance Computing (HPC) ermöglicht Wissenschaftlern und Technikern das Lösen komplexer, rechenintensiver Probleme. HPC-Workloads, etwa bei der Erkennung von Öl- oder Gasvorkommen oder in der Genomik, verarbeiten riesige Datenmengen, auf die mehrere Recheninstanzen mit hohem Durchsatz zugreifen müssen. Amazon FSx ist ideal für HPC-Workloads, da es mit einem für die Leistung und Kosten kurzlebiger, leistungsstarker Workloads optimiertes Dateisystem aufwartet, auf das tausende EC2-Instanzen zugreifen können.

Medienverarbeitung und -transkodierung

Verarbeitungs-Workflows für Mediendaten, etwa Videorendering, visuelle Effekte und Medienproduktion, erfordern Rechen- und Speicherresourcen, um die Erstellung riesiger Datenmengen zu handhaben. Amazon FSx bietet die hohe Leistung und geringe Latenzzeit, die für die Verarbeitung, Verteilung und Analyse digitaler Mediendateien erforderlich sind.

Autonome Fahrzeuge

Kunden, die autonome Fahrzeugsysteme entwickeln, testen ihre Modelle oft anhand von Simulationen und im Rahmen von Schulungen und nutzen dabei riesige Mengen an Fahrzeugsensor- und Kameradaten zur Gewährleistung der Fahrzeugsicherheit. Amazon FSx for Lustre ermöglicht Ihnen den simultanen Zugriff auf diese Daten aus Hunderten von Knoten über ein Standard-Dateisystem mit einer Latenz von weniger als einer Millisekunde, Hunderten von Gigabyte pro Sekunde Durchsatz und Tausenden von IOPS. Mit FSx for Lustre können Sie Simulationen im Maßstab 1:1 durchführen, Tausende von simulierten Durchläufen pro Woche realisieren und Ihre Modellentwicklung beschleunigen.

Big Data-Analysen

Anwendungsfälle für Big-Data-Analysen, wie z. B. die Betrugserkennung und Finanzanalyse, erzeugen riesige Datenmengen, die Hochleistungsspeicher benötigen, um datenintensive Anwendungen zu betreiben. Die Handhabung immer größerer Datenmengen kann kostspielig und komplex sein. Amazon FSx für Lustre ist leistungs- und kostenoptimiert, was zu einer schnelleren Erkennungs- und Wertzuwachszeit führt.

Electronic Design Automation (EDA)

EDA ist ein typischer HPC-Anwendungsfall, bei dem die Leistung und Ausfälle während der Designphase der Siliziumchipherstellung simuliert werden. FSx for Lustre stellt Ihnen die Leistung und Flexibilität zur Verfügung, die Sie in die Lage versetzen, Innovationen schneller voranzutreiben, neue Produkte zu entwickeln und zu verifizieren und Ihr System nach Bedarf zu skalieren.

Product-Page_Standard-Icons_01_Product-Features_SqInk
Mehr zu den Merkmalen von Amazon FSx für Lustre

Erfahren Sie mehr über die Hauptmerkmale von Amazon FSx für Lustre.

Weitere Informationen 
Product-Page_Standard-Icons_02_Sign-Up_SqInk
Registrieren Sie sich und erhalten Sie ein kostenloses Konto

Sie erhalten sofort Zugriff auf das kostenlose AWS-Kontingent. 

Registrieren 
Product-Page_Standard-Icons_03_Start-Building_SqInk
Beginnen Sie mit der Entwicklung in der Konsole

Beginnen Sie die Erstellung mit Amazon FSx für Lustre in der AWS-Konsole.

Anmeldung