Amazon FSx for Lustre

Amazon FSx for Lustre macht es einfach und kosteneffektiv, das weltweit beliebteste Hochleistungsdateisystem zu starten und auszuführen. Verwenden Sie es für Workloads, bei denen es auf Geschwindigkeit ankommt, wie Machine Learning, Hochleistungsrechnen (HPC), Videoverarbeitung und Finanzmodellierung.

Das Open-Source-Dateisystem Lustre ist für Anwendungen konzipiert, die eine schnelle Speicherung erfordern – dort, wo Ihr Speicher mit Ihren Berechnungen Schritt halten soll. Lustre wurde entwickelt, um die am schnellsten wachsenden Datensätze der Welt schnell und kostengünstig zu verarbeiten. Es ist das am weitesten verbreitete Dateisystem für die 500 schnellsten Computer der Welt. Es bietet Latenzen im Sub-Millisekundenbereich, einen Durchsatz von bis zu Hunderten von Gigabyte pro Sekunde und Millionen von IOPS.

Als vollständig verwalteter Dienst ermöglicht Ihnen Amazon FSx jetzt die Verwendung von Lustre-Dateisystemen für jede Workload, bei der die Speichergeschwindigkeit eine Rolle spielt. Es eliminiert die traditionelle Komplexität der Einrichtung und Verwaltung von Lustre-Dateisystemen und ermöglicht es Ihnen, ein Hochleistungs-Dateisystem in wenigen Minuten hochzufahren. Außerdem bietet es mehrere Bereitstellungsoptionen zur Kostenoptimierung.

FSx for Lustre lässt sich in Amazon S3 integrieren, wodurch die Verarbeitung von Datensätzen mit dem Lustre-Dateisystem vereinfacht wird. Wenn ein FSx for Lustre-Dateisystem mit einem S3-Bucket verknüpft ist, stellt es S3-Objekte transparent als Dateien dar und ermöglicht Ihnen, geänderte Daten in S3 zurückzuschreiben.

Überblick: Amazon FSx for Lustre

Vorteile

Hohe Leistung und Skalierbarkeit

Amazon FSx for Lustre bietet die Leistung, die Sie benötigen, um eine Vielzahl von Hochleistungs-Workloads zu bewältigen. Das Lustre-Dateisystem ist für die Datenverarbeitung optimiert, mit Latenzen im Sub-Millisekundenbereich und einem Durchsatz, der auf Hunderte von Gigabyte pro Sekunde skaliert.

Nahtloser Zugang zu S3-Daten

Amazon FSx for Lustre lässt sich nativ in Amazon S3 integrieren, wodurch die Verarbeitung Ihrer Cloud-Datensätze in S3 mit einer leistungsstarken POSIX-Schnittstelle vereinfacht wird. Wenn ein FSx for Lustre-Dateisystem mit einem S3-Bucket verknüpft ist, stellt es S3-Objekte transparent als Dateien dar. FSx for Lustre verfolgt Änderungen und ermöglicht es Ihnen, geänderte und neue Daten auf dem Dateisystem jederzeit in Ihren S3-Bucket zurückzuschreiben.

Einfachheit und vollständige Verwaltung

Amazon FSx for Lustre macht es einfach, das leistungsstarke Lustre-Dateisystem in der Cloud zu starten und auszuführen. Sie müssen sich keine Gedanken mehr um Hardwarebereitstellung und -wartung, Softwarekonfiguration und komplexe Leistungsoptimierungen für Ihre Dateisysteme machen. Mithilfe der AWS-Managementkonsole, der AWS CLI oder eines AWS SDK können Sie in wenigen Minuten ein Amazon FSx for Lustre-Dateisystem erstellen und starten.

Zugriff von überall laufenden Linux-Anwendungen

Amazon FSx for Lustre ist POSIX-konform. So können Sie Ihre aktuellen Linux-basierten Anwendungen verwenden, ohne Änderungen vornehmen zu müssen. FSx für Lustre bietet eine native Dateisystemoberfläche und funktioniert wie jedes andere Dateisystem in Ihrem Linux-Betriebssystem. Darüber hinaus sieht es Read-after-Write-Konsistenz vor und unterstützt die Sperrung von Dateien. Den Zugriff auf Ihre FSx for Lustre-Dateisysteme können Sie mit POSIX-Berechtigungen und Amazon Virtual Private Cloud (VPC)-Regeln steuern. Sie können auf Ihre Dateisysteme von Amazon EC2-Instances und von lokalen Computern aus über AWS Direct Connect oder AWS VPN zugreifen.

Mehrere Bereitstellungsoptionen

Amazon FSx for Lustre bietet die Wahl zwischen Scratch- und persistenten Dateisystemen für die kurz- und längerfristige Datenverarbeitung. Scratch-Dateisysteme sind ideal für die temporäre Speicherung und kurzfristige Verarbeitung von Daten. Daten werden nicht repliziert und bleiben nicht erhalten, wenn ein Dateiserver ausfällt. Persistente Dateisysteme sind ideal für längerfristige Speicherung und Workloads. In persistenten Dateisystemen werden Daten repliziert und Dateiserver ersetzt, wenn sie ausfallen.

Sicher und regelkonform

Amazon FSx for Lustre verschlüsselt Ihre Daten in der Ruhephase und während der Übertragung automatisch. Wenn Sie bestimmten gesetzlichen Auflagen unterliegen, ist FSx for Lustre PCI-DSS-, ISO- und SOC-konform und gleichzeitig HIPAA-zugelassen. Sie können den Netzwerkzugang auch über die Regeln der Amazon Virtual Private Cloud (VPC) Security Group kontrollieren.

Anwendungsfälle

Machine Learning

Machine-Learning-Workloads nehmen riesige Mengen an Trainingsdaten in Anspruch. Diese Workloads nutzen häufig einen gemeinsamen Datenspeicher, da mehrere da mehrere Recheninstanzen die Trainingsdatensätze gleichzeitig verarbeiten müssen. FSx for Lustre eignet sich ideal für Workloads im Bereich des Machine Learning, da es einen gemeinsamen Dateispeicher mit hohem Durchsatz und konsistenten, niedrigen Latenzzeiten für die Verarbeitung der ML-Trainingsdatensätze gewährleistet. FSx for Lustre ist auch in Amazon SageMaker integriert, so dass Sie Ihre Schulungsjobs beschleunigen können.

High Performance Computing

High Performance Computing (HPC) ermöglicht Wissenschaftlern und Technikern das Lösen komplexer, rechenintensiver Probleme. HPC-Workloads, etwa bei der Erkennung von Öl- oder Gasvorkommen oder in der Genomanalyse, verarbeiten riesige Datenmengen, auf die mehrere Recheninstanzen mit hohem Durchsatz zugreifen müssen. FSx for Lustre ist ideal für HPC- und wissenschaftliche Berechnungen, da es ein Dateisystem bietet, das für die Leistung und die Kosten von Hochleistungs-Workloads optimiert ist, mit Dateisystemzugriff über Tausende von EC2-Instances hinweg. FSx for Lustre lässt sich auch in AWS ParallelCluster und AWS Batch integrieren, was die Verwendung mit Ihren HPC-Workloads erleichtert.

Medienverarbeitung und -transkodierung

Verarbeitungs-Workflows für Mediendaten, etwa Videorendering, visuelle Effekte und Medienproduktion, erfordern Rechen- und Speicherresourcen, um die Erstellung riesiger Datenmengen zu handhaben. FSx for Lustre bietet die hohe Leistung und geringe Latenzzeit, die für die Verarbeitung, Verteilung und Analyse digitaler Mediendateien erforderlich sind.

Autonome Fahrzeuge

Kunden, die autonome Fahrzeugsysteme entwickeln, testen ihre Modelle oft anhand von Simulationen und im Rahmen von Schulungen und nutzen dabei riesige Mengen an Fahrzeugsensor- und Kameradaten zur Gewährleistung der Fahrzeugsicherheit. FSx for Lustre ermöglicht Ihnen den gleichzeitigen Zugriff auf diese Daten von Tausenden von Knoten mit hoher Leistung, wodurch Sie Simulationen im Maßstab leichter ausführen und die Modellentwicklung beschleunigen können.

Big-Data- und Finanzanalysen

Anwendungsfälle für Big-Data-Analysen, wie z. B. die Betrugserkennung und Finanzanalyse, erzeugen riesige Datenmengen, die Hochleistungsspeicher benötigen, um datenintensive Anwendungen zu betreiben. Die Verarbeitung des ständig wachsenden Datenvolumens kann kostspielig und kompliziert sein. Amazon FSx for Lustre kann große Datenmengen in großem Maßstab verarbeiten und ist leistungs- und kostenoptimiert, so dass die Zeit bis zu Discovery und Wertschöpfung für Ihr Unternehmen verkürzt wird.

Electronic Design Automation (EDA)

EDA ist ein HPC-Anwendungsfall, bei dem die Leistung und Ausfälle während der Designphase der Siliziumchipherstellung simuliert werden. FSx for Lustre stellt Ihnen die Leistung und Flexibilität zur Verfügung, die Sie in die Lage versetzen, Innovationen schneller voranzutreiben, neue Produkte zu entwickeln und zu verifizieren und Ihr System nach Bedarf zu skalieren.

Product-Page_Standard-Icons_01_Product-Features_SqInk
Mehr zu den Merkmalen von Amazon FSx für Lustre

Erfahren Sie mehr über die Hauptmerkmale von Amazon FSx für Lustre.

Weitere Informationen 
Product-Page_Standard-Icons_02_Sign-Up_SqInk
Registrieren Sie sich und erhalten Sie ein kostenloses Konto

Sie erhalten sofort Zugriff auf das kostenlose AWS-Kontingent. 

Registrieren 
Product-Page_Standard-Icons_03_Start-Building_SqInk
Beginnen Sie mit der Entwicklung in der Konsole

Beginnen Sie die Erstellung mit Amazon FSx für Lustre in der AWS-Konsole.

Anmeldung