Wie kann ich die langsame Leistung beim Kopieren lokaler Dateien auf Storage Gateway beheben?

Lesedauer: 4 Minute
0

Ich möchte lokale Dateien auf meine Network File System (NFS)- oder Server Message Block (SMB)-Dateifreigabe auf AWS Storage Gateway kopieren, aber die Übertragung ist langsam. Wie kann ich die Upload-Leistung verbessern?

Behebung

Ziehen Sie die folgenden Möglichkeiten in Betracht, um die Leistung zu verbessern, wenn Sie lokale Dateien in eine Dateifreigabe auf Storage Gateway kopieren:

**Hinweis:**Ein Dateigateway ist ein Objektspeicher-Cache, kein Dateiserver. Das bedeutet, dass sich die Leistungsmerkmale eines Dateigateways von denen eines Dateiservers unterscheiden.

Skalieren Sie Ihre Arbeitslast

Um die beste Leistung zu erzielen, skalieren Sie Ihre Workload durch Hinzufügen von Threads oder Clients. Bei der Übertragung eines Verzeichnisses von Dateien skaliert ein Dateigateway am besten, wenn die Workload aus mehreren Threads besteht oder mehrere Clients beteiligt sind. Überprüfen Sie Ihr Dateiverwaltungstool und stellen Sie fest, ob das Tool standardmäßig Single-Thread-Uploads ausführt.

Es empfiehlt sich, mehrere Threads oder Clients zu verwenden, wenn Sie kleine oder große Dateien übertragen. Sie erhalten den höchsten MiB-Durchsatz pro Sekunde, wenn Sie große Dateien (jeweils Dutzende oder Hunderte von MiB) mit mehreren Threads übertragen. Aufgrund des Overheads beim Erstellen neuer Dateien führt die Übertragung vieler kleiner Dateien zu einem geringeren MIB-pro-Sekunde-Durchsatz im Vergleich zur gleichen Arbeitslast bei großen Dateien.

Um eine Multithread-Kopie unter Windows durchzuführen, verwenden SieRobocopyein Dateikopierwerkzeug von Microsoft.

**Hinweis:**Bei der Übertragung kleinerer Dateien sollten Sie die Übertragungsrate in Dateien pro Sekunde statt in MIB pro Sekunde messen. Die Geschwindigkeit der Dateierstellung kann den Speicherplatz für die Übertragung kleinerer Dateien beanspruchen.

Optimieren Sie Ihren Cache-Speicher

Passen Sie die Gesamtgröße des Cache-Speichers Ihres Gateways an die Größe des aktiven Workingsets an. Ein Cache, der mehrere lokale Festplatten verwendet, kann den Datenzugriff parallelisieren und zu höheren I/O-Operationen pro Sekunde (IOPS) führen. Weitere Informationen finden Sie unter Leistungshinweise für Amazon Simple Storage Service (Amazon S3) File Gateway.

Überwachen Sie auch dieCachePercentDirtyMetrik für Ihr Gateway. Diese Metrik gibt den Prozentsatz des Cache-Speichers an, der mit Daten belegt ist, die nicht in einem S3-Bucket gespeichert sind. Ein hoher Wert von CachePercentDirty kann dazu führen, dass der Cache-Speicher des Gateways Schreibvorgänge auf dem Gateway drosselt.

Verwendung leistungsfähigerer Festplatten

Es empfiehlt sich, für den Cache-Speicher Ihres Gateways Festplatten mit SSD (Solid-State-Drive) Unterstützung und dedizierter Zuordnung zu verwenden. Idealerweise sollten die zugrunde liegenden physischen Festplatten nicht mit anderen virtuellen Maschinen geteilt werden, um eine IOPS-Erschöpfung zu verhindern.

Zur Messung der Festplatten-IOPS verwenden Sie die MetrikReadBytesundWriteBytes mit der Samples-Statistik in CloudWatch. Generell sollten Sie bei der Überprüfung dieser Metriken für das Gateway auf niedrige Durchsatz- und IOPS-Trends achten, die auf festplattenbezogene Engpässe hinweisen.

Überwachen Sie dieIOWaitPercent-Metrik in CloudWatch. Sie gibt den Prozentsatz der Zeit an, während der die CPU auf eine Antwort von der lokalen Festplatte wartet. Ein Wert von mehr als 10 % deutet in der Regel auf einen Engpass bei den zugrunde liegenden Festplatten hin und kann auf langsamere Festplatten zurückzuführen sein. Fügen Sie in diesem Fall zusätzliche Festplatten hinzu, um dem Gateway mehr IOPS zur Verfügung zu stellen.

Hinweis: Bei Gateways, die auf Amazon Elastic Compute Cloud (Amazon EC2) basieren, kann der Amazon Elastic Block Store (Amazon EBS)-Durchsatz der Instanz ebenfalls ein limitierender Faktor sein. Vergewissern Sie sich, dass die CPU und der Arbeitsspeicher der virtuellen Host-Maschine des Gateways oder der Amazon-EC2-Instanz den Durchsatz des Gateways zu AWS unterstützen. Zum Beispiel hat jeder EC2-Instanztyp einenanderen Basisdurchsatz. Wenn der Burst-Durchsatz ausgeschöpft ist, verwendet die Instanz ihren Basisdurchsatz, wodurch der Upload-Durchsatz auf AWS begrenzt werden kann. Wenn Ihr Gateway auf einer Amazon-EC2-Instanz gehostet wird,NetworkOut-Metrikfür die Instanz. Wenn die NetworkOut-Metrik während des Tests auf dem Basisdurchsatz bleibt, sollten Sie in Erwägung ziehen, die Instanz auf einen größeren Instanztyp umzustellen.


AWS OFFICIAL
AWS OFFICIALAktualisiert vor einem Jahr