Research and Engineering Studio on AWS – Visualisierung ohne Kopfschmerzen

von Brendan Bouffler, veröffentlicht am 13. November 2023, übersetzt durch Dr. Ramin Torabi

Unser Gehirn ist außerordentlich gut für die Verarbeitung von visuellen Daten ausgestattet. Mehr als 50% unserer Großhirnrinde sind für die Verarbeitung sensorischer Messwerte aus Ihren Augen bestimmt. Sie ist somit die Informationsautobahn, auf der sich komplexe Ideen unglaublich schnell in unseren Köpfen bilden können. Unsere Ausgabegeräte — unsere Gliedmaßen und unsere Stimmen — mussten einzigartige Artikulationsfähigkeiten entwickeln, nur um der Geschwindigkeit gerecht zu werden, mit der wir durch Sehen lernen können.

Da passt es gut, dass wir heute Research and Engineering Studio on AWS (RES) ankündigen, ein Self-Service-Portal, das Wissenschaftlern und Ingenieuren hilft, auf ihre Forschungs- und Konstruktionsarbeitsumgebungen zuzugreifen und diese selbst zu verwalten. Eingeschlossen sind hierbei virtuelle Desktops, um Daten zu visualisieren und ihre interaktiven Anwendungen in der Cloud auszuführen.

Das manuelle Einrichten — und die anschließende Verwaltung — virtueller Desktops erfordert viel Arbeit und raubt den Forschungs- und Entwicklungsgruppen Zeit. Diese Zeit fehlt dann bei den Kernkompetenzen: der Lösung von schwierigen wissenschaftlichen Problemen. Wir haben auch festgestellt, dass Benutzer riskante Abkürzungen verwenden, wenn Prozesse für den Zugriff auf Ressourcen zu kompliziert werden (z. B. das Teilen von Passwörtern oder das Einstellen von globalen Lese-/Schreibberechtigungen für Dateien).

Mit RES stellen wir alle Start- und Überwachungstools über eine zentrale Oberfläche zusammen, sodass Administratoren neue Desktop-Umgebungen schnell bereitstellen können — und zwar aus ihrer eigenen, vorbereiteten Bibliothek mit Software-Images und vertrauenswürdigen Anwendungen. Dies gibt ihren Benutzern die Freiheit, bei Bedarf zu kommen und zu gehen, ohne dass sich dies auf ihre Budgets oder die Sicherheitslage ihres Unternehmens auswirkt. Dies ist insbesondere wichtig, wenn es um neue Anfragen geht.

Im diesem Beitrag erklären wir, was RES ist, wie es funktioniert und wir erklären, wie Sie es in Ihrem eigenen AWS-Konto bereitstellen und für Ihre Benutzer vorbereiten können.

Visualisierung ohne Kopfschmerzen

Das Research and Engineering Studio on AWS wurde entwickelt, um es Site-Administratoren zu erleichtern, eine Reihe von Anwendungen, Daten und umfangreichen Rechenressourcen über vertraute Benutzeroberflächen bereitzustellen — verfügbar ab heute mit interaktiven Desktops.

Wenn Sie sich über Ihren Browser bei RES anmelden, haben Sie die Möglichkeit, die virtuellen Desktops zu sehen, die Ihnen auf Grundlage der Berechtigungen, die sich aus Ihrer Mitgliedschaft in Benutzergruppen (Groups) ergeben, die Projekten (Projects) zugeordnet sind. Wir werden darauf im weiteren Verlauf des Blogs näher darauf eingehen.

Auf dem Hauptbildschirm von “Virtual Desktops” haben Sie die Möglichkeit, Miniaturansichten von Sitzungen, die aktiv sind und ausgeführt werden, sowie von anderen Sitzungen, die pausiert sind, zu sehen. Alle verfügen über Steuerelemente, mit denen Sie diese ein- oder ausschalten können. Sie können sogar festlegen, dass Sessions zu bestimmten Zeitfenstern beginnen und enden (z. B. montags bis freitags von 9 bis 5 Uhr, falls dies zum Arbeitsablauf passt). Hier können Sie auch neue Sitzungen erstellen, die auf Software-Stacks basieren, die Ihr Administrator für Sie bereitgestellt hat. Dies dauert in der Regel nur ein paar Minuten.

Wenn Sie in der RES-Oberfläche für eine laufende Sitzung auf Verbinden (Connect) klicken, können Sie einen neuen Browser-Tab öffnen, der eine verschlüsselte gemeinsame Desktopsitzung mit dem Remotesystem über NICE DCV — unser eigenes Hochleistungs-Streaming-Protokoll (EN) — enthält. DCV verwendet viele Optimierungen mit Netzwerkprotokollen, damit Remote-Desktops sich anfühlen wie eine lokale Workstation. Die zugrundeliegende Technologie wird auch von Netflix angewendet. Die Netflix Redakteure und FX-Teams bekommen dadurch Zugriff auf leistungsstarke Amazon EC2-Instanzen. Wahrscheinlich wurden die großartigen Inhalte, die Sie diese Woche im Fernsehen sehen können damit produziert. Das ist ideal für Wissenschaftler und Ingenieure, da unsere interaktiven Anwendungen oft präzise Bildschirmeingaben erfordern und Instanzen mit viel Arbeitsspeicher benötigen.

Abbildung 1: Der Bildschirm für virtuelle RES-Desktops listet alle Sitzungen auf, die ein Benutzer zuvor erstellt hat, mit Steuerelementen zum Hochfahren, Herunterfahren oder Planen der Betriebszeit.

RES ermöglicht Benutzern auch, ihre Desktops gemeinsam zu nutzen. Die Sitzungen, die Benutzer in RES starten, können auch geteilt werden, wie Sie das in einem Konferenzsystem wie Zoom gewohnt sind. Dies kann für gemeinsame Arbeitssitzungen, in denen eine Gruppe von Ingenieuren in einem Team Erkenntnisse über eine Konstruktion gewinnen muss, unheimlich nützlich sein, indem sie Visualisierungen riesiger Datensätze durchgehen — ohne die Datensätze selbst verschieben zu müssen. Eine Desktopfreigabe kann auch mit einem Ablaufdatum versehen werden.

Abbildung 2: RES ermöglicht Benutzern, ihre virtuellen Desktopsitzungen auf kontrollierte Weise mit anderen zu teilen.

Projekte, Benutzer und Gruppen

Um all dies zu verwalten, arbeitet RES nach einigen wichtigen Konzepten, die Ihnen wahrscheinlich alle bereits bekannt sind.

1.) Das erste ist das Projekt (Project). In den meisten öffentlichen und privaten Organisationen dreht sich alles um Projektteams. Ressourcen werden in der Regel für Projektteams erstellt und von diesen genutzt. Zugriff, Abrechnung und sogar Softwarestacks richten sich nach den Projektanforderungen.
2.) Benutzer und Gruppen (Users und Groups): Benutzer können Mitglieder mehrerer Gruppen sein, und in RES kann eine Gruppe einem oder mehreren Projekten zugeordnet werden.

Wie die meisten Institutionen haben Sie wahrscheinlich in ein Benutzeridentitäts- und Authentifizierungssystem investiert, einschließlich vorhandener Projektgruppen, die Sie definiert haben, um den Zugriff auf gemeinsam genutzte Dateien und andere Ressourcen zu definieren. Daran wollten wir uns orientieren, daher ist RES — bereits von der Stange — so konzipiert, dass es sich mit Ihrem vorhandenen Verzeichnisdienst verbindet, beginnend mit Active Directory (AD), sodass Sie die Konfiguration nicht zweimal erledigen müssen.

Beim Start kann RES eine Verbindung zu Ihrem vorhandenen AD-Server, lokal oder in der Cloud, herstellen. Wenn Sie Ihre RES-Umgebung von Ihrem regulären Benutzerbereich trennen möchten, um beispielsweise eine technische Sandbox zu erstellen, können Sie mithilfe von AWS Directory Service ein verwaltetes AD einrichten, um eine Gruppe von Benutzern privat zu verwalten.

Abbildung 3: Identitätsfunktionen, wie das Definieren von Benutzern und Gruppen, werden zentral in einer Active Directory-Umgebung ausgeführt, die Sie bei der Installation von RES in Ihrer AWS-Umgebung angeben. Das AD kann lokal oder in der Cloud und — wenn Sie es wünschen — getrennt von Ihrem Unternehmensverzeichnisdienst sein.

RES ermöglicht den Zugriff auf Projektressourcen, indem angegeben wird, welche Gruppen (Groups) dem Projekt (Project) zugewiesen sind. Sie definieren dies bei der Projekterstellung, aber Sie können es natürlich auch danach noch ändern (siehe Abbildung 4).

Abbildung 4 — Wenn Sie ein Projekt in RES erstellen, können Sie angeben, welche Benutzergruppen auf die Ressourcen zugreifen dürfen. Die Gruppen und Benutzer werden von Ihrem Active Directory-Dienst übernommen.

RES ist so konzipiert, dass es sich an Ihr AD bindet und von dort aus sein Wissen über Ihre Teams bezieht, sodass RES Änderungen, die Sie an Gruppenmitgliedschaften vornehmen, sofort berücksichtigen kann.

Storage

Bei Einführung unterstützt RES die zwei Netzwerk-Dateisysteme, von denen uns Kunden mitgeteilt haben, dass sie für die Verwaltung der Benutzerdateien am nützlichsten sind: Amazon Elastic File System (EFS) und Amazon FSx for NetApp ONTAP. EFS eignet sich hervorragend für Kunden mit großen Linux-Umgebungen, die NFSv4 (Network File System Version 4) verwenden, während FSx for NetApp ONTAP dasselbe Dateisystem entweder mit NFS oder SMB (Server Message Block) anbieten kann — das ist hilfreich, wenn Sie eine hybride Windows- und Linux-Umgebung betreiben und Ihre Benutzer regelmäßig zwischen den Betriebssystemen hin und her wechseln, je nachdem, welche Anwendungen sie verwenden.

Abbildung 5: Sie können Dateisysteme in RES verwalten und diese Projekten zuordnen. Anfänglich unterstützt RES Amazon EFS und Amazon FSx für NetApp ONTAP.

RES ermöglicht es einem Administrator, neue Dateisysteme einzurichten oder vorhandene Dateisysteme einzubinden, die Sie möglicherweise zuvor für Ihr Projekt erstellt haben. Sie müssen eine Dateisystem-Ressource einem Projekt zuordnen, um sie für die Benutzer sichtbar zu machen, die Mitglieder der mit dem Projekt verknüpften Gruppen sind. Der Zugriff auf einzelne Dateien und Ordner wird auf Betriebssystemebene weiterhin wie gewohnt über Berechtigungen gesteuert, die wiederum in der Regel Ihren Benutzer- und Gruppendefinitionen in dem AD zugeordnet sind, welches Sie für Ihren Verzeichnisdienst verwenden.

Software-Stacks und Maschinen-Images

RES verwendet Amazon Machine Images (AMIs) als Grundlage für die Konfiguration der Umgebungen, die Sie für Ihre Benutzer bereitstellen. Wenn dies für Sie neu ist, ist ein AMI ein Image, das die Daten bereitstellt, die zum Starten einer Instanz erforderlich sind. Sie müssen ein AMI angeben, wenn Sie eine Instanz starten. Sie können mehrere Instanzen von einem einzigen AMI aus starten, wenn Sie viele Maschinen mit derselben Konfiguration benötigen. Und Sie können verschiedene AMIs verwenden, um Instanzen zu starten, wenn Sie der Umgebung Ihrer Benutzer eine lokale Variante hinzufügen möchten.

RES erweitert dieses Konzept noch ein wenig, indem es die Anzahl der Instanzen und GPUs, die es auf der Grundlage eines AMI anbieten wird, einschränkt. Und — wie zu erwarten — muss der resultierende Stack einem Projekt zugeordnet werden, bevor ein Benutzer davon erfährt. Das ist nicht nur hilfreich, wenn Sie anpassen möchten, was Ihre Benutzer tun können, sondern es ist auch vorteilhaft, wenn Sie über kommerziell lizenzierte Software verfügen. Beispielsweise können alle Mitglieder von Project Beeblebrox auf ein AMI zugreifen, in das die Marvin-Lizenz eingebettet ist.

Das Erstellen eines AMI ist fast so einfach wie ein Vorhandenes zu starten: einfach Ihre Änderungen vorzunehmen und dann die Amazon EC2-Konsole verwenden, um daraus ein neues AMI zu erstellen. Danach müssen Sie nur noch die ID Ihres AMI in die RES-Oberfläche übertragen und registrieren.

Ab heute ist RES für die Unterstützung von Windows- und Linux-Betriebssystemen konzipiert, insbesondere: Windows Server 2019 (Datacenter Version 1809), Amazon Linux 2, CentOS 7, Red Hat Enterprise Linux 7, Red Hat Enterprise Linux 8 und Red Hat Enterprise Linux 9. Wir werden die Liste der unterstützten Betriebssysteme in der Online-Dokumentation für RES auf dem neuesten Stand halten.

Bereitstellung mit einem Klick — oder zwei

Research and Engineering Studio ist ein selbstverwaltetes Open-Source-Produkt, das Sie in Ihrem eigenen AWS-Konto installieren.

Es gibt mehrere Möglichkeiten, RES in Betrieb zu nehmen. Für welche Sie sich entscheiden, hängt von Ihrer Erfahrung mit AWS ab und davon, wie stark Sie sie an Ihre lokalen Bedürfnisse anpassen möchten. Dazu gehört auch eine “batteries included“ Methode. Dabei handelt es sich um einen vollständigen, mit einem Klick zu startenden AWS CloudFormation-Stack, der zum Aufbau einer gesamten Umgebung einschließlich eines verwalteten AD-Servers verwendet werden kann.

RES ist ein von AWS unterstütztes Open-Source-Projekt, das über sein öffentliches GitHub-Repository verfügbar ist. Dort finden Sie die RES-Installationsrezepte (einschließlich mehrerer Komponenten, bereitgestellt von der HPC Recipe Library – EN).

RES kann in den folgenden Regionen verwendet werden: US East (Ohio), US East (N. Virginia), US West (N. California), US West (Oregon), Asia Pacific (Singapore), Asia Pacific (Sydney), Europe (Ireland), Europe (Frankfurt), Europe (London), Europe (Paris), Asia Pacific (Mumbai) and AWS GovCloud (US-West).

Links zur Dokumentation und mehr sind auf der Homepage von Research and Engineering Studio verfügbar. Probieren Sie es aus und teilen Sie uns Ihre Meinung unter ask-hpc@amazon.com mit.