AWS-Fallstudie: Autodesk Seek

Angesichts der großen Mengen an verfügbaren Informationen zu Herstellerprodukten – Produktbeschreibungen, Datenblätter und CAD-Dateien – muss Autodesk Seek explizite Domänen-Wissensmodelle verwenden, um die Daten zu analysieren und für relevante Suchergebnisse für Autodesk Seek-Benutzer aufzubereiten. Aufgrund des klaren Zieles, neue Inhaltsindizes innerhalb deutlich kürzerer Zeitspannen (innerhalb von acht Stunden) zur Verfügung zu stellen, entwickelten die Autodesk-Mitarbeiter als Ergänzung zu Amazon EC2 (Elastic Compute Cloud), Amazon S3 (Simple Storage Service), SQS (Simple Queue Service) und SimpleDB ein skalierbares Netzwerk für Back-End-Prozesse.

Autodesk Seek basiert auf einem rechenintensiven, hochentwickelten "Web-Crawl" zum Finden, Herunterladen und Verarbeiten externer Daten mit Hilfe von CAD Engines. Die Autodesk-Mitarbeiter berücksichtigten beim Aufbau der Architektur Aspekte der Skalierbarkeit und entwickelten als Ergänzung zu EC2 eine Infrastruktur für massive Parallelaufträge. "Wir verwenden Amazon EC2 für fast alle Prozesse, einschließlich Pre-Crawlers, Crawlers, Processing Engines und Indexierung. Wir führen für jede Datenquelle und jeden Datensatz separate EC2-Instanzen aus, sodass wir Inhalte schneller verarbeiten können", so Mike Haley, Senior Manager für SaaS-Technologien bei Autodesk. "Angesichts ständig wachsender Datensätze kommt der freien Skalierbarkeit sowohl der EC2-Umgebung als auch unserer parallelen Architektur im Hinblick auf die pünktliche Bereitstellung dieses Dienstes eine entscheidende Bedeutung zu."

Da Autodesk Seek große CAD-Dateien verarbeitet und bereitstellt, ist ein skalierbares Speichersystem ebenfalls eine geschäftskritische Voraussetzung. Aufgrund der großen Datenmengen hat sich Amazon S3 zu einem wichtigen Bestandteil der Datenverarbeitungspipeline von Autodesk Seek entwickelt. Die Entwickler von Autodesk Seek haben eine zwischengeschaltete Pipeline entwickelt, die ein "versioniertes Datenbank-Splitting" verwendet, bei dem Produktdaten zunächst in kleine Einheiten aufgeteilt, dann für Verarbeitungszwecke von Amazon S3 nach EC2 verschoben und anschließend für die langfristige Speicherung wieder zurückverschoben werden. Neben der Bereitstellung und Speicherung von Autodesk Seek-Daten wird Amazon S3 auch als Content-Hosting-Service für die Katalogdaten-Anbieter von Autodesk verwendet.

Als Ergänzung der virtuellen Infrastruktur verwendet Autodesk Seek auch Amazon SimpleDB und SQS. "Wir verwenden SimpleDB derzeit als unseren zentralen Zustandsspeicher, der angibt, welche Informations-Feeds verarbeitet werden müssen und welche Aufträge aktuell verarbeitet werden. Aufgrund des asynchronen Wesens unseres Systems ist das 'letztendlich konsistente' Modell von SimpleDB für unsere Zwecke gut geeignet", fügte Haley hinzu.

Amazon SQS wird als Nachrichten-Infrastruktur für die Kommunizierung wichtiger Auftragsinformationen zwischen den EC2-Instanzen auf den einzelnen Stufen der Datenverarbeitungspipeline verwendet. "SQS bietet uns eine gute Skalierbarkeit, was das Verschieben von Nachrichten zwischen verschiedenen EC2-Instanzen anbetrifft. Die Persistenz von SQS erlaubt uns zudem auf jeder Stufe eine gewisse Fehlertoleranz, die bei der kontinuierlichen Verarbeitung großer Datenmengen entscheidend sein kann."

Autodesk Seek und die Amazon Web Services-Infrastruktur bieten gemeinsam eine vollständig skalierbare und kostengünstige Lösung zur Entwicklung von daten- und verarbeitungsintensiven webbasierten Anwendungen", so Haley. "Früher war eine solche Lösung mit hohen Vorlaufinvestitionen in die physische Infrastruktur verbunden. Heutzutage haben sich sowohl unser Time-to-Market als auch unser Risiko deutlich reduziert."

http://seek.autodesk.com/