AWS lässt uns nachts gut schlafen. Wir brauchen uns nicht um Storage kümmern
Alexander Grosse VP Engineering

Mit SoundCloud können eigene Aufnahmen erstellt oder vorhandene Sounds hochgeladen werden. SoundCloud User laden jede Minute durchschnittlich etwa 12 Stunden an Audio-Material auf die Plattform hoch. Das gesamte Datenvolumen summiert sich mittlerweile auf mehr als 2,5 Petabytes. Die Sounds können entweder mit den eigenen Freunden oder öffentlich über Blogs, Webseiten oder soziale Netze geteilt werden. SoundCloud bietet auch offizielle iPhone und Android-Apps an. Außerdem gibt es Hunderte von Drittanbieter-Apps für die SoundCloud-Plattform. Somit bietet SoundCloud eine Community für Künstler, Bands, Podcaster und alle, die sich für Musik und Audio begeistern oder in diesem Bereich kreativ tätig sind.

Auf SoundCloud laden Nutzer pro Minute etwa 12 Stunden an Audio-Material hoch. Jede Audiodatei muss transcodiert und in mehreren Formaten langfristig gespeichert werden. Sicherer Langzeit-Storage ist für SoundCloud deshalb entscheidend für den Erfolg. „Wenn unser Storage crashen würde“, so Alexander Grosse, wäre das das Ende von SoundCloud! Das Team soll sich jedoch voll auf die Kernfunktionalitäten der SoundCloud-Plattform konzentrieren können.“
Durch die weltweite Nutzung von SoundCloud entstehen sehr inhomogene Lastprofile für das Transcoding der Audiodateien. Vor allem, wenn Nutzer aus Europa und den USA gleichzeitig auf der Plattform sind, entstehen hohe Lastspitzen.
Um das Nutzer-Verhalten besser verstehen und ständig optimieren zu können, zeichnet SoundCloud Milliarden von Events täglich auf. Um die dabei anfallenden Datenmengen speichern und performant verarbeiten zu können, benötigt SoundCloud eine Lösung, die unkompliziert skaliert und sich ohne großen Aufwand betreiben lässt.

SoundCloud nutzt eine Kombination aus Amazon S3 und Amazon Glacier als Speicherlösung. Dabei werden die Audiodateien auf S3 abgelegt und von dort aus über die Website ausgeliefert. Alle Dateien werden zusätzlich auf Amazon Glacier kopiert, um jederzeit sicherstellen zu können, dass die Daten auch im Katastrophenfall verfügbar bleiben. Auf Amazon Glacier haben sich mittlerweile 2,5 Petabytes an Daten angesammelt. „Mit dieser Speicher-Lösung bin ich wirklich glücklich“, sagt Alexander Grosse, „AWS lässt uns nachts gut schlafen. Wir brauchen uns nicht um Storage kümmern.“ Durch die Kombination von S3 und Glacier ist SoundCloud in der Lage, die Datenmengen sicher zu speichern, ohne dafür zusätzlichen Aufwand betreiben zu müssen.
Extreme Lastspitzen, die durch die weltweite Nutzung von SoundCloud entstehen, bedient SoundCloud mit einem Transcoding-Cluster aus bis zu 300 EC2 Instanzen. „Lastspitzen für Transcoding sind über den ganzen Tag verteilt“, so Alexander Grosse, „AWS ist perfekt für Anwendungen mit wechselnden Laufzeitverhalten.“ Um die Milliarden von Nutzer-Interaktionen aufzeichnen und auswerten zu können, setzt SoundCloud einen Amazon Redshift Cluster ein. Das Data Science Team von SoundCloud kann dadurch Ideen schnell austesten und neue Einsichten in das Nutzerverhalten gewinnen. Den Redshift-Cluster kann SoundCloud dabei beliebig den wachsenden Datenmengen anpassen, ohne die Komplexität für den Betrieb zu erhöhen.

Durch das Auslagern der Transcoding-Funktionalität und der Datenspeicherung auf AWS, kann sich SoundCloud voll auf die Kernfunktionalitäten der eigenen Plattform konzentrieren. Die wechselnden Lastprofile kann SoundCloud bedienen, ohne eigene Server kaufen und verwalten zu müssen. Durch die sofortige Verfügbarkeit von Servern bei EC2 vermeidet SoundCloud Opportunitätskosten und kann die Serverkapazität jederzeit direkt an den aktuellen Bedarf anpassen.
Auch die Test- und Entwicklerinstanzen laufen auf AWS. „Immer wenn wir sofort einen Server brauchen, nehmen wir AWS,“ so Alexander Grosse. So konnte SoundCloud innerhalb nur weniger Stunden einen kompletten Cassandra-Cluster auf EC2 starten. Dieser wurde nur sechs Monate benötigt und konnte dann wieder abgeschaltet werden, ohne weitere Kosten zu produzieren.

SoundCloud beobachtet die Entwicklung von AWS sehr genau. Wie schon mit dem Einsatz von Redshift ist sich Alexander Grosse sicher, dass SoundCloud noch weitere Teile der Infrastruktur auf AWS laufen lassen wird.

Weitere Informationen dazu, wie AWS Ihnen beim Erfüllen Ihrer Webanwendungsanforderungen helfen kann, finden Sie auf unserer Detailseite zu Webanwendungen: http://aws.amazon.com/web-mobile-social.