Codeway spart 48 % der Rechenkosten für generative KI mit Amazon EC2-G5-Instances

Codeway mit Sitz in Istanbul, Türkei, entwickelt mobile Anwendungen und Spiele auf der Grundlage modernster Technologien, insbesondere generativer KI. Die Wonder-Anwendung verwandelt Wörter in digitale Bilder. Benutzer geben Wörter oder Sätze ein, und Wonder verwandelt diese Eingaben in Kunstwerke, indem es stabile Diffusionsmodelle für die Bilderzeugung auf Basis von PyTorch in AWS einsetzt. Je nach Abonnement können Benutzer dann eine qualitativ hochwertige oder minderwertige Version des Bildes herunterladen.

Da Wonder bereits von mehr als 28,3 Millionen Nutzern heruntergeladen wurde, ist Codeway bestrebt, seine Rechen- und GPU-Kapazitäten zu maximieren. Die Infrastruktur von Wonder ist auf verschiedene Cloud-Anbieter in mehreren Regionen verteilt. Für Inferenz-Workloads mit künstlicher Intelligenz (KI) verwendete Codeway NVIDIA-A100-Tensor-Core-GPUs, die auf einem dieser Anbieter gehostet wurden. Es traten jedoch Probleme mit der GPU-Kapazität auf, die sich auf die Leistung auswirkten.

„Diese Workloads erfordern sehr GPU-intensive Hardware. Außerdem kommen jeden Monat Millionen von Nutzern hinzu, so dass unser Bedarf an GPUs nur steigen wird", sagt Ugur Arpaci, leitender DevOps-Ingenieur bei Codeway. "Da wir von der Verwaltung von Hunderten auf Tausende von GPUs umsteigen, wollten wir Kosten und Leistung optimieren und eine gute Strategie für die Skalierbarkeit finden."

Amazon EC2 bietet ein breites und umfangreiches Rechenportfolio mit über 600 Instances und einer Auswahl der neuesten Prozessor-, Speicher-, Netzwerk-, Betriebssystem- und Kaufmodell-Optionen, um Kunden dabei zu helfen, die Anforderungen ihrer Workloads bestmöglich zu erfüllen. Während Codeway nach Möglichkeiten suchte, seine Rechenleistung zu optimieren, entdeckte das Unternehmen eine ideale Lösung: Amazon-EC2-G5-Instances mit NVIDIA-A10G-Tensor-Core-GPUs. Obwohl Codeway eine Auswahl an ähnlichen GPUs bei anderen Cloud-Anbietern hatte, boten diese nicht die gleiche Verfügbarkeit und Skalierbarkeit wie AWS.

"Das AWS-Team schlug vor, dass wir unsere Preis-Leistungs-Ziele durch den Einsatz von Amazon-EC2-G5-Instances mit NVIDIA A10G Tensor Core GPUs erreichen könnten", sagt Arpaci. "Wir haben angefangen, das zu testen, und wir haben gute Ergebnisse gesehen."

Nach der Analyse der Preisentwicklung von Amazon-EC2-G5-Instances arbeitete Codeway eng mit dem AWS-Team zusammen, um den Onboarding-Prozess abzuschließen. „Wir standen immer in Kontakt mit den Experten von AWS“, sagt Arpaci. „Wir haben ihre Anweisungen befolgt und dann Tests durchgeführt und die Kosten für uns berechnet. Bei bestimmten Modellen stellten wir fest, dass wir den größten Nutzen aus der Bereitstellung unserer Anwendung auf Amazon-EC2-G5-Instances ziehen konnten. Wir haben dann unsere Ergebnisse geteilt und eine sehr positive Feedbackschleife eingerichtet.“

Der Onboarding-Prozess verlief schnell und reibungslos, und innerhalb von 3,5 Monaten führte Codeway Produktionsworkloads für Wonder in AWS aus. Codeway verwendet jetzt Amazon-EC2-G5-Instances mit A10G GPUs, um fast alle KI-Interferenz-Workloads für die kostenlose Version von Wonder bereitzustellen. Um Bilder in voller HD-Auflösung für zahlende Subscriber zu generieren, verwendet Codeway die leistungsstärkeren A100-GPUs, die qualitativ hochwertigere Inhalte in kürzerer Zeit generieren. Durch den Einsatz von A10Gs und A100s kann das Unternehmen alle seine Service Level Agreements für die Produktionszeiten einhalten.

„Wir wussten, dass die A10G weniger leistungsstark sind als die A100s, aber einige Workloads erfordern nicht so viel GPU-Leistung“, sagt Arpaci. "Jetzt können wir einen Großteil dieser Workloads von unseren leistungsstärkeren GPUs abziehen, die jetzt nur noch für Premium-Benutzer-Features, wie z.B. hochwertige Bilderzeugung, eingesetzt werden."

Um die Kosteneffizienz und Leistung weiter zu verbessern, hat Codeway Cluster auf Amazon Elastic Kubernetes Service (Amazon EKS) eingeführt – einem verwalteten Service zur Ausführung von Kubernetes in der AWS Cloud und in On-Premises-Datenzentren, – um Amazon-EC2-G5-Instances nach Bedarf dynamisch hoch- und herunterzufahren. Auf jedem Amazon-EKS-Cluster wurde eine benutzerdefinierte Lösung zur automatischen Skalierung bereitgestellt, die bei Bedarf intelligent zusätzliche Instances anfordert.

Zur Verwaltung von Instances setzt Codeway auf Karpenter, eine Open-Source-Node-Provisioning-Lösung. Dieser Service bestimmt und verwendet effektiv die geeigneten Instancetypen auf der Grundlage der Anforderungen von Codeway. „Karpenter wählt tatsächlich die erforderliche Anzahl von Instances für uns aus und stellt sie bereit, und dann stellen wir die erforderliche Workload zusätzlich bereit“, sagt Arpaci. „Der gesamte Prozess ist automatisiert, was viele Faktoren aus betrieblicher Sicht vereinfacht.“