Mercado Libre skaliert sein Unternehmen, verbessert die Zuverlässigkeit in der Migration von 5 000 Datenbanken auf Amazon DynamoDB

Mercado Libre, gegründet im Jahr 1999, besteht aus zwei Haupt-Geschäftszweigen: E-Commerce und Fintech. In diesen Bereichen beitet das Unternehmen viele Services an, einschließlich eines Online-Marktplatzes, eines digitalen Zahlungssystems, Werbung, Logistik und Kreditangebote. Der zugrundeliegende Zweck ist es, Handel, Zahlungen und Geld zu demokratisieren, um in den Leben von Millionen Menschen in Lateinamerika einen Unterschied zu machen.

Mercado Libre hat ursprünglich seine Lösungen auf einer Virtual Private Cloud erstellt. Jedes interne Team ist für den Umgang mit der eigenen Infrastruktur, Anwendungen und Wartungen verantwortlich. Beispielsweise haben einzelne Teams festgelegt, welche Datenbank-Arten zu verwenden sind. Obwohl dies zunächst der Schlüssel zum schnellen Wachstum war (die Teams wurden größer und der Datenverkehr nahm zu), erschwerte die Vielfalt der Technologie-Stacks die Aufrechterhaltung des Wachstums. Das Unternehmen erstellte für seine Teams eine neue Lösung, einschließlich eines proprietären Software-Entwicklungskits und benutzerdefinierte APIs. Für NoSQL-Datenbanken erstellte das Unternehmen eine Abstraktionsschicht, so dass alle Teams auf der gleichen Wellenlänge waren, anstatt direkten Zugriff auf eine Lösung zu gewähren. Zunächst hat Mercado Libre seine Abstraktion der Schlüssel-Werte-Hauptdatenbank zusätzlich zu einer selbstverwalteten, Open-Source-Datenbank-Engine, eine Lösung, die 5 000 Datenbanken aufgenommen hat.

Jedoch ist dem Unternehmen im Laufe der Zeit klar geworden, dass es nicht alle Funktionen von der ausgewählten Engine bekam, die es benötigte. Außerdem, erforderte die Verwaltung von über 30 Clustern häufige Wartung. Daraus ergaben sich Ausfallzeiten, Fehler und Stillstände. Im Frühjahr 2019 begann Mercado Libre mit der Migration auf Amazon DynamoDB. „Mit der Zuverlässigkeit von Amazon DynamoDB können wir die Kosten von Stillständen vermeiden“, sagt Oscar Mullin, Leiter der IT-Abteilung von Mercado Libre und Leiter der Core Services, Engineering für Standortzuverlässigkeit und Datenbank-Verwaltung. Mit der gemeinsamen Abstraktion als Vorteil migrierte das Unternehmen 5 000 Datenbanken, ohne dass irgendjemand im Unternehmen eine einzige Code-Zeile ändern oder die Roadmap des Unternehmens anpassen musste.

Mercado Libre verwendete Amazon DynamoDB neben anderen AWS-Services, die Mercado Libre nutzte, um seine missions- und geschäftskritischen Anwendungen auszuführen, wie beispielsweise Amazon Elastic Compute Cloud (Amazon EC2), einem Web-Service, der sichere, anpassbare Rechenkapazität in der Cloud bereitstellt, und Amazon Simple Storage Service (Amazon S3), einem Objektspeicher-Service, der branchenführende Skalierbarkeit, Datenverfügbarkeit, Sicherheit und Leistung bietet.

Mit der vereinten Kraft der AWS-Lösungen konnte Mercado Libre all seine Skalierungsbedürfnisse ohne Auswirkung auf die Leistung erfüllen. Früher verbrachte das Unternehmen viel Zeit mit der Vorbereitung auf Skalierungsereignisse wie z.B. Feiertage, und die Skalierung war kompliziert. Infolge von unvorhergesehenen Ereignissen wie die COVID-19-Pandemie haben sich Menschen an die E-Commerce und die digitalen Zahlungen gewendet. Dadurch stieg der Datenverkehr für Mercado Libre erheblich an. Im Rahmen seiner Mission der Eingliederung war es das Ziel von Mercado Libre, AWS zu verwenden, um die Angebote an kleinere Unternehmen auszubauen. „Es war kritisch, dass unsere wichtigsten Anwendungen unsere auf Amazon DynamoDB basierenden Abstraktion verwendet haben“, sagt Mullin. „Die Bewältigung dieses Datenverkehranstiegs und die gleichzeitige Wahrung der Verfügbarkeit wäre ansonsten äußerst komplex gewesen.“ Die automatischen Skalierungsfunktionen von Amazon DynamoDB haben sich auch als unschätzbar erwiesen, als das Unternehmen herunterskalieren musste. Das hat dem Unternehmen dabei geholfen, ungenutzte Fähigkeiten zu nutzen, Abfall zu reduzieren und Kosten zu senken. „Im Gegensatz zu früheren Lösungen war die Herunterskalierung auf Amazon DynamoDB extrem einfach“, sagt Mullin.

Die sich auf mehrere AWS-Regionen erstreckende Architektur, die von Amazon DynamoDB unterstützt wurde, löst auch Verfügbarkeitsprobleme für Mercado Libre. Anstatt Daten in separaten Tabellen übertragen zu müssen, verwendet das Unternehmen globale Amazon-DynamoDB-Tabellen, die Tabellen automatisch über die vom Unternehmen gewählten Regionen hinweg replizieren und so für Fehlertoleranz in mehreren Regionen sorgen. Diese vollständig verwaltete, multiaktive Datenbank in mehreren Regionen hilft bei der Bereitstellung schneller, lokaler Lese- und Schreibleistung an Millionen von weltweit verbreiteten Kunden. „Wir verfügen über die Fähigkeit, mehrere Regionen mit einem Klick zu erreichen“, sagt Mullin. „Und all unsere Protokolldaten werden automatisch in die anderen Regionen verschoben.“ Die Änderungen an einer Tabellen werden nahtlos in den anderen Regionen übernommen. dadurch spart sich das Unternehmen Zeit. Egal, wo sich unsere Benutzer befinden, sie können auf Daten mit niedriger Latenz zugreifen. Tatsächlich beträgt das 99. Perzentil der kombinierten Latenz der API- und Amazon DynamoDB-Lesungen nur 6 ms für Leseanforderungen. Und selbst wenn Anfragen eine Rate von 300 Millionen pro Minute erreichen, leidet die Latenz nicht darunter. Außerdem muss Mercado Libre nicht mehr durch komplizierte Prozesse navigieren, nur um tägliches Backup zu erreichen, weil Amazon DynamoDB zeitbezogene Wiederherstellung für fortlaufende, automatische Backups bietet.

Mercado Libres Services-Ansatz umfasst die Entwicklung von zusammenhängenden Services, die den Entwicklern transparente Integrationen bereitstellen, die möglichst einfach sind. Zum Erreichen dieser Integration mit Schlüssel-Wert-Speicher hat sich Mercado Libre an Amazon DynamoDB Streams gewendet, das einen zeitlich geordneten Ablauf der Änderungen auf Elementebene in Amazon-DynamoDB-Tabelle erfasst und die Informationen in einem Protokoll 24 Stunden lang speichert. DynamoDB-Streams arbeitet auch mit Amazon DynamoDB, indem es automatisch unwichtige Informationen aus Tabellen entfernt und das alles ohne zusätzliche Kosten. Mercado Libre kann Amazon DynamoDB verwenden, um diese abgelaufenen Elemente mit Time-to-Live-Ablauf zu löschen. Dadurch werden ungewollte oder irrelevante Elemente im Hintergrund entfernt, ohne Schreibdurchsatz zu verbrauchen. Und durch Nutzung von DynamoDB Streams kann das Unternehmen diese Löschungen erfassen und Daten beim Ablauf sichern und anderweitig verarbeiten. „DynamoDB Streams ist eine leistungsstarke Funktion“, sagt Mullin. „Mit den automatisierten Funktionen müssen wir vielen Aufgaben nicht mehr selbst erledigen, ein Prozess, der komplex und fehleranfällig war.“

Obwohl Mercado Libre ursprünglich Amazon DynamoDB als Möglichkeit ausgewählt hat, um betriebliche Überlastung auszulagern und die massive Skalierung zu unterstützen, entdecken seine Entwickler weiterhin neue Funktionen, die dazu beitragen, die Fähigkeit des Unternehmens, zu innovieren und weiterhin zu in Lateinamerika zu wachsen, voranzutreiben. Bei der Analyse von Alternativen zu unserer vorherigen Einstellung von dem, was wir benötigten, war Amazon DynamoDB der klare Sieger“, sagt Mullin. „Und wir schöpfen weiterhin Wert daraus, indem wir neue Abstraktionen wie sekundäre Indizes oder Sicherheitsfunktionen erstellen.“