Pinterest in AWS
Pinterest ist eine visuelle Entdeckungsmaschine, die Milliarden von Bildern hostet, die über 450 Millionen Nutzer erkunden, speichern und als „Pins“ auf personalisierten digitalen Inspirationsboards teilen können. Pinterest wurde in der Amazon Web Services (AWS) Cloud geboren und kann die Verarbeitung, Speicherung und Analyse seiner schnell wachsenden Datenmenge skalieren und gleichzeitig das Infrastrukturmanagement reduzieren und sich auf Innovationen konzentrieren. Mithilfe der Rechenlösungen von AWS migrierte Pinterest seine iOS-Continuous-Integration- und Continuous-Delivery-Pipeline (CI/CD) von vor Ort, um Build-Fehler um über 80 Prozent zu reduzieren. Pinterest nutzt auch Machine Learning (ML), um sein visuelles Suchwerkzeug Pinterest Lens zu betreiben, das über 2,5 Milliarden Objekte erkennen und sie Produkten zuordnen kann. Heute wird die Exabyte-Datenplattform von Pinterest vollständig in AWS ausgeführt, wodurch die Protokollsuche und -analytik auf über 1,7 TB skaliert und gleichzeitig die Betriebskosten um 30 % gesenkt werden.
-
Zusammenfassung von Pinterest re:Invent 2023
-
Speicher
-
Datenlösungen
-
Machine Learning
-
Migration
-
Kostenoptimierung
-
Sicherheit
-
Nachhaltigkeit
-
Zusammenfassung von Pinterest re:Invent 2023
-
2023
AWS Graviton: Das beste Preis-Leistungs-Verhältnis für Ihre AWS-Workloads
Auf AWS Graviton basierende Amazon-EC2-Instances bieten das beste Preis-Leistungs-Verhältnis für Workloads in Amazon EC2. In diesem Vortrag lernen Sie die AWS-Graviton-Prozessoren kennen, erhalten einen Überblick der Workload-Leistung, Erfolgsgeschichten von AWS-Kunden, Energieeffizienz und Software-Angebote. Erfahren Sie mehr über bewährte Methoden zur Optimierung von Workloads in AWS Graviton in verschiedenen Anwendungen und darüber, wie Sie Ihren Weg zu AWS Graviton beginnen können.
2023Umfangreiches Modelltraining in AWS Deep Learning AMIs und PyTorch, mit Pinterest
Nehmen Sie an diesem Vortrag teil und erfahren Sie mehr über die Infrastruktur, die zum Trainieren großer Modelle bei Pinterest verwendet wird. Der Vortrag behandelt SDKs für Trainingshardware, Rechenorchestrierung und ML-Anwendungsentwicklung sowie die Frage, wie Infrastrukturentscheidungen die Entwicklung beschleunigen und die Effizienz des Modelltrainings verbessern. Erfahren Sie, wie Pinterest AWS-Services wie Amazon EC2 UltraClusters und AWS Deep Learning AMIs integriert, um die Gesamtbetriebskosten der ML-Infrastruktur zu senken.
2023Pinterest erweitert vorhandenen Data Lake mit generativer KI
Pinterest ist die Plattform für visuelle Inspiration, auf der Menschen die besten Ideen der Welt suchen, speichern und kaufen. Erfahren Sie von Dave Burgess, Vice President of Data Engineering bei Pinterest, mehr über ihren Data Lake im Exabyte-Bereich und darüber, wie sie diese Daten mit generativer KI nutzen.
-
Speicher
-
2024
Spark im Amazon-EKS-Netzwerk – Teil 1
In diesem Beitrag zeigen wir Ihnen, wie Pinterest und AWS dabei vorgegangen sind, Anforderungen zu sammeln und Grundsätze für ein Netzwerkdesignprojekt zu formulieren, um groß angelegte, reale Bereitstellungen zu unterstützen. Der Prozess war von entscheidender Bedeutung für die Definition des Problemumfangs, die Festlegung der Handlungsgrenzen, die Abstimmung der Anforderungen mit den Interessensgruppen und die Etablierung eines Prozesses für die teamübergreifende Zusammenarbeit zur Erreichung unserer Ziele.
2024Spark im Amazon-EKS-Netzwerk – Teil 2
In diesem Beitrag zeigen wir Ihnen einen iterativen und kollaborativen Ansatz als solide Grundlage für die neue Datenplattform von Pinterest, sowie für die Zukunft von Pinterest in der Cloud. Dies ist ein Zeitpunkt, und dieses Design erfüllt seinen Zweck, aber wir können und werden es mit neuen Technologien, anderen Workloads und in einem neuen Maßstab wiederholen.
2023Behebung technischer Schulden und Sicherung kritischer Daten bei Pinterest
Erfahren Sie, wie Ambud Sharma, Tech Lead und Engineering Manager bei Pinterest, seine Leidenschaft für Technologie entdeckte und wie ihn seine Recherchen im Bereich Vertriebssysteme schließlich dazu veranlassten, sie von Grund auf neu zu entwickeln. Ambud erklärt auch, wie der Amazon Simple Storage Service (Amazon S3) die Grundlage für einen Teil der Arbeit von Pinterest bildet, und bezeichnet ihn als bahnbrechende Neuerung für die laufende Arbeit des Unternehmens.
2022Build With Me – Pinterest und AWS
Erfahren Sie, wie Ambud Sharma, Tech Lead und Engineering Manager bei Pinterest, seine Leidenschaft für Technologie entdeckte und wie ihn seine Recherchen im Bereich Vertriebssysteme schließlich dazu veranlassten, sie von Grund auf neu zu entwickeln. Ambud erklärt auch, wie der Amazon Simple Storage Service (Amazon S3) für einen Teil der Arbeit von Pinterest von grundlegender Bedeutung war, und beschreibt ihn als einen Wendepunkt für die laufende Arbeit von Pinterest.
2022Wie Pinterest AWS verwendet, um ein System zur Verkürzung der Entwicklungszeiten zu erstellen
Um seinen Nutzern die Bereitstellung von Analysetools zu ermöglichen, stellte Pinterest fest, dass diese Nutzer die Erlaubnis haben sollten, auf die Daten zuzugreifen. Pinterest verwendete Amazon S3 und AWS Identity and Access Management (IAM), um ein feinkörniges Zugriffskontrollsystem zu entwickeln, das sicherstellt, dass die richtigen Benutzerberechtigungen vorhanden sind, was wiederum die Entwicklungszeit für die internen Benutzer verkürzt.
2021Wie Pinterest mit AWS zusammengearbeitet hat, um eine neue Methode zur Verwaltung des Datenzugriffs zu entwickeln
Da Tausende von Ingenieuren und Entwicklern auf seiner Plattform arbeiteten, musste Pinterest den Datenzugriff auf bestimmte Benutzer und Prozesse beschränken und wandte sich an AWS, um Hilfe bei der Entwicklung einer Lösung zu erhalten. Erfahren Sie mehr über die Zusammenarbeit zwischen Pinterest und AWS bei der Entwicklung des skalierbaren und sicheren Fine-Grain-Access Control-Systems (FGAC) für die Daten von Pinterest auf Amazon S3 und wie FGAC Pinterest dabei hilft, unterrepräsentierte Creators zu fördern.
2021Wie Pinterest Amazon S3 Glacier Deep Archive verwendet, um den Speicher für seine Visual Discovery Engine zu verwalten
Als großer Nutzer von Amazon S3 speichert Pinterest Milliarden von Objekten und fast ein Exabyte an Daten in mehreren AWS-Regionen. Erfahren Sie, wie Pinterest Amazon S3 Lifecycle verwendet, um Daten optimalen Amazon-S3-Speicherklassenzuweisungen zuzuordnen. So können Sie umfangreiche Kostenziele erreichen und die Speichereffizienz maximieren.
2021Tipps für eine effektive Innovationszusammenarbeit von Pinterest und AWS
Keith Regier, technischer Leiter bei Pinterest, und Doug Youd, Senior Solutions Architect bei AWS, geben sechs Tipps zur Zusammenarbeit, die sie aus ihrer gemeinsamen Arbeit beim Aufbau des FGAC-Systems von Pinterest gewonnen haben. Entdecken Sie umsetzbare Erkenntnisse, z. B. wie Sie ein Problem klar definieren, warum selbst „schlechte“ Ideen nützlich sein können und was AWS tun kann, um Kunden wie Pinterest bei der Entwicklung von Lösungen für schwierige technische Herausforderungen zu unterstützen.
Als visuell getriebene Plattform ist Pinterest stark von der Geschwindigkeit und Qualität der Bilder abhängig. Der Text hinter diesen Bildern ist jedoch genauso wichtig, da er Kontext bietet und Pins für unsere 200 Millionen aktiven „Pinner“ zu Aktionen macht. Durch den Einsatz von Amazon Rekognition Text in der Image-Funktion können wir den auf Bildern in jeder Größe erfassten Text besser extrahieren und mit geringer Latenz für die Millionen Pins in Amazon S3 bereitstellen.“
Vanja Josifovski
Chief Technology Officer, Pinterest
-
Datenlösungen
-
2022
Wie Pinterest mit AWS Proserve zusammengearbeitet hat, um sicherzustellen, dass Pinner stets auf seine Plattform zugreifen können
Pinterest wuchs aufgrund großer Datenmengen schnell und erkannte die Notwendigkeit, einen Disaster Recovery-Plan aufzustellen. Da bereits bestehende Lösungen auf AWS verfügbar waren, beauftragte Pinterest AWS Professional Services, um auf diesen Lösungen aufzubauen und seine annähernd Exabyte an Daten zu übernehmen, sie zu versionieren und regional zu verteilen.
-
Machine Learning
-
2022
Pinterest Lens hilft Nutzern, den perfekten Artikel zu finden und zu kaufen
Pinterest stützt sich auf AWS-Speicher- und Rechenlösungen, um die ML-Engines hinter der Lens-Kamerafunktion seiner App zu betreiben, mit der jeden Monat Hunderte Millionen visueller Suchanfragen durchgeführt werden. Erfahren Sie, wie Lens als digitaler Shopping-Concierge verwendet werden kann, um Benutzern zu helfen, Artikel innerhalb von Minuten zu beschaffen und zu kaufen.
Pinterest entwickelt kontinuierlich Systeme für Machine Learning, um Objekte für visuelle Such- und Moderationsanwendungen zu erkennen. Um dies zu erreichen, müssen wir Millionen von Bildern beschriften, um die erforderlichen Trainingsdatensätze zu generieren. Pinterest verfügt über eine bestehende Beschriftungsplattform, die Amazon-Services wie Amazon Mechanical Turk integriert hat. Wir waren begeistert, die Nutzung von SageMaker Ground Truth zu testen, um diese Plattform so zu erweitern, dass sie Kennzeichnungsaufgaben für Begrenzungsrahmen unterstützt. Wir haben festgestellt, dass SageMaker Ground Truth eine einfache, optimierte Oberfläche bietet, um mit Kennzeichnungsaufgaben zu beginnen.“
Veronica Mapes
Technical Program Manager, Pinterest
2018Tiefer Einblick in Amazon Rekognition mit Pinterest
Erfahren Sie, wie Pinterest Anwendungen mithilfe von Amazon Rekognition auf einfache Weise um intelligente Bild- und Videoanalysen erweitern kann, um manuelle Arbeitsabläufe zu automatisieren, die Kreativität zu fördern und ein persönlicheres Kundenerlebnis zu bieten.
-
Migration
-
2021
Pinterest verbessert die Zuverlässigkeit der iOS-Build-Pipeline um 80,5 % mit Mac-Instances von Amazon EC2
In dieser Fallstudie erfährst du, wie Pinterest seine CI/CD-Pipeline (Continuous Integration and Continuous Delivery) für iOS-Anwendungen von lokalen Computern auf Amazon-Elastic-Compute-Cloud-Mac-Instances (Amazon EC2) migrierte. Auf AWS können Pinterest-Entwickler jetzt nahtlos den Zugriff auf macOS-Rechenumgebungen in der Cloud bereitstellen, wodurch maschinenbedingte Build-Fehler um 80,5 Prozent reduziert und die Entwicklungsgeschwindigkeit um 18,4 Prozent verbessert werden.
-
Kostenoptimierung
-
2023
Pinterest implementiert eine kosteneffiziente Strategie durch die Nutzung von AWS
Erfahren Sie, wie Pinterest die Herausforderungen rund um seinen Rechenbedarf in Bezug auf Verfügbarkeit und Kosteneffizienz angeht. Molly Junck, Infrastructure Governance Technical Program Manager bei Pinterest, erzählt, wie die enge Zusammenarbeit mit dem Konto-Team von Amazon Web Services (AWS) dazu beigetragen hat, dass Pinterest im Zuge seines Wachstums und seiner Skalierung gelernt hat, auf die sich entwickelnden Technologieanforderungen des Unternehmens einzugehen.
2020Pinterest skaliert die tägliche Protokollsuche und -analyse von 500 GB auf 1,7 TB und reduziert die Kosten für Amazon OpenSearch Service um 30 %
Lesen Sie, wie Pinterest seine Log- und Suchanalyse-Workloads von selbstverwalteten Elasticsearch-Tools und Drittanbieter-Tools zu Amazon OpenSearch Service migriert hat. Nach der Migration skalierte Pinterest seine täglichen Datenaufnahmekapazitäten in nur einem Jahr von 500 GB auf 1,7 TB und senkte gleichzeitig die Betriebskosten um 30 Prozent, verbesserte die Datensicherheit und erhöhte die Produktivität der Techniker.
-
Sicherheit
-
2024
Mit Istio Zero-Trust-Sicherheit in Amazon EKS erreichen
In diesem Beitrag behandeln wir die Sicherheitsmechanismen von Istio, die es uns ermöglichen, eine echte Zero-Trust-Sicherheitsarchitektur in Amazon EKS zu implementieren. Zusätzlich zu den integrierten Sicherheits-Features für die Authentifizierung von Anfragen, Peer-Authentifizierung und Ingress-Sicherheit haben wir gelernt, wie wir Zusatz-Tools wie Keycloak und OPA nutzen können.
2022So hat Pinterest mit AWS Proserve zusammengearbeitet, um sicherzustellen, dass Pinner jederzeit auf seine Plattform zugreifen können
So hat Pinterest mit AWS Proserve zusammengearbeitet, um sicherzustellen, dass Pinner jederzeit auf seine Plattform zugreifen können.
2022Skalierbare Zugangskontrolle mit STS Token Vending
In diesem Video spricht Keith Regier, technischer Leiter bei Pinterest, über die skalierbare Zugriffskontrolllösung für Cluster von Amazon-EC2-Instances, die Zugriff auf Daten in Amazon S3 benötigen. Erfahren Sie, wie Pinterest mithilfe des AWS Secure Token Service (STS) einen Token-Verkaufsservice entwickelt hat, der dabei hilft, sein internes Nutzer- und Authentifizierungskonzept mit verwalteten Richtlinien und AWS Identity and Access Management (IAM) zu verbinden.
Bei Pinterest verwenden wir die Amazon Elastic Container Registry (Amazon ECR) zur Verwaltung unserer Docker-Container-Images. Wir verwenden die Image-Scanfunktion von Amazon ECR, um die Sicherheit unserer Container-Images zu verbessern. Amazon ECR scannt Bilder auf eine breite Palette von Schwachstellen des Betriebssystems und lässt uns Tools entwickeln, um auf die Ergebnisse zu reagieren.“
Cédric Staub
Engineering Manager, Pinterest
-
Nachhaltigkeit
-
2023
Pinterest und AWS Graviton: mehr Leistung und geringerer CO2-Fußabdruck
Pinterest inspiriert Millionen von Pinnern dazu, ein Leben zu gestalten, das sie lieben. Zu diesem Zweck möchte Pinterest den Pinnern die neuesten Innovationen zur Verfügung stellen und gleichzeitig mehr Verantwortung für Nachhaltigkeit übernehmen. Durch die Einführung von AWS Graviton ist Pinterest in der Lage, mit weniger mehr zu erreichen. Die Entwicklung in AWS gab Pinterest die Flexibilität, über die neueste Technologie zu verfügen, die Unterstützung eines wunderbaren, erstklassigen Teams zu erhalten und jede Herausforderung furchtlos gemeinsam anzugehen.
2024Verbesserung der Nachhaltigkeit und der Preisleistung mithilfe von AWS Graviton-basierten Instances mit Pinterest
Erfahren Sie, wie Pinterest mithilfe von AWS Graviton-basierten Instances die Kosteneffizienz der Infrastruktur und die ökologische Nachhaltigkeit verbessert hat.
2022Nachhaltigkeit und AWS Silicon
Erfahren Sie, wie Nachhaltigkeit in die AWS-Architekturentscheidungen von Pinterest integriert wird und wie AWS weiterhin Innovationen beim Chip-Design vorantreibt, während das Unternehmen auf Amazons Ziel hinarbeitet, bis zum Jahr 2040 einen Netto-Null-Emissionsausstoß zu erreichen.
Über Pinterest
Pinterest ist eine Plattform für visuelle Inspirationen und ein Social Commerce Network. Mithilfe der Speicher- und Computing-Lösungen von AWS verwendet Pinterest fortschrittliche Machine-Learning-Engines, um seinen Benutzern personalisierte Inhalte bereitzustellen.