JustGiving_Customer-Reference_Logo@2x

Étude de cas JustGiving

2015

JustGiving est l'une des plus grandes plates-formes sociales en ligne de collecte de fonds caritatifs. Les 24 millions d'utilisateurs enregistrés de l'organisation basée à Londres ont permis de lever 3,5 millions USD en faveur de plus de 13 000 causes aussi diverses que la recherche sur la maladie d'Alzheimer, l'aide aux victimes du séisme en Haïti et des initiatives de lutte contre la traite des personnes. Lancé en 2001, le site JustGiving facture des frais de transaction de 5 % sur les dons, dont les bénéfices sont réinvestis dans le développement et l'innovation de sa plate-forme.

démarrer un didacticiel python
CustomerReferences_QuoteMark

Grâce à AWS, nous avons automatisé notre pipeline et, avec notre nouvelle plate-forme d'analyse, nous investissons uniquement dans des outils et données qui produisent des informations, ajoutent de la valeur et soutiennent les décisions en temps réel pour tous les utilisateurs visitant JustGiving ».

Richard Atkinson
Directeur de l'informatique de JustGiving

Le défi

La croissance de JustGiving est soutenue par son intégration aux réseaux sociaux, la prise en charge des dons mobiles, les flux sociaux et le lancement de campagnes et de produits de financement participatif, des caractéristiques qui permettent aux utilisateurs de JustGiving d'amplifier leur collecte de fonds, de toucher plus de gens et de lever plus d'argent pour de bonnes causes. La croissance représente également un défi pour les équipes des technologies et des opérations de l'organisation, qui remplissent la mission de l'entreprise qui vise à offrir aux utilisateurs une expérience conviviale et attrayante sur toutes les plates-formes, tout en maintenant les coûts et les frais généraux aussi bas que possible.

« Ces dernières années, nous avons constaté que les gens partageaient de plus en plus leurs activités de levée de fonds sur différents réseaux et canaux », indique Richard Atkinson, directeur de l'informatique de JustGiving. « On assiste à l'apparition de nombreux phénomènes sociaux viraux venus de nulle part, ce qui a pour effet d'amplifier nos pics de trafic. Nous disposions d'un environnement de centre de données colocalisé, ce qui rendait difficile le dimensionnement en raison des coûts supplémentaires et de la complexité associés, ce qui en faisait un processus coûteux et irréaliste ».

Selon le Dr Richard Freeman, architecte de solutions et spécialiste des données chez JustGiving, la forte augmentation du volume de données surchargeait également les processus d'analyse internes de l'organisation. « Nous avions élargi notre équipe et nos capacités d'analyse si rapidement que notre entrepôt de données Microsoft SQL Server était incapable de traiter le nouveau volume de données, la vitesse et la complexité des requêtes nécessaires à nos spécialistes et analystes des données », explique Freeman.

Pour résoudre ces problèmes, l'entreprise a décidé de migrer vers le cloud pour ses opérations générales et d'héberger une nouvelle plate-forme d'analyse Big Data appelée RAVEN (Reporting, Analytics, Visualization, Experimental, Networks), qui fonctionnerait de concert avec l'entrepôt de données existant. L'objectif était de fournir aux analyses de données de JustGiving les outils nécessaires pour réaliser des expériences sur des sources de données de parcours de navigation, de fichier journal, transactionnelles et externes. L'équipe d'analyse souhaitait également exécuter des rapports plus classiques et examiner des indicateurs clés de performance (ICP) sans avoir à répéter constamment différents processus d'extraction, de transformation et de chargement (ETL).

Pourquoi Amazon Web Services

JustGiving a choisi Amazon Web Services pour ses environnements de test et de production, en mettant l'accent sur l'amélioration des capacités d'analyse. Comme l'explique Atkinson, ce choix est une question de confiance : « 24 millions d'utilisateurs et 13 000 causes nous font confiance pour lever des fonds ». « Nous recherchions une solution de services de cloud que nous pourrions intégrer à ce réseau de confiance. AWS était la seule entreprise à même de répondre à ce besoin ».

JustGiving a repensé son logiciel en tant que microservices déployés à l'aide de pipelines de distribution continue automatisés, en utilisant différents services AWS pour éviter au personnel d'avoir à prendre en charge et assurer la maintenance de l'infrastructure de JustGiving et tirer parti de l'évolutivité et de la résilience de la plate-forme AWS. Ces services comprennent Amazon Elastic Compute Cloud (Amazon EC2), Auto Scaling, Elastic Load Balancing, Amazon ElastiCache, Amazon Relational Database Service (Amazon RDS) et Amazon Simple Storage Service (Amazon S3).

L'organisation utilise également AWS pour sa plate-forme d'analyse RAVEN et fait appel à plusieurs services AWS, notamment Amazon Redshift, Amazon Elastic MapReduce (Amazon EMR), Amazon Kinesis, AWS Lambda, Amazon DynamoDB, Amazon Simple Queue Service (Amazon SQS) et Amazon Simple Notification Service (Amazon SNS).

« De nombreux fournisseurs proposent une interface graphique pour l'intégration du Big Data, mais nous avons découvert qu'en réalité, il était plus efficace de charger et d'interroger les données avec le code SQL réel déclenché ponctuellement pour nos expériences en science des données ou automatisé pour les tableaux de bord et rapports KPI », explique Freeman. « Grâce à AWS, nous avons créé un pipeline ETL basé sur les événements avec des systèmes qui communiquent via un processus de messagerie hébergé robuste basé sur SNS et SQS. Nous avons également examiné les cadres de flux de travail open source existants, mais ceux-ci nécessitent des machines dédiées qui doivent être configurées et prises en charge. Il aurait été trop compliqué de les personnaliser en fonction de nos cas d'utilisation ».

JustGiving crée une plate-forme Big Data sur le cloud AWS (3:35)

Architecture de la plate-forme RAVEN (Reporting, Analytics, Visualization, Experimental, Networks) de JustGiving sur AWS

JustGiving-AWS-diagram-overview-091815

Les avantages

Freeman fait l'éloge de la fonctionnalité de la plate-forme AWS. « AWS a offert exactement ce dont nous avions besoin pour le prototypage rapide, les expériences de science des données, les calculs de métriques et l'exécution de rapports sur notre plate-forme d'analyse Big Data », souligne-t-il.

Concernant l'équipe d'analyse de JustGiving, selon Freeman, Amazon Redshift s'est révélé être un produit efficace pour ce qui est de l'exploration de données et l'interrogation de grands ensembles de données structurés comprenant des milliards de points de données dans différents clusters. « Nous avons créé une suite d'outils pour l'exécution de tâches ETL basées sur des événements et l'intégration à des API internes et externes », explique-t-il. « Les requêtes qui prenaient 30 minutes dans SQL Server sont désormais exécutées en quelques secondes seulement. Désormais, nous pouvons exécuter des requêtes plus complexes, et nous avons même constaté que des requêtes de type graphique plus simples, telles que la relation entre la charité et les événements avec les utilisateurs, peuvent être exécutées plus rapidement qu'avec une base de données graphique dédiée. Et pour la première fois, nous pouvons proposer aux utilisateurs professionnels une vue combinée des données transactionnelles et non transactionnelles, telles que les visites de pages, les dons et les entonnoirs de partage. Redshift est plus rapide, plus facile à utiliser et fournit des outils plus utiles que ceux dont nous disposions pour soutenir notre environnement de production ».

JustGiving utilise AWS EMR pour exécuter d'importants processus ETL et d'analyse automatisés sur des téraoctets de données sans avoir à gérer la configuration et la maintenance de l'infrastructure de cluster. « Avant d'utiliser Amazon EMR, nos spécialistes des données se limitaient à des algorithmes exécutables sur une seule machine et pouvaient uniquement travailler sur des ensembles d'échantillons de données. Les ensembles plus volumineux nécessitaient des jours de calcul », se plaint Freeman. « Désormais, étant donné qu'Amazon EMR exécute des clusters Hadoop ou Spark, ils peuvent facilement lancer des clusters avec des centaines d'instances Amazon EC2 sur des algorithmes de traitement de graphiques, de traitement automatique en langage naturel, de machine learning et d'analyse de streaming. Par exemple, nous procédons ainsi pour recommander des projets de financement participatif, comprendre les réseaux des utilisateurs, automatiser le balisage des associations caritatives et améliorer l'engagement des utilisateurs ».

L'équipe d'analyse utilise Amazon Kinesis, AWS Lambda et Amazon DynamoDB en tandem pour exécuter des tâches qu'il était auparavant difficile de mettre en œuvre. Par exemple, les événements de parcours de navigation sur un site Web sont écrits en quasi temps réel sur Amazon Kinesis. Une fonction AWS Lambda exécute le code en réponse à des événements, puis traite et écrit ces événements sur Amazon DynamoDB. De plus, Lambda est utilisé pour les tests, la surveillance des événements et la notification active, tandis que DynamoDB sert à stocker de manière permanente les données des événements Kinesis et d'outil de surveillance de la visualisation.

Atkinson explique que la nouvelle plate-forme d'analyse fait partie d'une nouvelle approche informatique qui présente de nombreux avantages pour JustGiving. « Avant d'utiliser AWS, JustGiving prenait ses décisions en s'appuyant sur une seule source de données générales », précise-t-il. « A présent, grâce aux nouveaux outils AWS, nous pouvons extraire des données beaucoup plus précises de nombreuses sources basées sur des millions de dons et des milliards d'événements, puis utiliser ces informations pour proposer une meilleure plate-forme à nos visiteurs ».

L'évolutivité et la rentabilité de la plate-forme AWS, en particulier le modèle de tarification à l'utilisation, sont également essentielles pour aider l'organisation à poursuivre sa croissance. « Nous avons toujours aligné nos coûts sur les cycles opérationnels et sur la création de valeur », indique Atkinson. « Auparavant, lorsque des fonds importants étaient réservés à du matériel, nous investissions de l'argent et cet actif restait inexploité, souvent à de faibles taux d'utilisation. Grâce à AWS, nous avons automatisé notre pipeline et, avec notre nouvelle plate-forme d'analyse, nous investissons uniquement dans des outils et données qui produisent des informations, ajoutent de la valeur et soutiennent les décisions en temps réel pour tous les utilisateurs visitant JustGiving ».


À propos de JustGiving

JustGiving est l'une des plus grandes plates-formes sociales en ligne de collecte de fonds caritatifs.


Services AWS utilisés

Amazon EC2

Amazon Elastic Compute Cloud (Amazon EC2) est un service Web qui fournit une capacité de calcul sécurisée et redimensionnable dans le cloud. Destiné aux développeurs, il est conçu pour faciliter l'accès aux ressources de cloud computing à l'échelle du Web.

En savoir plus »

Amazon ElastiCache

Amazon ElastiCache offre Redis et Memcached entièrement gérés. Déployez, exécutez et mettez à l'échelle de manière transparente les banques de données en mémoire compatibles Open Source.

En savoir plus »

Auto Scaling

AWS Auto Scaling contrôle vos applications et ajuste automatiquement la capacité à maintenir des performances constantes et prévisibles de la manière la plus rentable possible.

En savoir plus »

Amazon S3

Amazon Simple Storage Service (Amazon S3) est un service de stockage d'objet offrant une évolutivité, une disponibilité des données, une sécurité et des performances de pointe.

En savoir plus »

Amazon RDS

Amazon Relational Database Service (Amazon RDS) vous permet d'installer, de gérer et de mettre à l'échelle facilement une base de données relationnelle dans le cloud.

En savoir plus »

Amazon Redshift

Redshift optimise les charges de travail d'analyse stratégique pour les entreprises du classement Fortune 500, les start-ups, et tout ce qui se trouve entre les deux.

En savoir plus »

Elastic Load Balancing

Elastic Load Balancing répartit automatiquement le trafic entrant d'application sur plusieurs cibles, comme les instances Amazon EC2, les conteneurs, les adresses IP et les fonctions Lambda.

En savoir plus »

Amazon EMR

Amazon EMR est la plate-forme Big Data native cloud de pointe qui permet aux équipes de traiter de volumes de données rapidement et à moindre coût.

En savoir plus »


Démarrer

Les entreprises de toutes tailles et de tous les secteurs d’activités transforment chaque jour leurs activités à l’aide d’AWS. Contactez nos spécialistes et entamez votre transition vers le Cloud AWS dès aujourd'hui.