Choisir un service d'analytique AWS

Déterminez les exigences de traitement des données relatives à la manière dont les données sont ingérées, transformées, nettoyées et préparées pour l'analyse. Voici quelques éléments à prendre en considération :

• Transformation des données : déterminez les transformations spécifiques nécessaires pour adapter les données brutes à l'analyse. Cela implique des tâches telles que l'agrégation, la normalisation, le filtrage et l'enrichissement des données.
• Nettoyage des données : évaluez la qualité des données et définissez des processus pour traiter les données manquantes, inexactes ou incohérentes. Mettez en œuvre des techniques de nettoyage des données pour garantir des données de haute qualité et des informations fiables.
• Fréquence de traitement : déterminez si un traitement en temps réel, en temps quasi réel ou par lots est requis en fonction des besoins analytiques. Le traitement en temps réel permet d'obtenir des informations immédiates, tandis que le traitement par lots peut être suffisant pour des analyses périodiques.
• Capacité de mise à l'échelle et débit : évaluez les exigences de capacité de mise à l'échelle pour la gestion des volumes de données, la vitesse de traitement et le nombre de demandes de données simultanées. Assurez-vous que l'approche de traitement choisie peut s'adapter à la croissance future.
• Latence : évaluez la latence acceptable pour le traitement des données et le temps nécessaire entre l'ingestion des données et les résultats de l'analyse. Cela est particulièrement important pour les analytiques en temps réel ou sensibles au facteur temps.

Déterminez les besoins de stockage en déterminant comment et où les données sont stockées tout au long du pipeline d'analytique. Les considérations importantes sont notamment les suivantes :

• Volume de données : évaluez la quantité de données générées et collectées, et estimez la croissance future des données afin de prévoir une capacité de stockage suffisante.
• Conservation des données : définissez la durée pendant laquelle les données doivent être conservées à des fins d'analyse historique ou de conformité. Déterminez les politiques de conservation des données appropriées.
• Modèles d'accès aux données : comprenez comment les données seront consultées et interrogées afin de choisir la solution de stockage la plus adaptée. Prenez en compte les opérations de lecture et d'écriture, la fréquence d'accès aux données et la localité des données.
• Sécurité des données : donnez la priorité à la sécurité des données en évaluant les options de chiffrement, les contrôles d'accès et les mécanismes de protection des données pour protéger les informations sensibles.
• Optimisation des coûts : optimisez les coûts de stockage en sélectionnant les solutions de stockage les plus économiques en fonction des modèles d'accès aux données et de leur utilisation.
• Intégration aux services d'analytique : garantissez une intégration parfaite entre la solution de stockage choisie et les outils de traitement et d'analytique des données en cours.

Lorsque vous choisissez des services d'analytique pour la collecte et l'ingestion de données, tenez compte des différents types de données qui correspondent aux besoins et aux objectifs de votre organisation. Les types de données courants que vous devrez peut-être prendre en compte sont les suivants :

• Données transactionnelles : incluent des informations sur les interactions ou transactions individuelles, telles que les achats des clients, les transactions financières, les commandes en ligne et les journaux d'activité des utilisateurs.
• Données basées sur des fichiers : font référence aux données structurées ou non structurées stockées dans des fichiers, tels que des fichiers journaux, des feuilles de calcul, des documents, des images, des fichiers audio et des fichiers vidéo. Les services d'analytique devraient permettre l'ingestion de différents formats de fichiers/
• Données sur les événements : capture les événements ou incidents importants, tels que les actions des utilisateurs, les événements du système, les événements liés aux machines ou les événements métier. Les événements peuvent inclure toutes les données qui arrivent à grande vitesse et qui sont capturées pour un traitement en continu ou en aval.

La responsabilité opérationnelle est partagée entre vous et AWS, la répartition des responsabilités variant selon les différents niveaux de modernisation. Vous avez la possibilité de gérer vous-même votre infrastructure d'analytique sur AWS ou de tirer parti des nombreux services d'analytique sans serveur pour alléger la charge de gestion de votre infrastructure.

Les options autogérées permettent aux utilisateurs de mieux contrôler l'infrastructure et les configurations, mais elles nécessitent davantage d'efforts opérationnels.

Les options sans serveur réduisent une grande partie de la charge opérationnelle en fournissant une capacité de mise à l'échelle automatique, une haute disponibilité et des fonctionnalités de sécurité robustes, permettant aux utilisateurs de se concentrer davantage sur la création de solutions analytiques et l'obtention d'informations plutôt que sur la gestion de l'infrastructure et des tâches opérationnelles. Tenez compte des avantages suivants des solutions d'analytique sans serveur :

• Abstraction de l'infrastructure : les services sans serveur simplifient la gestion de l'infrastructure, soulageant les utilisateurs des tâches de provisionnement, de mise à l'échelle et de maintenance. AWS gère ces aspects opérationnels, réduisant ainsi les frais de gestion.
• Mise à l'échelle et performances automatiques : les services sans serveur mettent automatiquement à l'échelle les ressources en fonction des demandes de charge de travail, garantissant ainsi des performances optimales sans intervention manuelle.
• Haute disponibilité et reprise après sinistre : AWS fournit une haute disponibilité pour les services sans serveur. AWS gère la redondance des données, la réplication et la reprise après sinistre afin d'améliorer la disponibilité et la fiabilité des données.
• Sécurité et conformité : AWS gère les mesures de sécurité, le chiffrement des données et la conformité des services sans serveur, conformément aux normes et aux meilleures pratiques du secteur.
• Surveillance et journalisation : AWS propose des fonctionnalités intégrées de surveillance, de journalisation et d'alerte pour les services sans serveur. Les utilisateurs peuvent accéder à des statistiques et à des journaux détaillés via AWS CloudWatch.

Charge de travail par lots

• Volume et fréquence des données : le traitement par lots convient à de grands volumes de données avec des mises à jour périodiques.
• Latence des données : le traitement par lots peut entraîner un certain retard dans la fourniture d'informations par rapport au traitement en temps réel.

Analytique interactive

• Complexité des requêtes de données : l'analytique interactive nécessite des réponses à faible latence pour un feedback rapide.
• Visualisation des données : évaluez le besoin d'outils de visualisation de données interactifs pour permettre aux utilisateurs professionnels d'explorer les données visuellement.

Charges de travail de diffusion en continu

• Vitesse et volume des données : les charges de travail de diffusion en continu nécessitent un traitement en temps réel pour gérer les données à haute vitesse.
• Fenêtrage des données : définissez le fenêtrage des données et les agrégations temporelles pour les données diffusées en continu afin d'en extraire des informations pertinentes.

Définissez clairement les objectifs métier et les informations que vous souhaitez tirer des analytiques. Les différents types d'analytiques ont des objectifs différents. Par exemple :

• L'analytique descriptive est idéale pour obtenir un aperçu historique
• L'analytique diagnostique permet de comprendre les raisons des événements passés
• L'analytique prédictive prévoit les résultats futurs
• L'analytique prescriptive fournit des recommandations pour des actions optimales

Faites correspondre vos objectifs métier avec les types d'analytiques pertinents. Voici quelques critères de décision clés qui vous aideront à choisir les bons types d'analytiques :

• Disponibilité et qualité des données : les analytiques descriptives et diagnostiques s'appuient sur des données historiques, tandis que les analytiques prédictives et prescriptives nécessitent des données historiques suffisantes et des données de haute qualité pour créer des modèles précis.
• Volume et complexité des données : les analytiques prédictives et prescriptives nécessitent d'importantes ressources informatiques et de traitement des données. Assurez-vous que votre infrastructure et vos outils peuvent gérer le volume et la complexité des données.
• Complexité des décisions : si les décisions impliquent plusieurs variables, contraintes et objectifs, l'analytique prescriptive peut être plus adaptée pour orienter les actions optimales.
  
• Tolérance au risque : les analytiques prescriptives peuvent fournir des recommandations, mais elles s'accompagnent d'incertitudes. Assurez-vous que les décideurs comprennent les risques associés aux résultats des analytiques.

Évaluez les besoins de l'architecture en termes de capacité de mise à l'échelle et de performance. La conception doit gérer des volumes de données croissants, des demandes des utilisateurs et des charges de travail analytiques. Les principaux facteurs de décision à prendre en compte sont les suivants :

• Volume de données et croissance : évaluez le volume de données actuel et anticipez la croissance future. 
• Vélocité des données et exigences en temps réel : déterminez si les données doivent être traitées et analysées en temps réel ou en temps quasi réel.
• Complexité du traitement des données : analysez la complexité de vos tâches de traitement et d'analytique des données. Pour les tâches nécessitant des calculs intensifs, des services tels qu'Amazon EMR fournissent un environnement évolutif et géré pour le traitement big data.
• Simultanéité et charge utilisateur : tenez compte du nombre d'utilisateurs simultanés et du niveau de charge utilisateur sur le système. 
• Capacités de mise à l'échelle automatique : considérez les services qui offrent des fonctionnalités de mise à l'échelle automatique, permettant aux ressources d'augmenter ou de diminuer automatiquement en fonction de la demande. Cela garantit une utilisation efficace des ressources et une optimisation des coûts.
• Distribution géographique : envisagez des services dotés d'une réplication globale et d'un accès aux données à faible latence si votre architecture de données doit être distribuée sur plusieurs régions ou sites.
• Compromis coût-performance : trouvez un équilibre entre les besoins de performance et les considérations financières. Les services très performants peuvent avoir un coût plus élevé.
  
• Contrats de niveau de service (SLA) : vérifiez les SLA fournis par les services AWS pour vous assurer qu'ils répondent à vos attentes en matière de capacité de mise à l'échelle et de performance.

La gouvernance des données est l'ensemble des processus, des politiques et des contrôles que vous devez mettre en œuvre pour garantir une gestion efficace, la qualité, la sécurité et la conformité de vos actifs de données. Les principaux points de décision à prendre en compte sont les suivants :

• Politiques de conservation des données : définissez des politiques de conservation des données en fonction des exigences réglementaires et des besoins métier et établissez des processus pour une élimination sécurisée des données lorsqu'elles ne sont plus nécessaires.
  
• Piste d'audit et journalisation : choisissez les mécanismes de journalisation et d'audit pour surveiller l'accès aux données et leur utilisation. Mettez en œuvre des pistes d'audit complètes pour suivre les modifications des données, les tentatives d'accès et les activités des utilisateurs à des fins de surveillance de la conformité et de la sécurité.
• Exigences de conformité : comprenez les réglementations de conformité des données géographiques et sectorielles qui s'appliquent à votre organisation. Assurez-vous que l'architecture des données est conforme à ces réglementations et directives.
• Classification des données : classez les données en fonction de leur sensibilité et définissez les contrôles de sécurité appropriés pour chaque classe de données. 
  
• Reprise après sinistre et continuité des activités : planifiez la reprise après sinistre et la continuité des activités afin de garantir la disponibilité et la résilience des données en cas d'événements imprévus ou de défaillances du système.
• Partage de données par des tiers : si vous partagez des données avec des entités tierces, mettez en œuvre des protocoles et des accords de partage de données sécurisés afin de protéger la confidentialité des données et d'empêcher toute utilisation abusive des données.

La sécurité des données dans le pipeline d'analytique implique de protéger les données à chaque étape du pipeline afin de garantir leur confidentialité, leur intégrité et leur disponibilité. Les principaux points de décision à prendre en compte sont les suivants :

• Contrôle d'accès et autorisation : mettez en œuvre des protocoles d'authentification et d'autorisation robustes pour garantir que seuls les utilisateurs autorisés peuvent accéder à des ressources de données spécifiques.
• Chiffrement des données : choisissez les méthodes de chiffrement appropriées pour les données stockées dans les bases de données, les lacs de données et lors du déplacement des données entre les différents composants de l'architecture.
• Masquage et anonymisation des données : considérez la nécessité de masquer ou d'anonymiser les données afin de protéger les données sensibles, telles que les informations personnelles ou les données commerciales sensibles, tout en permettant la poursuite de certains processus analytiques.
• Intégration sécurisée des données : établissez des pratiques d'intégration de données sécurisées pour garantir que les données circulent en toute sécurité entre les différents composants de l'architecture, en évitant les fuites de données ou les accès non autorisés lors du transfert des données.
• Isolation du réseau : pensez aux services qui prennent en charge les points de terminaison d'un VPC AWS afin d'éviter d'exposer les ressources à l'Internet public.

Définissez les points d'intégration et les flux de données entre les différents composants du pipeline d'analytique afin de garantir un flux de données fluide et une interopérabilité. Les principaux points de décision à prendre en compte sont les suivants :

• Intégration des sources de données : identifiez les sources de données à partir desquelles les données seront collectées, telles que les bases de données, les applications, les fichiers ou les API externes. Choisissez les méthodes d'ingestion de données (par lots, en temps réel, basées sur des événements) pour intégrer les données dans le pipeline de manière efficace et avec une latence minimale.
• Transformation des données : déterminez les transformations nécessaires pour préparer les données en vue de leur analyse. Choisissez les outils et les processus permettant de nettoyer, d'agréger, de normaliser ou d'enrichir les données au fur et à mesure de leur transfert dans le pipeline.
• Architecture de déplacement des données : choisissez l'architecture appropriée pour le mouvement des données entre les composants du pipeline. Envisagez le traitement par lots, le traitement par flux ou une combinaison des deux en fonction des exigences en temps réel et du volume de données.
• Réplication et synchronisation des données : choisissez les mécanismes de réplication et de synchronisation des données pour maintenir les données à jour sur tous les composants. Envisagez des solutions de réplication en temps réel ou des synchronisations de données périodiques en fonction des exigences en matière de fraîcheur des données.
  
• Qualité et validation des données : mettez en œuvre des contrôles de qualité des données et des étapes de validation pour garantir l'intégrité des données lors de leur transfert dans le pipeline. Décidez des mesures à prendre lorsque les données échouent à la validation, telles que les alertes ou la gestion des erreurs.
• Sécurité et chiffrement des données : déterminez comment les données seront sécurisées pendant leur transit et au repos. Décidez des méthodes de chiffrement pour protéger les données sensibles tout au long du pipeline, en tenant compte du niveau de sécurité requis en fonction de la sensibilité des données.
• Évolutivité et résilience : assurez-vous que la conception du flux de données permet une capacité de mise à l'échelle horizontale et puisse gérer des volumes de données et un trafic accrus.

La création de votre pipeline d'analytique sur AWS offre diverses opportunités d'optimisation des coûts. Pour garantir la rentabilité, envisagez les stratégies suivantes :

• Dimensionnement et sélection des ressources : dimensionnez correctement vos ressources en fonction des exigences de charge de travail réelles. Choisissez les services et les types d'instances AWS qui répondent aux besoins de performance des charges de travail tout en évitant le surprovisionnement.
• Mise à l'échelle automatique : implémentez la mise à l'échelle automatique pour les services soumis à des charges de travail variables. La mise à l'échelle automatique ajuste dynamiquement le nombre d'instances en fonction de la demande, réduisant ainsi les coûts pendant les périodes de faible trafic.
• Instances ponctuelles : utilisez les instances Spot AWS EC2 pour les charges de travail non critiques et tolérantes aux pannes. Les instances Spot peuvent réduire considérablement les coûts par rapport aux instances à la demande.
• Instances réservées : envisagez d'acheter des instances réservées AWS afin de réaliser des économies importantes par rapport à la tarification à la demande pour des charges de travail stables dont l'utilisation est prévisible.
• Hiérarchisation du stockage des données : optimisez les coûts de stockage des données en utilisant différentes classes de stockage en fonction de la fréquence d'accès aux données.
• Politiques de cycle de vie des données : configurez des politiques de cycle de vie des données pour déplacer ou supprimer automatiquement les données en fonction de leur âge et de leurs habitudes d'utilisation. Cela permet de gérer les coûts de stockage et de maintenir le stockage des données en adéquation avec leur valeur.