La meilleure manière de découvrir Amazon Elasticsearch Service est de consulter le manuel de mise en route, inclus dans notre documentation technique. En quelques minutes, vous serez en mesure de déployer et d'utiliser un domaine Amazon Elasticsearch Service. Pour acquérir gratuitement une expérience pratique avec Amazon Elasticsearch Service, concevez une solution d'analyse de fichiers journal en suivant ce guide étape par étape.

Découvrez gratuitement AWS

Créez un compte gratuit
Vous pouvez également vous connecter à la console

L’offre gratuite d’AWS comprend 750 heures par mois d’une instance t2.micro.elasticsearch ou t2.small.elasticsearch et 10 Go par mois de stockage facultatif Amazon EBS (magnétique ou à usage général)


Voir les détails relatifs au niveau gratuit d'AWS »

 


Expedia utilise Amazon Elasticsearch Service (Amazon ES) pour de nombreux cas d'utilisation critiques allant de l'agrégation des journaux à la surveillance de l'application et à l'optimisation de la tarification. Dans cette session, l'équipe d'Expedia revient sur leur utilisation d'Amazon ES et de Kibana pour analyser et visualiser les journaux de démarrage de Docker, les données AWS CloudTrail et les métriques d'application. Elle partage ses bonnes pratiques pour la conception d'une solution d'analyse de fichiers journal sécurisée et scalable en utilisant Amazon ES. Ainsi, vous pouvez ajouter de nouvelles sources de données presque sans effort et obtenir rapidement des analyses. 

Voir l'enregistrement de la session | Télécharger la présentation

Dans cette session, nous utilisons les journaux web Apache comme exemple et nous vous montrons comment concevoir une solution d'analyse bout en bout. Tout d'abord, nous voyons comment configurer un cluster Amazon ES et intégrer des données en utilisant Amazon Kinesis Firehose. Nous voyons les bonnes pratiques pour choisir les types d'instances, les options de stockage, les comptes de partition et les rotations d'indice, en nous basant sur le débit des données entrantes. Puis, nous montrons comment paramétrer un tableau de bord Kibana et concevoir des widgets de tableau de bord personnalisés. Enfin, nous revoyons les approches pour générer des rapports ad hoc personnalisés.

Voir l'enregistrement de la session | Télécharger la présentation

MirrorWeb offre des services d'archivage de médias sociaux et de sites web automatisés avec une fonctionnalité de recherche de texte complète pour tous les contenus. Le gouvernement britannique a demandé à MirrorWeb de concevoir des services de recherche pour 20 ans de données archivées, provenant de 4 800 sites web. Dans cette session, MirrorWeb présente la technologie à pile que l'entreprise a conçue en utilisant Amazon Elasticsearch Service (Amazon ES) afin de chercher dans 333 millions de documents uniques (plus de 120 To), qui ont été indexés au cours d'une période de 10 heures. Elle aborde également la façon dont elle a migré les données depuis le site vers Amazon S3 en utilisant AWS Snowball, puis comment elle a traité ces données en utilisant des instances spot Amazon EC2, ce qui a permis de réduire les coûts de plus de 90 %. Elle aborde également la manière dont AWS Lambda a été utilisé pour intégrer des données dans Amazon ES. Enfin, elle partage ses bonnes pratiques pour la conception d'une architecture de recherche de document à grande échelle.

Voir l'enregistrement de la session | Télécharger la présentation

Les applications génèrent des journaux. L'infrastructure génère des journaux. Même les humains génèrent des journaux (que nous appelons généralement « données médicales »). En intégrant et en analysant les journaux, vous pouvez mieux comprendre comment les systèmes complexes fonctionnent. Cela vous permet également de rapidement découvrir et diagnostiquer quand ils sont défaillants. Dans cet atelier, nous intégrons et analysons des flux de journaux en utilisant Amazon Kinesis Firehose et Amazon Elasticsearch Service. Vous devriez arriver à une compréhension des bases d'AWS (Amazon EC2, Amazon S3 et les groupes de sécurité). Vous avez besoin d'un ordinateur avec un navigateur Chrome ou Firefox.

Télécharger la présentation »


L'analyse de fichiers journal est un cas d'utilisation commun du Big Data qui vous permet d'analyser des données de journalisation provenant de sites web, d'appareils mobiles, de serveurs, de capteurs, etc., pour une large variété d'utilisations telles que le marketing numérique, la surveillance d'application, la détection de fraudes, les technologies publicitaires, les jeux et l'IoT. Au cours de cette discussion technique, nous vous guidons pas à pas dans le processus de conception d'une solution d'analyse bout en bout qui intègre, transforme et charge les données en streaming en utilisant Amazon Kinesis Firehose, Amazon Kinesis Analytics et AWS Lambda. Les données traitées sont sauvegardées dans un cluster Amazon Elasticsearch Service et nous utilisons Kibana pour visualiser les données presque en temps réel.

Objectifs d'apprentissage :

  1. Architecture de référence pour la conception d'une solution d'analyse de fichiers journal complète
  2. Présentation des services utilisés et de comment ils se combinent
  3. Bonnes pratiques pour l'implémentation des analyses de fichiers journal

Voir l'enregistrement | Télécharger la présentation

Les lacs de données sont des volumes importants de données non structurées. Il est difficile de chercher dedans et de les passer en revue. Vous pouvez utiliser Amazon Elasticsearch Service pour indexer les métadonnées et le contenu des documents dans vos lacs de données, ainsi que pour chercher facilement dedans. Au cours de cette discussion technique, vous apprenez à utiliser Amazon Elasticsearch Service pour concevoir un entrepôt de métadonnées pour votre lac de données et pour indexer le contenu de vos documents afin de pouvoir facilement localiser les fichiers en vous basant sur le texte qu'ils contiennent.

Objectifs d'apprentissage :

  • Comprendre les capacités de recherche et de visualisation d'Amazon Elasticsearch Service
  • Apprendre comment paramétrer Amazon Kinesis Firehose pour intégrer, transformer et charger des métadonnées de document dans Amazon Elasticsearch Service
  • Apprendre les bonnes pratiques pour la conception d'un répertoire de métadonnées pour vos lacs de données en utilisant Amazon Elasticsearch Service

Voir l'enregistrement | Télécharger la présentation

Amazon Elasticsearch Service (Amazon ES) facilite le paramétrage et l'exploitation des clusters Elasticsearch sur AWS. Amazon Virtual Private Cloud (Amazon VPC) vous permet de lancer des ressources AWS dans un réseau virtuel sécurisé que vous avez défini. Amazon ES prend à présent en charge les points de terminaison VPC, si bien que vous pouvez créer une connexion privée entre votre VPC et vos domaines Amazon ES. Dans ce webinaire, nous allons vous guider dans le paramétrage et la configuration d'un domaine Amazon ES et dans l'envoi de données de fichiers journal à ce domaine depuis un VPC. Nous allons aborder la sécurité, la scalabilité et le contrôle des accès pour Amazon ES avec un VPC.

Objectifs d'apprentissage :

  • Comprendre le fonctionnement de la sécurité Amazon ES
  • Apprendre à utiliser les points de terminaison Amazon VPC avec Amazon ES
  • Comprendre les bonnes pratiques pour la sécurité et le contrôle des accès pour vos domaines Amazon ES

Voir l'enregistrement | Télécharger la présentation