Amazon OpenSearch Service introduit l’ingestion intelligente des journaux et des documents dans Amazon S3
Amazon OpenSearch sans serveur propose désormais l’ingestion intelligente, une fonctionnalité entièrement gérée qui transforme les journaux et les documents stockés dans Amazon S3 en contenu consultable dans les collections Amazon OpenSearch sans serveur (NextGen). Grâce à l’ingestion intelligente, vous pouvez configurer l’ingestion en quelques clics dans la console de gestion AWS ou en un seul appel d’API, sans aucune infrastructure d’ingestion à gérer. L’ingestion intelligente prend en charge les journaux d’observabilité et les données structurées aux formats de tableau JSON et NDJSON, ainsi que les fichiers non structurés aux formats PDF, Word, texte brut et Markdown.
Vous choisissez une source S3 et un index de collection, et l’ingestion intelligente s’occupe du reste. Elle détecte automatiquement les types de données, analyse les documents, décrit les images, découpe le texte, génère des intégrations vectorielles et indexe les résultats. Vous n’avez pas besoin de gérer l’infrastructure d’ingestion ou de traitement des documents, ni de dimensionner la capacité à l’avance. Utilisez des tâches d’ingestion pour des chargements ponctuels tels que les migrations et les remblais, ou des flux d’ingestion pour synchroniser un index lorsque de nouveaux objets arrivent dans votre compartiment. La capacité évolue en fonction de votre charge de travail jusqu’à la limite configurée pour la collection, et vous ne payez que pour le traitement actif. Les compartiments S3 source peuvent se trouver dans le même compte AWS que la collection ou dans un compte différent.
Pour les journaux et les données structurées, l’ingestion intelligente applique des transformations et ajoute éventuellement des intégrations, sans code de pipeline. Pour les données non structurées, il analyse les fichiers PDF, Word, texte brut et Markdown tout en préservant les titres, l’ordre de lecture et les tableaux intacts, de sorte que le contenu apparaît dans un index prêt pour la recherche sémantique et hybride. Lorsque les documents contiennent des graphiques, des diagrammes, des captures d’écran ou des photos, un modèle de langage visuel génère des descriptions textuelles indexées avec le contenu environnant, ce qui permet également de rechercher des informations visuelles.
L’ingestion intelligente est disponible dès aujourd’hui pour les collections Amazon OpenSearch sans serveur (NextGen), avec Amazon S3 comme source, dans sept Régions AWS. Pour commencer, ouvrez la console Amazon OpenSearch Service, choisissez votre collection et sélectionnez l’onglet Ingestion. Pour en savoir plus, consultez la section Ingestion intelligente du Guide du développeur d’Amazon OpenSearch Service. Pour connaître les tarifs, consultez la section Tarification d’Amazon OpenSearch Service.