Amazon Kinesis Data Streams annonce la diffusion de tableaux en diffusion, fournissant des données aux tableaux Apache Iceberg sur les tableaux Amazon S3
Amazon Kinesis Data Streams introduit les tableaux de diffusion, une nouvelle fonctionnalité entièrement sans serveur, qui transmet en continu les données des flux Kinesis aux tableaux Amazon S3 au format Apache Iceberg. Les tableaux de diffusion éliminent le besoin de créer et d’exploiter des pipelines de diffusion Iceberg autogérés, réduisant ainsi les coûts de diffusion des données jusqu’à 50 %. Le compactage intelligent en ligne élimine le problème des petits fichiers et garantit la prévisibilité des performances des requêtes, réduisant ainsi les coûts des requêtes en aval jusqu’à 30 %.
Amazon Kinesis Data Streams est un service de données diffusées en continu sans serveur qui facilite la capture, le traitement et le stockage de flux de données à n'importe quelle échelle. Les clients souhaitent de plus en plus fournir des données en diffusion aux tableaux Apache Iceberg afin de permettre des analytiques en temps quasi réel et des pipelines de fonctionnalités AI/ML en utilisant les données les plus récentes. Pour ce faire, les clients créent et gèrent des pipelines personnalisés, gèrent les conversions de formats et gèrent l’infrastructure informatique, ce qui augmente leurs coûts. L’ingestion de volumes élevés de diffusion crée également de nombreux petits fichiers Parquet, qui dégradent les performances des requêtes en aval et augmentent les coûts de stockage. Avec les tableaux de diffusion, les clients créent simplement un tableau de diffusion, une fonctionnalité entièrement sans serveur qui transmet en continu les données d’un flux Kinesis aux tableaux Amazon S3. Le compactage intelligent en ligne élimine l’impact des petits fichiers sur les performances et garantit la prévisibilité des performances des requêtes sans sacrifier la fraîcheur des données. Kinesis Data Streams gère automatiquement la mise à l’échelle, les nouvelles tentatives, le compactage et la fiabilité de la distribution, et fournit en quelques minutes, sans applications personnalisées, sans calcul autogéré et sans frais d’exploitation. Les clients configurent les tableaux de diffusion en quelques clics depuis la console dans le cadre d’une expérience intégrée ou via des API.
Les tableaux de diffusion prennent en charge les modes de capacité On Demand Advantage (ODA) et On Demand Standard (ODS) avec une tarification basée sur l’utilisation, sans frais d’installation ni engagement minimum. Seules les données transmises avec succès vous sont facturées. Les modes en diffusion sont proposés dans toutes les Régions AWS où Amazon Kinesis Data Streams est disponible, y compris les Régions AWS GovCloud (US) et Chine. Pour commencer, consultez le Guide de l’utilisateur d’Amazon Kinesis Data Streams et la page de tarification.