Assistance de l’IA générative

L’intégration de données provenant de plusieurs sources peut prendre des jours, voire des mois. La fonctionnalité d’intégration des données d’Amazon Q Developer vous aide à créer des tâches d’intégration de données avec un minimum de connaissances en intégration de données ou d’expérience en codage. Il résume les tâches manuelles afin que vous puissiez consacrer moins de temps à des tâches banales et plus de temps à l’analyse des données.

Dites à Amazon Q Developer ce dont vous avez besoin en anglais et il vous proposera un travail complet. Par exemple, grâce à la fonctionnalité d’intégration des données, vous pouvez demander à Amazon Q Developer de « lire les fichiers JSON depuis S3, de les rejoindre sur « accountid » et de les charger dans DynamoDB » et, en réponse, il renverra une tâche d’intégration des données de bout en bout capable d’effectuer cette action. Vous pouvez consulter la tâche générée, la tester par rapport à des exemples de jeux de données et la déplacer vers la production.

La création d’emplois dans le domaine de l’intégration des données n’est que le début. Une fois qu’une tâche est créée et déployée en production, vous devez la gérer et la dépanner. Les erreurs peuvent être liées à la connexion, à l’environnement, à la syntaxe, à la validation ou à l’exécution. Ils peuvent survenir lorsque vous créez, testez, publiez ou exécutez vos tâches d’intégration. Les tâches de dépannage nécessitent souvent de parcourir les fichiers journaux et de se connecter à des tableaux de bord de surveillance.

AWS Glue fournit désormais des fonctionnalités basées sur l’IA pour moderniser vos tâches Spark et accélérer le dépannage. Passez automatiquement aux nouvelles versions de Spark et obtenez des diagnostics intelligents en cas de problème, réduisant ainsi le temps de débogage de plusieurs jours à quelques minutes.

AWS Glue fournit une assistance basée sur l’IA tout au long du cycle de vie d’intégration des données. Construit sur la base d’une connaissance approfondie du domaine d’AWS Glue, il fournit des conseils d’expert pour tout ce qui concerne l’intégration des données.

Au lieu d’attendre l’arrivée de PME au sein de votre organisation ou de faire appel à un consultant, vous pouvez contacter Amazon Q Developer à tout moment via la console AWS Glue, AWS Glue Studio ou via une API. La fonctionnalité d’intégration des données Amazon Q Developer est optimisée pour être utilisée avec d’autres services AWS. Vous pouvez facilement créer des tâches qui extraient, transforment et chargent des données stockées dans Amazon DynamoDB, Amazon DocumentDB, Amazon Managed Streaming pour Apache Kafka, Amazon Kinesis, Amazon Redshift et Amazon S3.

L’agent de mise à niveau Apache Spark identifie automatiquement les modifications d’API et de comportement dans les applications PySpark et Scala. Les ingénieurs peuvent lancer des mises à niveau directement depuis SageMaker Unified Studio ou l’IDE de leur choix grâce à la compatibilité MCP (Model Context Protocol). Au cours du processus de mise à niveau, l’agent analyse le code existant et suggère des modifications spécifiques, que les ingénieurs peuvent examiner et approuver avant la mise en œuvre. L’agent valide l’exactitude fonctionnelle grâce à des validations de la qualité des données. L’agent prend actuellement en charge les mises à niveau de Spark 2.4 vers la version 3.5 et garantit la précision du traitement des données tout au long du processus de mise à niveau.