Amazon EMR sans serveur élimine le provisionnement du stockage local pour les charges de travail Apache Spark
Amazon EMR sans serveur propose désormais un stockage sans serveur, qui élimine le provisionnement du stockage local pour les charges de travail Apache Spark, réduit les coûts de traitement des données jusqu'à 20 % et prévient les échecs de tâches dus à des contraintes de capacité de disque. Il n'est plus nécessaire de configurer le type et la taille du disque local pour chaque application. EMR sans serveur gère automatiquement les opérations de données intermédiaires, telles que le partitionnement, sans frais de stockage local. Vous ne payez que pour les ressources de calcul et de mémoire consommées par votre travail.
EMR sans serveur décharge les opérations de données intermédiaires vers un stockage sans serveur, entièrement géré et évolutif, qui chiffre les données en transit et au repos avec une isolation au niveau des tâches. Le stockage sans serveur dissocie le stockage du calcul, ce qui permet à Spark de libérer les travailleurs immédiatement lorsqu'ils sont inactifs au lieu de les garder actifs pour préserver les données temporaires. Il élimine les échecs de travail dus à une capacité de disque insuffisante et réduit les coûts en évitant les frais de personnel inactif. Cela est particulièrement utile pour les tâches utilisant une allocation dynamique des ressources, telles que les moteurs de recommandation traitant des millions d'interactions avec les clients, où les étapes initiales traitent de grands jeux de données avec un parallélisme élevé, puis restreignent les étapes sous forme d'agrégats de données.
Cette caractéristique est généralement disponible pour les versions 7.12 et ultérieures d'EMR. Consultez les régions AWS prises en charge pour en savoir plus sur la disponibilité. Pour commencer, consultez la documentation sur le stockage sans serveur pour EMR sans serveur.