La nube de AWS
La nube de AWS
Comience con AWS Data Pipeline

AWS Data Pipeline es un servicio web pensado para ayudarle a procesar datos y a transferirlos, de manera fiable y a intervalos definidos, entre diferentes servicios de almacenamiento e informática de AWS, así como entre orígenes de datos on-premise. Con AWS Data Pipeline, puede obtener acceso con regularidad a las ubicaciones en las que están almacenados los datos, transformarlos y procesarlos a escala, además de poder transferir los resultados con eficacia a los servicios de AWS como Amazon S3, Amazon RDS, Amazon DynamoDB y Amazon EMR.

AWS Data Pipeline le ayuda a crear con facilidad cargas de trabajo de procesamiento de datos complejas que sean tolerantes a errores, replicables y de alta disponibilidad. No tiene que preocuparse por garantizar la disponibilidad de los recursos, administrar las dependencias entre tareas, reintentar errores transitorios ni de los tiempos de espera en tareas individuales o la creación de un sistema de notificación de errores. AWS Data Pipeline también le permite transferir y procesar datos que se hayan guardado con anterioridad en silos de información on-premise.

Coursera-reInvent-2


Fiabilidad

Fiabilidad

AWS Data Pipeline se basa en una infraestructura distribuida y de alta disponibilidad diseñada para ejecutar las actividades con tolerancia a errores. Si se producen errores en la lógica de la actividad o en las fuentes de datos, AWS Data Pipeline vuelve a intentar ejecutar la actividad automáticamente. Si el error persiste, AWS Data Pipeline le envía notificaciones de errores a través de Amazon Simple Notification Service (Amazon SNS). Puede configurar las notificaciones para ejecuciones satisfactorias, retrasos en las actividades previstas o errores.

Facilidad de uso

Facilidad de uso

La creación de una canalización resulta una tarea rápida y sencilla a través de nuestra consola basada en la tecnología de arrastrar y soltar. El servicio integra condiciones previas comunes, por lo que no es necesario que escriba ninguna lógica adicional para utilizarlas. Por ejemplo, puede comprobar si existe un archivo de Amazon S3; para ello, solo tiene que indicar el nombre del bucket de Amazon S3 y la ruta de acceso al archivo que desea comprobar, y AWS Data Pipeline se encargará del resto. Además de su sencillo editor visual de canalizaciones, AWS Data Pipeline ofrece una biblioteca de plantillas de canalizaciones. Estas plantillas facilitan la creación de canalizaciones para una serie de casos de uso más complejos, como el procesamiento regular de los logs, el archivado de datos en Amazon S3 o la ejecución periódica de consultas SQL.

Flexible

Flexible

AWS Data Pipeline le permite beneficiarse de una serie de características como la programación, el seguimiento de dependencias y la gestión de errores. Puede utilizar actividades y condiciones previas que AWS ofrece o escribir las suyas propias. Esto significa que puede configurar una canalización de AWS Data Pipeline para realizar acciones como procesar tareas de Amazon EMR, ejecutar consultas SQL directamente en las bases de datos o implementar aplicaciones personalizadas que se procesan en Amazon EC2 o en su propio centro de datos. Esto le permite crear canalizaciones personalizadas potentes para analizar y procesar los datos sin tener que afrontar las dificultades que suponen programar y ejecutar la lógica de la aplicación con confianza.

Escalable

Escalable

AWS Data Pipeline hace que sea igual de fácil enviar trabajo a una o varias máquinas en serie o en paralelo. Gracias al diseño flexible de AWS Data Pipeline, el procesamiento de millones de archivos resulta tan fácil como procesar uno solo.

 

Bajo costo

Bajo costo

Utilizar AWS Data Pipeline resulta económico y su facturación se realiza conforme a una tarifa mensual reducida. Puede probar este servicio en el marco de uso gratuito de AWS. Más información.

Transparente

Transparente

Tiene pleno control sobre los recursos informáticos que ejecutan su lógica de negocio, lo que facilita la mejora o depuración de la lógica. Además, los logs de ejecución completos se entregan automáticamente en Amazon S3, ofreciéndole un registro detallado y constante de lo que ha ocurrido en la canalización.

Introducción