- Almacenamiento›
- Amazon S3›
- Operaciones por lotes
Operaciones por lotes de Amazon S3
Gestione de decenas a miles de millones de objetos a escala
Operaciones por lotes de S3 es una característica de administración de datos de Amazon S3 que permite administrar miles de millones de objetos a escala con solo unos cuantos clics en la consola de S3 o mediante una única solicitud de API. Con esta característica, puede modificar los metadatos y las propiedades de los objetos, o realizar otras tareas de administración del almacenamiento, como copiar o replicar objetos entre buckets, reemplazar conjuntos de etiquetas de objetos, modificar controles de acceso y restaurar objetos archivados desde las clases de almacenamiento de S3 Glacier, en lugar de invertir meses en desarrollar aplicaciones personalizadas para realizar estas tareas.
Operaciones por lotes de S3
Las operaciones por lotes de S3 son una solución administrada para realizar acciones de almacenamiento como copiar y etiquetar objetos a gran escala, ya sea como tarea de una única vez o para cargas de trabajo por lotes recurrentes. Las operaciones por lotes de S3 pueden ejecutar acciones en miles de millones de objetos y petabytes de datos con una solicitud única. Para realizar una tarea en las operaciones por lotes de S3, cree un trabajo. Este trabajo consiste en la lista de objetos, las acciones que se realizarán y el conjunto de parámetros que especifique para este tipo de operación. Puede crear y ejecutar varios trabajos al mismo tiempo en las operaciones por lotes de S3 o utilizar los criterios de establecimiento de prioridades según sea necesario para definir la prioridad de cada uno de los trabajos y asegurarse de que los más importantes ocurran primero. Las operaciones por lotes de S3 permiten administrar los reintentos, realizar un seguimiento del progreso, enviar notificaciones, generar informes de finalización y ofrecer eventos para AWS CloudTrail para todos los cambios realizados y las tareas ejecutadas.
Las operaciones por lotes de S3 complementan cualquier arquitectura dirigida por eventos que pueda estar operando el día de hoy. Para los objetos nuevos, se recomienda utilizar los eventos de S3 junto con funciones de Lambda para convertir tipos de archivos, generar miniaturas, realizar escaneos de datos y ejecutar otras operaciones. Por ejemplo, los clientes utilizan eventos de S3 y funciones de Lambda para generar versiones más pequeñas y de menor resolución de fotografías sin procesar cuando se cargan las imágenes por primera vez en S3. Operaciones por lotes de S3 complementa estos flujos de trabajo basados en eventos al proporcionar un mecanismo sencillo para realizar esas mismas acciones también sobre los objetos existentes.
Funcionamiento de las operaciones por lotes de S3
Tutorial de Operaciones por lotes de S3
Teespring
Teespring se fundó en 2011 y permite a los usuarios crear y vender en línea productos personalizados bajo demanda. Como cada producto personalizado requiere diversos recursos dentro de Teespring, ellos almacenan petabytes de datos en Amazon S3.
“Las operaciones por lotes de S3 nos ayudan a optimizar nuestro almacenamiento mediante el uso de la clase almacenamiento de Amazon S3 Glacier. Utilizamos nuestro propio almacenamiento de metadatos para crear lotes de objetos que podamos migrar a Amazon S3 Glacier. Con Amazon S3 Glacier ahorramos más del 80 % en nuestros costos de almacenamiento. Siempre buscamos oportunidades para automatizar la administración del almacenamiento, y con Operaciones por lotes de S3 podemos administrar millones de objetos en cuestión de minutos”.
James Brady, vicepresidente de ingeniería de Teespring
Capital One
Capital One es un banco que surgió de la combinación de las finanzas con la tecnología y se ha convertido en una de las marcas más reconocidas de América. Capital One utilizaba las operaciones por lotes de Amazon S3 para copiar datos entre dos regiones de AWS y así aumentar la redundancia de datos y estandarizar la huella de los datos en esas dos ubicaciones.
“Con las operaciones por lotes de Amazon S3, creamos un trabajo para copiar millones de objetos en horas, una tarea que con el método tradicional habría tardado meses en completarse. Utilizamos el informe de inventario de Amazon S3, el cual nos proporcionó una lista de objetos en nuestro bucket, como aportes a nuestro trabajo de operaciones por lotes de Amazon S3. Amazon S3 desempeñó un papel decisivo al permitir realizar copias de datos, proporcionar actualizaciones de progreso y generar un informe de auditoría una vez finalizado el trabajo. Disponer de esta característica ahorró a nuestros equipos semanas de esfuerzo manual y convirtió esta transferencia de datos a gran escala en una tarea rutinaria.
Franz Zemen, vicepresidente de ingeniería de software en Capital One
ePlus
ePlus, un socio consultor avanzado de AWS, trabaja con los clientes para optimizar sus entornos de TI y emplea soluciones como Operaciones por lotes de S3 para ayudarles a ahorrar tiempo y dinero.
“Las operaciones por lotes de S3 son simplemente increíbles. No solo ayudó a uno de nuestros clientes a reducir el tiempo, la complejidad y la dificultad de aunar la amplia variedad de operaciones de S3, programar trabajos y renderizar información de manera sencilla para utilizar el panel, sino que también permitió resolver algunos casos de uso desalentadores que no parecían poder resolverse en la fracción de tiempo en la que efectivamente se resolvieron con las operaciones por lotes de S3.
Por ejemplo, Operaciones por lotes de S3 agilizó la copia de más de dos millones de objetos entre distintas regiones dentro de una misma cuenta, y los metadatos se mantuvieron intactos. La solución funcionó sin inconvenientes al realizar tareas similares en las cuentas y, de manera destacada, generó un informe de finalización que clasificó y separó automáticamente las operaciones correctas de las fallidas entre 400 millones de objetos, lo que permitió un manejo más sencillo de las operaciones fallidas en un único archivo”.
David Lin, arquitecto sénior de soluciones y profesional certificado por AWS - ePlus
