Con las operaciones por lotes de S3, administre decenas de miles de millones de objetos a gran escala.

Las operaciones por lotes de S3 son una característica de administración de datos de Amazon S3 que le permite administrar miles de millones de objetos a gran escala con tan solo unos clics en la consola de administración de Amazon S3 o con una única solicitud de API. Con esta característica, puede introducir cambios a los metadatos de objetos y a sus propiedades, o realizar otras tareas de administración del almacenamiento, como copiar objetos entre buckets, sustituir conjuntos de etiquetas de objetos, modificar controles de acceso y restaurar objetos archivados desde S3 Glacier, en lugar de invertir meses en desarrollar aplicaciones personalizadas que realicen estas tareas.

Introducción a las operaciones por lotes de Amazon S3

Operaciones por lotes de S3

Las operaciones por lotes de S3 son una solución administrada para realizar acciones de almacenamiento como copiar y etiquetar objetos a gran escala, ya sea como tarea de una única vez o para cargas de trabajo por lotes recurrentes. Las operaciones por lotes de S3 pueden ejecutar acciones en miles de millones de objetos y petabytes de datos con una solicitud única. Para realizar una tarea en las operaciones por lotes de S3, cree un trabajo. Este trabajo consiste en la lista de objetos, las acciones que se realizarán y el conjunto de parámetros que especifique para este tipo de operación. Puede crear y ejecutar varios trabajos al mismo tiempo en las operaciones por lotes de S3 o utilizar los criterios de establecimiento de prioridades según sea necesario para definir la prioridad de cada uno de los trabajos y asegurarse de que los más importantes ocurran primero. Las operaciones por lotes de S3 permiten administrar los reintentos, realizar un seguimiento del progreso, enviar notificaciones, generar informes de finalización y ofrecer eventos para AWS CloudTrail para todos los cambios realizados y las tareas ejecutadas.

Las operaciones por lotes de S3 complementan cualquier arquitectura dirigida por eventos que pueda estar operando el día de hoy. Para los objetos nuevos, se recomienda el uso de los eventos de S3 y las funciones de Lambda para convertir tipos de archivos, crear miniaturas, realizar escaneos de datos y otras operaciones. Por ejemplo, los clientes utilizan eventos de S3 y funciones de Lambda para crear versiones más pequeñas y de baja resolución de fotografías cuando cargan las imágenes por primera vez a S3. Las operaciones por lotes de S3 proporcionan un mecanismo simple para realizar las mismas acciones en todos sus objectos existentes y, de este modo, complementar los flujos de trabajo existentes dirigidos por eventos.

Funcionamiento de las operaciones por lotes de S3

Amazon-S3_Batch_Operations_How_it_works_2x

Para realizar una tarea en las operaciones por lotes de S3, cree un trabajo. Este trabajo consiste en la lista de objetos, las acciones que se realizarán y el conjunto de parámetros que especifique para este tipo de operación. Puede crear y ejecutar varios trabajos al mismo tiempo en las operaciones por lotes de S3 o utilizar los criterios de establecimiento de prioridades según sea necesario para definir la prioridad de cada uno de los trabajos y asegurarse de que los más importantes ocurran primero. Las operaciones por lotes de S3 permiten administrar los reintentos, realizar un seguimiento del progreso, enviar notificaciones, generar informes de finalización y ofrecer eventos para AWS CloudTrail para todos los cambios realizados y las tareas ejecutadas.

Tutoriales sobre las operaciones por lotes de S3

Crear un trabajo

Crear un trabajo de operaciones por lotes

Administrar y realizar un seguimiento de los trabajos

Administrar y realizar un seguimiento de los trabajos de operaciones por lotes

Configuración de permisos

Configurar los permisos

Clientes

Teespring se fundó en 2011 y permite a los usuarios crear y vender en línea productos bajo demanda personalizados. Como cada producto personalizado requiere diversos recursos dentro de Teespring, ellos almacenan petabytes de datos en Amazon S3.

“Las operaciones por lotes de S3 nos ayudan a optimizar nuestro almacenamiento mediante el uso de la clase almacenamiento de Amazon S3 Glacier. Utilizamos nuestro propio almacenamiento de metadatos para crear lotes de objetos que podamos migrar a Amazon S3 Glacier. Con Amazon S3 Glacier podemos ahorrar más del 80 % de nuestros gastos de almacenamiento. Estamos en búsqueda de oportunidades para automatizar la administración de almacenamiento y, con las operaciones por lotes de S3, podemos administrar millones de objetos en minutos”.

James Brady, Vicepresidente de ingeniería en Teespring

600x400_Capital-One_Logo

Capital One es un banco que nació de la combinación de las finanzas y la tecnología, y es una de las marcas más reconocidas de América.

Capital One utilizaba las operaciones por lotes de Amazon S3 para copiar datos entre dos regiones de AWS y así aumentar la redundancia de datos y estandarizar la huella de los datos en esas dos ubicaciones.

“Con las operaciones por lotes de Amazon S3, creamos un trabajo para copiar millones de objetos en horas, una tarea que con el método tradicional habría tardado meses en completarse. Utilizamos el informe de inventario de Amazon S3, el cual nos proporcionó una lista de objetos en nuestro bucket, como aportes a nuestro trabajo de operaciones por lotes de Amazon S3. Amazon S3 contribuyó decisivamente a realizar copias de datos, proporcionar actualizaciones de progreso y producir un informe de auditoría una vez completado el trabajo. Esta característica permitió a nuestros equipos ahorrar semanas de esfuerzo manual y convertir esta transferencia de datos a gran escala en algo rutinario”.

Franz Zemen, Vicepresidente de ingeniería de software en Capital One

eplus

ePlus, un socio consultor avanzado de AWS, trabaja junto a los clientes para optimizar sus entornos de TI y utiliza soluciones como las operaciones por lotes de S3 para permitirles ahorrar tiempo y dinero.

“Las operaciones por lotes de S3 son simplemente increíbles. No solo ayudó a uno de nuestros clientes a reducir el tiempo, la complejidad y la dificultad de aunar la amplia variedad de operaciones de S3, programar trabajos y renderizar información de manera sencilla para utilizar el panel, sino que también permitió resolver algunos casos de uso desalentadores que no parecían poder resolverse en la fracción de tiempo en la que efectivamente se resolvieron con las operaciones por lotes de S3.
 
Por ejemplo, las operaciones por lotes de S3 agilizaron la tarea de copiar más de dos millones de objetos a lo largo de distintas regiones dentro de una misma cuenta al tiempo que los metadatos se mantenían intactos. La solución trabajó de manera ininterrumpida realizando tareas similares en varias cuentas y, puntualmente, generó un informe completo que permitía distinguir y separar las operaciones que resultaron exitosas de aquellas que no en 400 millones de objetos, lo que permitió un manejo más sencillo y en un único archivo de las operaciones que fallaron”.

David Lin, arquitecto de soluciones sénior y AWS Certified Professional en ePlus

Publicaciones de blog sobre operaciones por lotes de S3

Blog de novedades de AWS


Operaciones por lotes de Amazon S3

Las operaciones por lotes de Amazon S3 pueden utilizarse para procesar con facilidad miles, millones o miles de millones de objetos de S3 de una manera simple y clara. Puede copiar objetos a otro bucket, establecer etiquetas o listas de control de acceso (ACL), iniciar un restablecimiento desde S3 Glacier o invocar una función de AWS Lambda en cada uno.

Lea el blog »

Blog de AWS sobre almacenamiento


Cifrar objetos con las operaciones por lotes de S3

En esta publicación queda demostrado cómo es posible crear una lista de objetos, realizar un filtrado para incluir solo los objetos descifrados, configurar permisos y realizar trabajos de operaciones por lotes de S3 para cifrar los objetos. El cifrado de objetos existentes es una de las muchas maneras en las que puede utilizar las operaciones por lotes de S3 para administrar sus objetos de Amazon S3.

Lea el blog »

Blog de AWS sobre almacenamiento


Transcodificación de archivos de video con operaciones por lotes de S3

En esta publicación, se incluye una reseña sobre cómo utilizar las operaciones por lotes de S3 para activar un trabajo de transcodificación de videos mediante el uso de AWS Lambda, ya sea videos almacenados en S3 o videos que requieren un restablecimiento de Amazon S3 Glacier.

Lea el blog »
Product-Page_Standard-Icons_01_Product-Features_SqInk
Vea el seminario web sobre las operaciones por lotes de S3

Aprenda cómo comenzar y cuáles son las prácticas recomendadas

Más información 
Product-Page_Standard-Icons_02_Sign-Up_SqInk
Regístrese para obtener una cuenta gratuita

Obtenga acceso instantáneamente a la capa gratuita de AWS. 

Regístrese 
Product-Page_Standard-Icons_03_Start-Building_SqInk
Comience a crear en la consola

Comience a crear con Amazon S3 en la consola de administración de AWS.

Iniciar sesión