Con las operaciones por lotes de S3, administre decenas de miles de millones de objetos a gran escala
Las operaciones por lotes de S3 son una característica de administración de datos de Simple Storage Service (Amazon S3) que le permite administrar miles de millones de objetos a gran escala con tan solo unos clics en la consola de administración de Simple Storage Service (Amazon S3) o con una única solicitud de API. Con esta característica, puede introducir cambios a los metadatos de objetos y a sus propiedades, o llevar a cabo otras tareas de administración del almacenamiento, como copiar o replicar objetos entre buckets, sustituir conjuntos de etiquetas de objetos, modificar controles de acceso y restaurar objetos archivados desde S3 Glacier, en lugar de invertir meses en desarrollar aplicaciones personalizadas que hagan estas tareas.
Operaciones por lotes de S3
Las operaciones por lotes de S3 son una solución administrada para realizar acciones de almacenamiento como copiar y etiquetar objetos a gran escala, ya sea como tarea de una única vez o para cargas de trabajo por lotes recurrentes. Las operaciones por lotes de S3 pueden ejecutar acciones en miles de millones de objetos y petabytes de datos con una solicitud única. Para realizar una tarea en las operaciones por lotes de S3, cree un trabajo. Este trabajo consiste en la lista de objetos, las acciones que se realizarán y el conjunto de parámetros que especifique para este tipo de operación. Puede crear y ejecutar varios trabajos al mismo tiempo en las operaciones por lotes de S3 o utilizar los criterios de establecimiento de prioridades según sea necesario para definir la prioridad de cada uno de los trabajos y asegurarse de que los más importantes ocurran primero. Las operaciones por lotes de S3 permiten administrar los reintentos, realizar un seguimiento del progreso, enviar notificaciones, generar informes de finalización y ofrecer eventos para AWS CloudTrail para todos los cambios realizados y las tareas ejecutadas.
Las operaciones por lotes de S3 complementan cualquier arquitectura dirigida por eventos que pueda estar operando el día de hoy. Para los objetos nuevos, se recomienda el uso de los eventos de S3 y las funciones de Lambda para convertir tipos de archivos, crear miniaturas, realizar escaneos de datos y otras operaciones. Por ejemplo, los clientes utilizan eventos de S3 y funciones de Lambda para crear versiones más pequeñas y de baja resolución de fotografías cuando cargan las imágenes por primera vez a S3. Las operaciones por lotes de S3 proporcionan un mecanismo simple para realizar las mismas acciones en todos sus objectos existentes y, de este modo, complementar los flujos de trabajo existentes dirigidos por eventos.
Funcionamiento de las operaciones por lotes de S3
Para realizar una tarea en las operaciones por lotes de S3, debe crear un trabajo. Este trabajo consiste en la lista de objetos, las acciones que se realizarán y el conjunto de parámetros que especifique para este tipo de operación. Puede crear y ejecutar varios trabajos al mismo tiempo en las operaciones por lotes de S3 o utilizar los criterios de establecimiento de prioridades según sea necesario para definir la prioridad de cada uno de los trabajos y asegurarse de que los más importantes ocurran primero. Las operaciones por lotes de S3 permiten administrar los reintentos, hacer un seguimiento del progreso, enviar notificaciones, generar informes de finalización y ofrecer eventos para AWS CloudTrail para todos los cambios hechos y las tareas ejecutadas.
Tutoriales sobre las operaciones por lotes de S3
Clientes
Teespring se fundó en 2011 y permite a los usuarios crear y vender en línea productos bajo demanda personalizados. Como cada producto personalizado requiere diversos recursos dentro de Teespring, ellos almacenan petabytes de datos en Amazon S3.
“Las operaciones por lotes de S3 nos ayudan a optimizar nuestro almacenamiento mediante el uso de la clase almacenamiento de Amazon S3 Glacier. Utilizamos nuestro propio almacenamiento de metadatos para crear lotes de objetos que podamos migrar a Amazon S3 Glacier. Con Amazon S3 Glacier podemos ahorrar más del 80 % de nuestros gastos de almacenamiento. Estamos en búsqueda de oportunidades para automatizar la administración de almacenamiento y, con las operaciones por lotes de S3, podemos administrar millones de objetos en minutos”.
James Brady, Vicepresidente de ingeniería en Teespring
Capital One es un banco que nació de la combinación de las finanzas y la tecnología, y es una de las marcas más reconocidas de América.
Capital One utilizaba las operaciones por lotes de Amazon S3 para copiar datos entre dos regiones de AWS y así aumentar la redundancia de datos y estandarizar la huella de los datos en esas dos ubicaciones.
“Con las operaciones por lotes de Amazon S3, creamos un trabajo para copiar millones de objetos en horas, una tarea que con el método tradicional habría tardado meses en completarse. Utilizamos el informe de inventario de Amazon S3, el cual nos proporcionó una lista de objetos en nuestro bucket, como aportes a nuestro trabajo de operaciones por lotes de Amazon S3. Amazon S3 contribuyó decisivamente a realizar copias de datos, proporcionar actualizaciones de progreso y producir un informe de auditoría una vez completado el trabajo. Esta característica permitió a nuestros equipos ahorrar semanas de esfuerzo manual y convertir esta transferencia de datos a gran escala en algo rutinario”.
Franz Zemen, Vicepresidente de ingeniería de software en Capital One
ePlus, un socio consultor avanzado de AWS, trabaja junto a los clientes para optimizar sus entornos de TI y utiliza soluciones como las operaciones por lotes de S3 para permitirles ahorrar tiempo y dinero.
“Las operaciones por lotes de S3 son simplemente increíbles. No solo ayudó a uno de nuestros clientes a reducir el tiempo, la complejidad y la dificultad de aunar la amplia variedad de operaciones de S3, programar trabajos y renderizar información de manera sencilla para utilizar el panel, sino que también permitió resolver algunos casos de uso desalentadores que no parecían poder resolverse en la fracción de tiempo en la que efectivamente se resolvieron con las operaciones por lotes de S3.
Por ejemplo, las operaciones por lotes de S3 agilizaron la tarea de copiar más de dos millones de objetos a lo largo de distintas regiones dentro de una misma cuenta al tiempo que los metadatos se mantenían intactos. La solución trabajó de manera ininterrumpida realizando tareas similares en varias cuentas y, puntualmente, generó un informe completo que permitía distinguir y separar las operaciones que resultaron exitosas de aquellas que no en 400 millones de objetos, lo que permitió un manejo más sencillo y en un único archivo de las operaciones que fallaron”.
David Lin, arquitecto de soluciones sénior y AWS Certified Professional en ePlus
Publicaciones de blog sobre operaciones por lotes de S3
Blog de novedades de AWS
Operaciones por lotes de Amazon S3
Las operaciones por lotes de Amazon S3 pueden utilizarse para procesar con facilidad miles, millones o miles de millones de objetos de S3 de una manera simple y clara. Puede copiar objetos a otro bucket, establecer etiquetas o listas de control de acceso (ACL), iniciar un restablecimiento desde S3 Glacier o invocar una función de AWS Lambda en cada uno.
Blog de AWS sobre almacenamiento
Cifrar objetos con las operaciones por lotes de S3
En esta publicación queda demostrado cómo es posible crear una lista de objetos, realizar un filtrado para incluir solo los objetos descifrados, configurar permisos y realizar trabajos de operaciones por lotes de S3 para cifrar los objetos. El cifrado de objetos existentes es una de las muchas maneras en las que puede utilizar las operaciones por lotes de S3 para administrar sus objetos de Amazon S3.
Blog de AWS sobre almacenamiento
Transcodificación de archivos de video con operaciones por lotes de S3
En esta publicación, se incluye una reseña sobre cómo utilizar las operaciones por lotes de S3 para activar un trabajo de transcodificación de videos mediante el uso de AWS Lambda, ya sea videos almacenados en S3 o videos que requieren un restablecimiento de Amazon S3 Glacier.
Aprenda cómo comenzar y cuáles son las prácticas recomendadas
Obtenga acceso instantáneo a la capa gratuita de AWS.
Comience a crear con Amazon S3 en la consola de administración de AWS.