Preguntas frecuentes sobre Amazon S3

Un depósito vectorial está diseñado específicamente para almacenar y consultar vectores. Dentro de un bucket vectorial, no se utilizan las API de objetos de S3, sino las API vectoriales dedicadas para escribir datos vectoriales y consultarlos en función del significado semántico y la similitud. Puede controlar el acceso a sus datos vectoriales con los mecanismos de control de acceso existentes en Amazon S3, incluidas las políticas de bucket e IAM. Todas las escrituras en un bucket vectorial son muy consistentes, lo que significa que puede acceder inmediatamente a los vectores agregados más recientemente. A medida que escribe, actualiza y elimina vectores a lo largo del tiempo, los depósitos vectoriales de S3 optimizan automáticamente los datos vectoriales almacenados en ellos para lograr una relación precio-rendimiento óptima, incluso a medida que los conjuntos de datos escalan y evolucionan.

Un bucket es un contenedor de objetos y tablas almacenados en Amazon S3 y puede almacenar cualquier cantidad de objetos en un bucket. Los buckets de uso general son el tipo de bucket de S3 original, y un único bucket de uso general puede contener objetos almacenados en todas las clases de almacenamiento, excepto en S3 Express One Zone. Se recomiendan para la mayoría de los casos de uso y patrones de acceso. Los bucket de directorio de S3 solo permiten almacenar objetos en la clase de almacenamiento S3 Express One Zone, lo que proporciona un procesamiento de datos más rápido dentro de una única zona de disponibilidad. Se recomiendan para casos de uso de baja latencia. Cada bucket de directorio de S3 puede admitir hasta 2 millones de transacciones por segundo (TPS), independientemente de la cantidad de directorios del bucket. Los buckets de tablas de S3 están diseñados específicamente para almacenar datos tabulares en S3, como las transacciones de compra diarias, los datos de sensores de secuencias o las impresiones de anuncios. Al usar un bucket de tablas, sus datos se almacenan como una tabla Iceberg en S3 y, a continuación, puede interactuar con esos datos mediante funciones de análisis, como transacciones a nivel de fila, instantáneas de tablas consultables y más, todas administradas por S3. Además, los buckets de tablas realizan un mantenimiento continuo de las tablas para optimizar automáticamente la eficiencia de las consultas a lo largo del tiempo, incluso a medida que el lago de datos escala y evoluciona. Los cubos vectoriales S3 están diseñados específicamente para almacenar y consultar vectores. Dentro de un depósito vectorial, se utilizan API vectoriales dedicadas para escribir datos vectoriales y consultarlos en función del significado semántico y la similitud. Puede controlar el acceso a sus datos vectoriales mediante los mecanismos de control de acceso existentes en Amazon S3, incluidas las políticas de bucket e IAM. A medida que escribe, actualiza y elimina vectores a lo largo del tiempo, los depósitos vectoriales de S3 optimizan automáticamente los datos vectoriales almacenados en ellos para lograr una relación precio-rendimiento óptima, incluso a medida que los conjuntos de datos escalan y evolucionan.

Puede empezar a utilizar S3 Vectors en cuatro sencillos pasos, sin tener que configurar ninguna infraestructura fuera de Amazon S3. En primer lugar, cree un bucket vectorial en una región de AWS específica mediante la API CreateVectorBucket o en la consola S3. En segundo lugar, para organizar los datos vectoriales en un depósito vectorial, debe crear un índice vectorial con la API CreateIndex o en la consola de S3. Al crear un índice vectorial, se especifica la métrica de distancia (coseno o euclidiano) y el número de dimensiones que debe tener un vector (hasta 4092). Para obtener resultados más precisos, seleccione la métrica de distancia recomendada por su modelo de incrustación. En tercer lugar, añada datos vectoriales a un índice vectorial con la API PutVectors. Si lo desea, puede adjuntar metadatos como pares de valores clave a cada vector para filtrar las consultas. En cuarto lugar, realiza una consulta de similitud con la API QueryVectors, especificando el vector que se va a buscar y el número de resultados más similares que se van a devolver.

Puede crear un índice vectorial mediante la consola S3 o la API CreateIndex. Durante la creación del índice, debe especificar el bucket vectorial, el índice, la métrica de distancia, las dimensiones y, opcionalmente, una lista de campos de metadatos que desea excluir del filtrado durante las consultas de similitud. Por ejemplo, si desea almacenar datos asociados a vectores únicamente como referencia, puede especificarlos como campos de metadatos no filtrables. Tras la creación, a cada índice se le asigna un nombre de recurso de Amazon (ARN) único. Posteriormente, cuando realizas una solicitud de escritura o consulta, la diriges a un índice vectorial dentro de un bucket vectorial.

Puede agregar vectores a un índice vectorial mediante la API PutVectors. Cada vector consta de una clave que identifica de forma única cada vector en un índice vectorial (por ejemplo, puede generar un UUID mediante programación). Para maximizar el rendimiento de escritura, se recomienda insertar vectores en lotes grandes, hasta alcanzar el tamaño máximo de la solicitud. Además, puede adjuntar metadatos (por ejemplo, año, autor, género y ubicación) como pares de valores clave a cada vector. Al incluir metadatos, de forma predeterminada, todos los campos se pueden usar como filtros en una consulta de similitud, a menos que se especifiquen como metadatos no filtrables en el momento de la creación del índice vectorial. Para generar nuevas incrustaciones vectoriales de sus datos no estructurados, puede utilizar la API InvokeModel de Amazon Bedrock y especificar el ID del modelo de incrustación que desea utilizar.

Puedes usar la API GetVectors para buscar y devolver vectores y metadatos asociados mediante la clave vectorial.

Puede ejecutar una consulta de similitud con la API QueryVectors, especificando el vector de consulta, el número de resultados relevantes que se devolverán (los k vecinos más cercanos) y el ARN del índice. Al generar el vector de consulta, debe usar el mismo modelo de incrustación que se usó para generar los vectores iniciales almacenados en el índice vectorial. Por ejemplo, si utiliza Amazon Titan Text Embeddings v2 en Amazon Bedrock para generar incrustaciones de sus documentos, se recomienda utilizar el mismo modelo para convertir una pregunta en un vector. Además, puede usar filtros de metadatos en una consulta para buscar vectores que coincidan con el filtro. Al ejecutar la consulta de similitud, se devuelven las claves vectoriales de forma predeterminada. Si lo desea, puede incluir la distancia y los metadatos en la respuesta.

S3 Vectors ofrece un almacenamiento vectorial muy duradero y disponible. Los datos escritos en S3 Vectors se almacenan en S3, que está diseñado para ofrecer una durabilidad de datos de 11 a 9 segundos. S3 Vectors está diseñado para ofrecer una disponibilidad del 99,99% con un SLA de disponibilidad del 99,9%.

S3 Vectors ofrece tiempos de latencia de consulta inferiores a un segundo. Utiliza el rendimiento elástico de Amazon S3 para gestionar las búsquedas en millones de vectores y es ideal para cargas de trabajo de consultas poco frecuentes.

Para realizar consultas de similitud para sus incrustaciones vectoriales, varios factores pueden afectar a la recuperación promedio, como el modelo de incrustación, el tamaño del conjunto de datos vectoriales (número de vectores y dimensiones) y la distribución de las consultas. S3 Vectors ofrece una recuperación promedio de más del 90% para la mayoría de los conjuntos de datos. La recuperación promedio mide la calidad de los resultados de la consulta: el 90% significa que la respuesta contiene el 90% de la verdad básica de los vectores más cercanos, que están almacenados en el índice, al vector de la consulta. Sin embargo, dado que el rendimiento real puede variar según su caso de uso específico, le recomendamos que realice sus propias pruebas con datos y consultas representativos para validar que los índices vectoriales de S3 cumplen con sus requisitos de recuperación.

Puedes ver una lista de vectores en un índice vectorial con la API ListVectors, que devuelve hasta 1000 vectores a la vez con un indicador si la respuesta está truncada. La respuesta incluye la fecha de la última modificación, la clave vectorial, los datos vectoriales y los metadatos. También puede usar la API ListVectors para exportar fácilmente datos vectoriales de un índice vectorial específico. La operación ListVectors es muy coherente. Por lo tanto, después de escribir, puede enumerar inmediatamente los vectores con cualquier cambio reflejado.

Con S3 Vectors, paga por el almacenamiento y cualquier solicitud de escritura y lectura aplicable (por ejemplo, insertar vectores y realizar operaciones de consulta en los vectores de un índice vectorial). Para ver los detalles de precios, consulta la página de precios de S3.

Sí. Al crear una base de conocimientos de Bedrock a través de la consola o API de Bedrock, puede configurar un índice vectorial S3 existente como su almacén de vectores para ahorrar en costos de almacenamiento vectorial para los casos de uso de RAG. Si prefiere dejar que Bedrock cree y gestione el índice vectorial por usted, utilice el flujo de trabajo de creación rápida en la consola de Bedrock. Además, puede configurar un nuevo índice vectorial de S3 como almacén de vectores para los flujos de trabajo de RAG en Amazon SageMaker Unified Studio.

Sí. Hay dos maneras de utilizar S3 Vectors con Amazon OpenSearch Service. En primer lugar, los clientes de S3 pueden exportar todos los vectores de un índice vectorial de S3 a OpenSearch Serverless como una nueva colección sin servidor mediante la consola S3 o OpenSearch. Si crea de forma nativa en S3 Vectors, se beneficiará de poder usar OpenSearch Serverless de forma selectiva para cargas de trabajo con necesidades de consultas en tiempo real. En segundo lugar, si es un cliente gestionado de OpenSearch, ahora puede elegir S3 Vectors como su motor de datos vectoriales que se pueden consultar con una latencia inferior a un segundo. A continuación, OpenSearch utilizará automáticamente S3 Vectors como motor subyacente para los vectores y usted podrá actualizar y buscar sus datos vectoriales mediante las API de OpenSearch. Obtendrá los beneficios económicos de S3 Vectors, sin cambios en sus aplicaciones.

Los puntos de acceso de Amazon S3 son puntos de enlace que simplifican la administración del acceso a los datos para cualquier aplicación o servicio de AWS que funcione con S3. Los puntos de acceso S3 funcionan con los buckets S3 y Amazon FSx para los sistemas de archivos OpenZFS. Puede controlar y simplificar la forma en que las diferentes aplicaciones o usuarios pueden acceder a los datos mediante la creación de puntos de acceso con nombres y permisos adaptados a cada aplicación o usuario.

Al usar los puntos de acceso de S3 con depósitos de S3, ya no tendrá que administrar una política de depósitos única y compleja con cientos de reglas de permisos diferentes que deben escribirse, leerse, rastrearse y auditarse. En su lugar, puede crear cientos de puntos de acceso por depósito, cada uno de los cuales proporcione una ruta personalizada a un depósito, con un nombre de host y una política de acceso únicos que imponga los permisos y controles de red específicos para cualquier solicitud realizada a través del punto de acceso.

Al usar los puntos de acceso S3 con FSx para OpenZFS, puede acceder a sus datos de FSx mediante la API de S3 como si los datos estuvieran en S3. Con esta capacidad, los datos de sus archivos en FSx para OpenZFS son accesibles para su uso con la amplia gama de servicios y aplicaciones de inteligencia artificial, aprendizaje automático y análisis que funcionan con S3 mientras los datos de sus archivos siguen residiendo en el sistema de archivos FSx para OpenZFS.

Con los puntos de acceso S3, puede acceder a los datos de los archivos en Amazon FSx para OpenZFS mediante las API de S3 y sin mover los datos a S3. Los puntos de acceso S3 conectados a FSx para sistemas de archivos OpenZFS funcionan de manera similar a como funcionan los puntos de acceso S3 conectados a depósitos S3, ya que proporcionan acceso a los datos a través de S3 con acceso controlado por políticas de acceso, mientras que los datos se siguen almacenando en depósitos S3 o FSx para sistemas de archivos OpenZFS. Por ejemplo, una vez que un punto de acceso S3 se conecta a un sistema de archivos FSx para OpenZFS, los clientes pueden usar el punto de acceso con aplicaciones y servicios de inteligencia artificial generativa, aprendizaje automático y análisis que funcionan con S3 para acceder a sus datos de FSx for OpenZFS.

Puede importar datos de la misma región de AWS a la clase de almacenamiento S3 Express One Zone a través de la consola S3 mediante la opción Importar después de crear un bucket de directorio. La importación simplifica la copia de datos en los buckets del directorio de S3 al permitirle elegir un prefijo o un bucket desde el cual importar los datos sin tener que especificar todos los objetos que se van a copiar de forma individual. Las operaciones por lotes de S3 copian los objetos del prefijo o el bucket de uso general seleccionado y usted puede supervisar el progreso del trabajo de importación y copia a través de la página de detalles del trabajo de operaciones por lotes de S3.

Los buckets de directorio S3 que no tengan actividad de solicitudes durante un periodo de al menos 3 meses pasarán a un estado inactivo. Mientras se encuentra en estado inactivo, un bucket de directorio es temporalmente inaccesible para lecturas y escrituras. Los buckets inactivos retienen todo el almacenamiento, los metadatos del objeto y los metadatos del bucket. Las tarifas de almacenamiento existentes se aplicarán a los buckets inactivos. Cuando se solicita acceso a un bucket inactivo, éste pasa a un estado activo, normalmente en unos minutos. Durante este período de transición, las lecturas y escrituras devolverán un código de error 503 SlowDown.

Debe usar los metadatos de Amazon S3 si quiere usar SQL para consultar la información sobre sus objetos de S3 a fin de identificar rápidamente conjuntos de datos específicos para su IA generativa, análisis y otros casos de uso. S3 Metadata mantiene los metadatos actualizados casi en tiempo real, por lo que puede usar cualquier cliente compatible con Iceberg para ejecutar consultas SQL y buscar objetos según los metadatos del objeto. Por ejemplo, puede usar una consulta SQL para devolver una lista de objetos que coincidan con ciertos filtros, como los objetos agregados en los últimos 30 días en cualquier bucket.

Los metadatos de S3 están diseñados para generar automáticamente metadatos que proporcionan información adicional sobre los objetos que se cargan en un bucket y para hacer que esos metadatos se puedan consultar en una tabla de solo lectura. Estas tablas de metadatos se almacenan en Amazon S3 Tables, que se basan en Apache Iceberg y proporcionan una forma gestionada de almacenar y consultar datos tabulares en S3. S3 Metadata crea y mantiene metadatos a nivel del sistema, como el tamaño del objeto, metadatos personalizados, como etiquetas y metadatos definidos por el usuario, durante la carga de objetos, y metadatos de eventos, como la dirección IP que envió la solicitud. A medida que cambian los datos de su bucket, los metadatos de S3 se actualizan casi en tiempo real para reflejar los cambios más recientes. A continuación, puede consultar las tablas de metadatos mediante varios servicios de análisis de AWS y herramientas de código abierto compatibles con Iceberg, como Amazon Athena, Amazon QuickSight y Apache Spark.

Puede empezar a usar los metadatos de S3 con solo unos clics en la consola de S3. Solo tiene que seleccionar el bucket de S3 de uso general en el que desea habilitar los metadatos de S3 y S3 analizará los datos de su bucket y creará una tabla de Apache Iceberg totalmente gestionada que contenga los metadatos de todos sus objetos. En cuestión de minutos, puede empezar a consultar sus metadatos con cualquier motor de consulta o herramienta compatible con Apache Iceberg.

Las tablas de metadatos de S3 se almacenan en un depósito de tablas administrado por AWS en su cuenta de AWS denominado aws-s3. Las tablas serán de solo lectura y solo S3 tendrá permiso para escribir, actualizar o eliminar metadatos. 

S3 Metadata almacena los metadatos en dos tablas administradas de su cuenta: tablas de diario y tablas de inventario en vivo. 

La tabla del diario de metadatos de S3 ofrece una vista de los cambios realizados en su bucket. A medida que los objetos se agregan, actualizan y eliminan de sus depósitos de S3 de uso general, los cambios correspondientes se reflejan en las tablas del diario prácticamente en tiempo real. Las tablas de diario son útiles para comprender el comportamiento de las aplicaciones y para identificar cualquier cambio realizado en los conjuntos de datos. Por ejemplo, puede escribir consultas SQL para tablas de diario para buscar objetos de S3 que coincidan con un filtro, como los objetos agregados en los últimos 30 días, los objetos que han agregado los solicitantes activos u objetos que han cambiado los metadatos durante la última semana.

La tabla de inventario en vivo de S3 Metadata contiene una lista completa de todos los objetos de tu bucket. Las tablas de inventario en vivo se actualizan cada hora y contienen toda la información que S3 conoce sobre sus objetos. Las tablas de inventario en vivo son útiles para descubrir o identificar conjuntos de datos en tu bucket, en función de las características generadas en los metadatos de los objetos. Por ejemplo, puede usar tablas de inventario en vivo para identificar conjuntos de datos de entrenamiento para el aprendizaje automático, para usarlos en ejercicios de optimización de costos de almacenamiento o para ayudar a aplicar los controles de gobierno.

Cuando añadas objetos nuevos a tu bucket, verás las entradas en la tabla del diario en cuestión de minutos y las verás en la tabla del inventario activo en la próxima actualización cada hora. Al habilitar los metadatos de S3 en un bucket existente, S3 iniciará automáticamente una operación de relleno para generar metadatos para todos los objetos existentes. Este relleno normalmente finaliza en minutos, pero puede tardar varias horas si los conjuntos de datos existentes contienen millones o miles de millones de objetos de S3.

S3 Inventory ofrece una alternativa programada para la API List sincronizada de Amazon S3. Puede configurar S3 Inventory para proporcionar una salida de archivo CSV, ORC o Parquet de sus objetos y sus metadatos correspondientes de forma diaria o semanal para un bucket o prefijo de S3. Puede simplificar y agilizar las tareas de big data y los flujos de trabajo empresariales con S3 Inventory. Puede usar S3 Inventory para controlar el estado de replicación y cifrado de sus objetos a fin de cumplir requisitos empresariales, de conformidad y normativos. Más información en la guía de usuario de Amazon S3 Inventory.

Las tablas S3 proporcionan almacenamiento S3 diseñado específicamente para almacenar datos estructurados en los formatos Apache Parquet, Avro y ORC. Dentro de un bucket de tablas, puede crear tablas como recursos de primera clase directamente en S3. Estas tablas se pueden proteger con permisos a nivel de tabla definidos en políticas basadas en la identidad o en los recursos, y se puede acceder a ellas mediante aplicaciones o herramientas compatibles con el estándar de Apache Iceberg. Al crear una tabla en el cubo de tablas, los datos subyacentes en S3 se almacenan como archivos Parquet, Avro u ORC. Luego, S3 usa el estándar Apache Iceberg para almacenar los metadatos necesarios para que las aplicaciones puedan consultar esos datos. Las tablas de S3 incluyen una biblioteca de clientes que utilizan los motores de consulta para navegar y actualizar los metadatos de Iceberg de las tablas de su bucket de tablas. Esta biblioteca, junto con las API de S3 actualizadas para las operaciones de tablas, permite que varios clientes lean y escriban datos en sus tablas de forma segura. Con el tiempo, S3 optimiza automáticamente los datos subyacentes de Parquet, Avro u ORC reescribiendo o «compactando» los objetos. La compactación optimiza los datos en S3 para mejorar el rendimiento de las consultas.

Puede esperar un rendimiento de consultas hasta 3 veces más rápido y transacciones por segundo (TPS) hasta 10 veces más altas en comparación con el almacenamiento de tablas de Iceberg en buckets de uso general de Amazon S3. Esto se debe a que los cubos de tablas compactan automáticamente los datos subyacentes de Parquet, Avro u ORC para las tablas a fin de optimizar el rendimiento de las consultas, y el almacenamiento especialmente diseñado admite hasta 10 veces más que el TPS de forma predeterminada.

Los buckets de tablas le permiten aplicar políticas de recursos a todo el bucket o a tablas individuales. Las políticas de buckets de tablas se pueden aplicar mediante las API PutTablePolicy y PutTableBucketPolicy. Las políticas a nivel de tabla le permiten administrar los permisos de las tablas de sus grupos de tablas en función de la tabla lógica a la que están asociadas, sin tener que entender la ubicación física de los archivos individuales de Parquet, Avro u ORC. Además, el bloqueo del acceso público de S3 siempre se aplica a los buckets de tablas.

Los cubos de tabla admiten el formato de tabla Apache Iceberg con datos de Parquet, Avro u ORC.