Amazon MSK ahora admite la generación de incrustaciones vectoriales con Amazon Bedrock
Amazon MSK (Managed Streaming para Apache Kafka) ahora admite los nuevos esquemas de Managed Streaming para Apache Flink con el objetivo de generar incrustaciones vectoriales con Amazon Bedrock y facilitar la creación de aplicaciones de IA en tiempo real basadas en datos contextuales actualizados. Este esquema simplifica el proceso de incorporación de los datos más recientes de sus canalizaciones de flujo de Amazon MSK en sus modelos de IA generativa. De esta manera, se evita la necesidad de escribir código personalizado para integrar flujos de datos en tiempo real, bases de datos vectoriales y modelos de lenguaje de gran tamaño.
Con solo unos pocos clics, los clientes pueden configurar el esquema para generar incrustaciones vectoriales de forma continua mediante el uso de los modelos de incrustación de Bedrock y, a continuación, indexar esas incrustaciones en Amazon OpenSearch para sus flujos de datos de Amazon MSK. Esto permite que los clientes combinen el contexto de los datos en tiempo real con los potentes modelos de lenguaje de gran tamaño de Bedrock a fin de generar respuestas de IA precisas y actualizadas, sin necesidad de escribir código personalizado. Los clientes también pueden optar por mejorar la eficiencia de la recuperación de datos mediante la compatibilidad integrada con las técnicas de fragmentación de datos de LangChain, una biblioteca de código abierto que admite entradas de alta calidad para la ingesta de modelos. El esquema gestiona la integración y el procesamiento de datos entre MSK, el modelo de incrustación elegido y el almacén vectorial de Open Search, lo que permite que los clientes se centren en crear sus aplicaciones de IA en lugar de gestionar la integración subyacente.
El esquema de incrustación vectorial en tiempo real está disponible de forma general en las regiones Este de EE. UU. (Norte de Virginia), Este de EE. UU. (Ohio), Oeste de EE. UU. (Oregón), Europa (París), Europa (Londres), Europa (Irlanda) y América del Sur (São Paulo). Consulte la documentación de Amazon MSK para ver la lista de regiones adicionales, que se admitirán en las próximas semanas. Para obtener más información sobre cómo usar el esquema para generar incrustaciones vectoriales en tiempo real a partir de sus datos de Amazon MSK, visite el blog de AWS.