Metodología para la respuesta a incidentes en cargas de trabajo de IA generativa – Parte 1: La Metodología

Por Anna McAbee, Arquitecta de Soluciones Especialista en Seguridad enfocada en servicios financieros, IA generativa y respuesta a incidentes en AWS; Steve De Vera, gerente del Equipo de Respuesta a Incidentes de Clientes de AWS; AJ Evans, Ingeniero de Seguridad del Equipo de Respuesta a Incidentes de Clientes de AWS y Jennifer Paz, Ingeniera de Seguridad en AWS.

El Equipo de Respuesta a Incidentes de Clientes de AWS (CIRT) ha desarrollado una metodología que usted puede usar para investigar incidentes de seguridad que involucren aplicaciones basadas en IA generativa. Para responder a eventos de seguridad relacionados con una carga de trabajo de IA generativa, aún debe seguir las pautas y principios descritos en la Guía de respuesta a incidentes de seguridad de AWS. Sin embargo, las cargas de trabajo de IA generativa requieren que también considere algunos elementos adicionales, que detallamos en esta publicación del blog.

Esta publicación de blog se dividirá en dos partes:

Parte 1: La Metodología Comenzamos describiendo los componentes comunes de una carga de trabajo de IA generativa y analizamos cómo puede prepararse para un evento antes de que ocurra. Luego introducimos la Metodología para la respuesta a incidentes en cargas de trabajo de IA generativa, que consta de siete elementos que debe considerar al clasificar y responder a un evento de seguridad en una carga de trabajo de IA generativa.

Parte 2: Aplicación de la Metodología a un Incidente de Seguridad Y en el siguiente blog nos enfocaremos en un ejemplo de evento de seguridad y aplicaremos esta metodología para ayudarlo a explorar la metodología aplicado a un ejemplo de evento de seguridad.

Al dividir la publicación del blog en estas dos partes, nuestro objetivo es proporcionar una comprensión integral del enfoque del CIRT para manejar incidentes de seguridad en cargas de trabajo de IA generativa, tanto desde un punto de vista metodológico como a través de un ejemplo de aplicación práctica.

Componentes de una carga de trabajo de IA generativa

Como se muestra en la Figura 1, las aplicaciones de IA generativa incluyen los siguientes cinco componentes:

• Una organización que es propietaria o es responsable de la infraestructura, las aplicaciones de IA generativa y los datos privados de la organización.
• Infraestructura dentro de una organización que no está específicamente relacionada con la aplicación de IA generativa en sí. Esto puede incluir bases de datos, servidores back-end y sitios web.
• Aplicaciones de IA generativa, que incluyen lo siguiente:
  • Modelos fundacionales (Foundational Models-FMs): modelos de IA con un gran número de parámetros y entrenados en una gran cantidad de datos diversos.
  • Modelos personalizados: modelos que se ajustan o se entrenan en datos y casos de uso específicos de una organización, adaptados a sus requisitos únicos.
  • Baranda (guardrail): mecanismos o restricciones para ayudar a asegurarse de que la aplicación de IA generativa opere dentro de los límites deseados. Los ejemplos incluyen filtrado de contenido, restricciones de seguridad o pautas éticas.
  • Agentes: flujos de trabajo que permiten a las aplicaciones de IA generativa realizar tareas de varios pasos a través de los sistemas y fuentes de datos de la empresa.
  • Bases de conocimiento: repositorios de conocimiento, reglas o datos específicos del dominio a los que la aplicación de IA generativa puede acceder y usar.
  • Datos de entrenamiento: datos utilizados para entrenar, ajustar o aumentar los modelos de la aplicación de IA generativa, incluidos los datos para técnicas como la generación aumentada por recuperación (Retrieval Augmented Generation-RAG).

Nota: Los datos de entrenamiento se distinguen de los datos privados de una organización. Es posible que una aplicación de IA generativa no tenga acceso directo a los datos privados, aunque esta configuración se implementa en algunos entornos.

• • Complementos: componentes de software o extensiones adicionales que se pueden integrar con la aplicación de IA generativa para proporcionar funcionalidades especializadas o acceso a servicios o fuentes de datos externos.
• Los datos privados se refieren a los datos confidenciales almacenados privadamente por el cliente que los recursos o aplicaciones de IA generativa no tienen la intención de interactuar durante el funcionamiento normal.
• Los usuarios son las identidades que pueden interactuar con o acceder a la aplicación de IA generativa. Pueden ser humanos o sistemas.

Figura 1: Componentes comunes de una carga de trabajo de IA

Preparación para la respuesta a incidentes en cargas de trabajo de IA generativa

Usted debe prepararse para un evento de seguridad en tres dominios: personas, procesos y tecnología. Para obtener un resumen de cómo prepararse, consulte los elementos de preparación de la Guía de respuesta a incidentes de seguridad. Además, su preparación para un evento de seguridad relacionado con una carga de trabajo de IA generativa debe incluir lo siguiente:

• Personas: capacitar al personal de respuesta a incidentes y operaciones de seguridad en IA generativa: debe asegurarse de que su personal esté familiarizado con los conceptos de IA generativa y con los servicios de IA/ML que se utilizan en su organización. AWS Skill Builder ofrece cursos gratuitos y de pago sobre ambos temas.
• Proceso: desarrollar nuevos libros de tácticas (playbooks): debe desarrollar nuevos libros de jugadas para eventos de seguridad relacionados con una carga de trabajo de IA generativa. Para obtener más información sobre cómo desarrollar estos, consulte los siguientes libros de jugadas de muestra:
  • Respuesta a eventos de seguridad de Amazon Bedrock

• • Respuesta a eventos de seguridad de SageMaker

• • Respuesta a eventos de seguridad de Amazon Q.

Puede usar estos runbooks como punto de partida y modificarlos para que se ajusten mejor a su organización y al uso de estos servicios.

• Tecnología: registrar las peticiones y las invocaciones de la aplicación de IA generativa: además de los registros fundamentales, como los disponibles en AWS CloudTrail, debe considerar registrar los registros de invocación de modelos de Amazon Bedrock para que pueda analizar los mensajes que ingresan a su aplicación y las salidas. Para obtener más información, consulte el registro de invocación de modelos de Amazon Bedrock. El registro de eventos de datos de CloudTrail también está disponible para Amazon Bedrock, Amazon Q y Amazon SageMaker. Para obtener orientación general, consulte Estrategias de registro para la respuesta a incidentes de seguridad.

Importante: Los registros pueden contener información confidencial. Para ayudar a proteger esta información, debe establecer el acceso con privilegios mínimos a estos registros, al igual que con sus otros registros de seguridad. También puede proteger los datos de registro confidenciales con el enmascaramiento de datos. En Amazon CloudWatch, puede enmascarar datos de forma nativa a través de políticas de protección de datos de grupos de registros.

Metodología para la respuesta a incidentes en cargas de trabajo de IA generativa

Después de completar los elementos de preparación, puede usar la Metodología para la respuesta a incidentes en cargas de trabajo de IA generativa para la respuesta activa, a fin de ayudarlo a clasificar rápidamente un evento de seguridad activo que involucre una aplicación de IA generativa.

La metodología tiene siete elementos, que detallamos en esta sección. Cada elemento describe un método por el cual los componentes pueden interactuar con otro componente o un método por el cual se puede modificar un componente. La consideración de estos elementos lo guiará durante la fase de Operaciones de un incidente de seguridad, que incluye las fases de detección, análisis, contención, erradicación y recuperación.

• Acceso: determine los patrones de acceso diseñados o previstos para la organización que aloja los componentes de la aplicación de IA generativa, y busque desviaciones u anomalías de esos patrones. Considere si la aplicación es accesible externamente o internamente, ya que eso afectará su análisis.

Para ayudarlo a identificar el acceso anómalo y potencialmente no autorizado a su entorno de AWS, puede usar Amazon GuardDuty. Si su aplicación es accesible externamente, es posible que el actor malintencionado no pueda acceder directamente a su cuenta de AWS y, por lo tanto, GuardDuty no lo detectará. La forma en que haya configurado la autenticación en su aplicación determinará cómo detecta y analiza el acceso no autorizado.

Si existe evidencia de acceso no autorizado a su cuenta de AWS o la infraestructura asociada, determine el alcance del acceso no autorizado, como los privilegios asociados y la línea de tiempo. Si el acceso no autorizado involucra credenciales de servicio, por ejemplo, credenciales de instancia de Amazon Elastic Compute Cloud (Amazon EC2), revise el servicio en busca de vulnerabilidades.

• Cambios en la infraestructura: revise la infraestructura de soporte, como servidores, bases de datos, instancias de computación sin servidor y sitios web internos o externos, para determinar si se accedió o se cambió. Para investigar los cambios en la infraestructura, puede analizar los registros de CloudTrail en busca de modificaciones de los recursos dentro del alcance, o analizar otros registros del sistema operativo o registros de acceso a la base de datos.
• Cambios en la IA: investigue si los usuarios han accedido a los componentes de la aplicación de IA generativa y si han realizado cambios en esos componentes. Busque signos de actividades no autorizadas, como la creación o eliminación de modelos personalizados, la modificación de la disponibilidad del modelo, la manipulación o eliminación de las capacidades de registro de IA generativa, la manipulación del código de la aplicación y la eliminación o modificación de las barreras de seguridad de IA generativa.
• Cambios en el almacén de datos: determine los patrones de acceso a datos diseñados o previstos, si los usuarios accedieron a los almacenes de datos de su aplicación de IA generativa y si realizaron cambios en estos almacenes de datos. También debe buscar la adición o modificación de agentes a una aplicación de IA generativa.
• Invocación: analice las invocaciones de modelos de IA generativa, incluidas las cadenas y las entradas de archivo, en busca de amenazas, como inyección inmediata o malware. Puede usar OWASP Top 10 for LLM (también conocido como modelos de lenguaje de gran tamaño) como punto de partida para comprender las amenazas relacionadas con la invocación, y puede usar registros de invocación para analizar los mensajes en busca de patrones, palabras clave o estructuras sospechosas que puedan indicar un intento de inyección por prompts. Los registros también capturan las salidas y respuestas del modelo, lo que permite el análisis de comportamiento para ayudar a identificar un comportamiento del modelo fuera de lo común o inseguro que indique un intento de inyección por prompts. Puede usar las marcas de tiempo de los registros para el análisis temporal y ayudar a detectar intentos coordinados de inyección inmediata a lo largo del tiempo, y recopilar información sobre el usuario o el sistema que inició la invocación del modelo, lo que ayudará a identificar el origen de los posibles ataques.
• Datos privados: determine si la aplicación de IA generativa dentro del alcance estaba diseñada para tener acceso a datos privados o confidenciales. Luego, busque acceso no autorizado o manipulación de esos datos.
• Agencia: la agencia se refiere a la capacidad de las aplicaciones para realizar cambios en los recursos de una organización o tomar acciones en nombre de un usuario. Por ejemplo, una aplicación de IA generativa podría estar configurada para generar contenido que luego se usa para enviar un correo electrónico, invocando otro recurso o función para hacerlo. Debe determinar si la aplicación de IA generativa tiene la capacidad de invocar otras funciones. Luego, investigue si se realizaron cambios no autorizados o si la aplicación de IA generativa invocó funciones no autorizadas.

La siguiente tabla enumera algunas preguntas para ayudarlo a abordar los siete elementos de la metodología. Use sus respuestas para guiar como va a responder a un incidente.

Conclusión

Para responder a eventos de seguridad relacionados con una carga de trabajo de IA generativa, aún debe seguir las pautas y principios descritos en la Guía de respuesta a incidentes de seguridad de AWS. Sin embargo, estas cargas de trabajo también requieren que considere algunos elementos adicionales.

Puede usar la metodología que presentamos en esta publicación para ayudarlo a abordar estos nuevos elementos en la segunda parte de esta serie. Puede hacer referencia a esta metodología cuando investigue el acceso no autorizado a la infraestructura donde el uso de aplicaciones de IA generativa es un objetivo del uso no autorizado, el mecanismo para el uso no autorizado o ambos. La metodología lo equipa con un enfoque estructurado para prepararse y responder a incidentes de seguridad que involucren cargas de trabajo de IA generativa, ayudándolo a mantener la seguridad y la integridad de estas aplicaciones críticas.

Para obtener más información sobre las mejores prácticas para diseñar su aplicación de IA generativa, consulte IA generativa para la SRA de AWS. Para obtener información sobre mitigaciones tácticas para una aplicación de IA generativa común, consulte el plano de diseño seguro y mitigación de anti patrones.

Autores

	Anna McAbee. Anna es una Arquitecta de Soluciones Especialista en Seguridad enfocada en servicios financieros, IA generativa y respuesta a incidentes en AWS. Fuera del trabajo, a Anna le gusta Taylor Swift, alentar al equipo de fútbol de los Florida Gators, probar vinos y viajar por el mundo.
	Steve De Vera. Steve es un gerente del Equipo de Respuesta a Incidentes de Clientes de AWS (CIRT). Está apasionado por el BBQ estilo estadounidense y es un juez certificado de competencia de BBQ. Tiene un perro llamado Brisket.
	AJ Evans. AJ es un Ingeniero de Seguridad del Equipo de Respuesta a Incidentes de Clientes de AWS (CIRT). Utiliza su experiencia como ex agente especial del Servicio Secreto de los Estados Unidos, donde se enfocó en delitos financieros e intrusiones de red, para proteger a los clientes de AWS. Cuando no está respondiendo a las últimas amenazas cibernéticas, AJ disfruta de los juegos, tocar música, construir PC personalizados y imprimir en 3D sus propias creaciones.

Jennifer Paz. Jennifer es una Ingeniera de Seguridad con más de una década de experiencia, actualmente en el Equipo de Respuesta a Incidentes de Clientes de AWS (CIRT). Jennifer disfruta ayudando a los clientes a abordar los desafíos de seguridad e implementar soluciones complejas para mejorar su postura de seguridad. Cuando no está trabajando, Jennifer es una ávida caminante, corredora, entusiasta del pickleball, viajera y siempre en busca de nuevas aventuras culinarias.