- IA generativa›
- Seguridad›
- Matriz de ámbito de la seguridad de IA
Matriz de ámbito de la seguridad de IA generativa
Información general
A medida que las organizaciones adoptan cada vez más tecnologías de inteligencia artificial generativa (IA generativa), resulta fundamental comprender las implicaciones en materia de seguridad. Las disciplinas de seguridad centrales, como la administración de identidades y accesos, la protección de datos, la privacidad y el cumplimiento, la seguridad de las aplicaciones y el modelado de amenazas aún son de vital importancia para las cargas de trabajo de IA generativa, al igual que para cualquier otra carga de trabajo. No obstante, más allá de insistir en las prácticas de seguridad habituales, es fundamental comprender los riesgos únicos y las consideraciones de seguridad adicionales que plantean las cargas de trabajo de IA generativa.
La matriz de ámbito de la seguridad de IA generativa es un marco integral diseñado para ayudar a las organizaciones a evaluar e implementar controles de seguridad a lo largo del ciclo de vida de la IA. Desglosa las consideraciones de seguridad en categorías específicas, con lo que permite un enfoque centrado en proteger las aplicaciones de IA.
Matriz de ámbito de la seguridad de IA generativa
Un modelo mental para clasificar los casos de uso
Determinación del ámbito
El primer paso consiste en determinar qué ámbito es adecuado según el caso de uso. Los ámbitos se numeran del uno al cinco, en función del grado de propiedad que tendrá su organización sobre el modelo de IA y los datos asociados.
Su organización consume un servicio de IA generativa público de terceros, ya sea gratuito o de pago. Por lo general, se trata de aplicaciones «de calidad de consumidor» y es posible que no estén concebidas para uso empresarial o comercial. En este ámbito no se poseen ni se ven los datos de entrenamiento ni el modelo, y tampoco se pueden modificar ni aumentar. Se invocan las API o se utiliza directamente la aplicación de acuerdo con los términos de servicio del proveedor.
Ejemplo: Un empleado interactúa con una aplicación de chat de IA generativa a través de un sitio web público para generar ideas para una próxima campaña de marketing.
Su organización utiliza una aplicación empresarial de terceros que cuenta con características de IA generativa integradas, y se establece una relación comercial entre su organización y el proveedor. Las aplicaciones del segundo ámbito con frecuencia tienen términos y condiciones destinados a los clientes empresariales, diseñados para ofrecer protecciones adicionales.
Ejemplo: Utiliza una aplicación de planificación empresarial de terceros que cuenta con una capacidad de IA generativa integrada que ayuda a redactar los órdenes del día de las reuniones.
Su organización crea una aplicación propia a partir de un modelo fundacional (FM) existente de IA generativa de terceros. Se integra directamente en su carga de trabajo a través de una interfaz de programación de aplicaciones (API).
Ejemplo: Crea un chatbot de atención al cliente que integra sus propios datos mediante la generación aumentada por recuperación (RAG) y aprovecha el FM Claude de Anthropic a través de las API de Amazon Bedrock.
Su organización perfecciona un FM de IA generativa de terceros existente al refinarlo con datos específicos de la empresa, lo que genera un modelo nuevo y mejorado especializado en su carga de trabajo.
Ejemplo: Necesita un modelo con profundos conocimientos médicos para resumir las historias clínicas de los pacientes en un sistema de historias clínicas electrónicas. Se puede utilizar el refinamiento para alinear la salida del sistema con el estilo que esperan los médicos y entrenar al sistema en la terminología específica del campo.
Su organización crea y entrena un modelo de IA generativa desde cero con datos propios o adquiridos. Tendrá la propiedad de todos los aspectos del modelo.
Ejemplo: Su organización tiene como objetivo crear un modelo para generar contenidos de vídeo de alta calidad, como la creación de una solución personalizada para la interpolación de vídeo en cámara superlenta. Al entrenar un modelo con datos de vídeo especializados, puede conceder licencias de esta avanzada tecnología de creación de vídeo a empresas del sector de los medios de comunicación y el entretenimiento.
Qué priorizar
Se ha definido el ámbito de la carga de trabajo y ahora es necesario que su empresa pueda avanzar con rapidez y seguridad. En la matriz de ámbito de la seguridad de IA generativa, identificamos cinco disciplinas de seguridad que abarcan los diferentes tipos de soluciones de IA generativa.
- Gobernanza y cumplimiento: las políticas, los procedimientos y los informes necesarios para fortalecer la empresa a la vez que se minimizan los riesgos.
- Aspectos jurídicos y de privacidad: los requisitos normativos, jurídicos y de privacidad específicos para utilizar o crear soluciones de IA generativa.
- Gestión de riesgos: identificación de amenazas potenciales para las soluciones de IA generativa y mitigaciones recomendadas.
- Controles: la implementación de controles de seguridad que se utilizan para mitigar el riesgo.
- Resiliencia: cómo diseñar soluciones de IA generativa para mantener la disponibilidad y cumplir los acuerdos de nivel de servicio (SLA) empresariales.
A continuación, veremos algunos ejemplos de oportunidades que debería priorizar.
Consideraciones de seguridad de los ámbitos
Gobernanza y cumplimiento
Al administrar el primer y segundo ámbito, es crucial cumplir con los términos de servicio, los acuerdos de licencia y los requisitos de soberanía de los datos. En el caso de las aplicaciones del primer ámbito, priorice el uso de datos públicos y no patentados, ya que los proveedores de servicios pueden usar los datos enviados para mejorar sus modelos o servicios. Las aplicaciones del segundo ámbito deben desarrollarse con controles sólidos, protecciones contractuales y opciones de exclusión voluntaria para proteger los datos patentados y confidenciales de su organización, lo que garantiza que no se utilicen para el entrenamiento ni la mejora de modelos. Estas aplicaciones suelen estar diseñadas para casos de uso empresariales.
Para las tareas que pueden ser exclusivas de su organización o de las necesidades de sus clientes, como resumir datos empresariales patentados o confidenciales, generar información única o automatizar los procesos internos, es posible que deba crear su propia aplicación que abarque del tercer al quinto ámbito. Estos ámbitos permiten el uso de sus datos en el entrenamiento y el refinamiento o como salida del modelo. Por ejemplo, aunque no esté refinando ni entrenando sus datos para los modelos de lenguaje de gran tamaño (LLM) del tercer ámbito, puede seguir utilizando la RAG y las características Bases de conocimiento y Agentes para mejorar las respuestas del modelo y las acciones contextuales sin refinar el modelo.
En el cuarto y quinto ámbito, entrene su modelo con datos específicos del dominio y evite incluir datos confidenciales, como la información de identificación personal (PII). Asegúrese de que el modelo resultante se clasifique con el nivel más alto de confidencialidad de datos utilizado durante el entrenamiento. El acceso para ejecutar tareas de inferencia en el modelo debe restringirse a los usuarios autorizados para ese nivel de clasificación. Para datos como la PII o los transaccionales que cambian con frecuencia, considere la posibilidad de volver a añadirlos durante la inferencia mediante los flujos de trabajo basados en agentes o la RAG, en lugar de incorporarlos al propio modelo.
Aspectos jurídicos y de privacidad
Desde una perspectiva legal, es importante entender tanto el acuerdo de licencia de usuario final como los términos de servicio del proveedor de servicios y cualquier otro acuerdo contractual necesario para usar su servicio en los cuatro primeros ámbitos. En el caso del quinto ámbito, sus equipos jurídicos deben proporcionar sus propios términos de servicio contractuales para cualquier uso externo de sus modelos. Además, para el tercer y cuarto ámbito, asegúrese de validar tanto los términos legales del proveedor de servicios para usar su servicio como los términos legales del proveedor del modelo para usar su modelo en ese servicio.
Además, tenga en cuenta los problemas de privacidad si los requisitos del «derecho de supresión» o «derecho al olvido» del Reglamento General de Protección de Datos (RGPD) de la Unión Europea se aplican a su empresa. Considere detenidamente el impacto de entrenar o refinar sus modelos con datos que podría tener que eliminar si se le solicita. La única forma totalmente eficaz de eliminar datos de un modelo consiste en eliminar los datos del conjunto de entrenamiento y entrenar una nueva versión del modelo. Esto no es práctico cuando la eliminación de datos es una fracción del total de datos de entrenamiento y puede resultar muy costoso según el tamaño del modelo.
Gestión de riesgos
Si bien las aplicaciones con IA se parecen a las tradicionales, su naturaleza interactiva con los LLM exige una vigilancia adicional y barreras de protección específicas. Es crucial identificar los riesgos asociados a las cargas de trabajo de IA generativa y empezar a mitigarlos.
Por lo general, la identificación de riesgos se puede llevar a cabo mediante evaluaciones de riesgos y modelado de amenazas. En el caso del primer y segundo ámbito, evalúe los riesgos derivados de los proveedores de terceros y comprenda sus estrategias de mitigación de riesgos. También debe reconocer sus propias responsabilidades en materia de gestión de riesgos como consumidor de servicios.
En el tercer, cuarto y quinto ámbito, implemente una estrategia de modelado de amenazas que aborde los riesgos de seguridad de la IA y de los datos y céntrese en las amenazas únicas de los LLM, como la inyección de peticiones. Esto implica la elaboración de peticiones que puedan manipular las respuestas de los LLM, lo que podría provocar filtraciones de datos o accesos no autorizados. En las directrices recientes del Instituto Nacional de Estándares y Tecnología, MITRE y OWASP se identifica la inyección de peticiones como una amenaza principal, comparable a los ataques de inyección tradicionales, como los de SQL. Para mitigar este riesgo, aplique una autorización y un filtrado de datos detallados antes de que lleguen al LLM, y utilice la característica Barreras de protección para Bedrock para obtener una protección adicional.
Las amenazas emergentes en el ámbito de la IA generativa requieren la adaptación de las medidas de ciberseguridad tradicionales y una colaboración estrecha con los equipos de desarrollo para modelar las amenazas de forma eficaz y establecer prácticas recomendadas personalizadas.
Controles
La implementación de controles sólidos es fundamental para garantizar el cumplimiento de los requisitos normativos, de políticas y de seguridad y, de esta forma, mitigar los riesgos asociados a las cargas de trabajo de IA generativa. Una de las consideraciones clave es quién accede a los modelos y con qué permisos. A diferencia de las bases de datos tradicionales que ofrecen controles de seguridad detallados, los FM carecen de mecanismos de control de acceso tanto para los datos almacenados en el modelo como para los que se utilizan el momento de la inferencia. Esto hace que sea esencial implementar un control de acceso con privilegios mínimos a los datos antes de añadirlos como contexto a la solicitud de inferencia.
Para lograrlo, puede aprovechar las capas de aplicaciones que interactúan con el modelo a través de puntos de enlace como Amazon Bedrock. Estas capas deben incorporar soluciones de identidad como Amazon Cognito o AWS IAM Identity Center para autenticar y autorizar a los usuarios. Al adaptar el acceso en función de los roles, los atributos y las comunidades de usuarios, puede limitar las acciones específicas y ayudar a garantizar la protección de los datos confidenciales.
Además, a medida que evolucionan sus cargas de trabajo de IA, es importante evaluar y actualizar de forma continua los controles para adaptarse a las nuevas amenazas y los cambios en la confidencialidad de los datos. La incorporación de técnicas avanzadas como la RAG puede permitirle proporcionar datos en tiempo real sin comprometer la integridad del modelo. Estas estrategias, combinadas con el modelado continuo de amenazas, ayudan a mantener un entorno seguro y conforme para sus aplicaciones de IA generativa.
Resiliencia
En el tercer, cuarto y quinto ámbito, asegúrese de establecer los tiempos de espera adecuados para tener en cuenta las peticiones y las finalizaciones complejas. Es posible que también desee ver el tamaño de entrada de las peticiones para los límites de caracteres asignados que define su modelo. Tenga en cuenta también las prácticas recomendadas existentes para los diseños resilientes, como el retroceso y los reintentos y los patrones de interrupción de circuitos, para lograr la experiencia de usuario deseada. Cuando se utilizan bases de datos vectoriales, se recomienda contar con una configuración de alta disponibilidad y un plan de recuperación ante desastres para ser resiliente frente a diferentes modos de error.
La flexibilidad de las instancias para las canalizaciones de entrenamiento de modelos e inferencia son consideraciones arquitectónicas importantes, además de la posibilidad de reservar o aprovisionar previamente recursos de computación para cargas de trabajo muy críticas. Al utilizar servicios administrados como Amazon Bedrock o SageMaker, debe validar la disponibilidad regional de AWS y la paridad de características al implementar una estrategia de despliegue multirregional. Del mismo modo, para la compatibilidad multirregional de las cargas de trabajo del cuarto y quinto ámbito, debe tener en cuenta la disponibilidad de sus datos de entrenamiento o refinamiento en todas las regiones. Si utiliza SageMaker para entrenar un modelo en el quinto ámbito, utilice puntos de control para guardar el progreso mientras entrena el modelo. Esto le permitirá reanudar el entrenamiento desde el último punto de control guardado si es necesario.
Asegúrese de revisar e implementar las prácticas recomendadas existentes en materia de resiliencia de aplicaciones que se establecen en AWS Resilience Hub y en el pilar de fiabilidad y el pilar de excelencia operativa de Well-Architected Framework.