- IA generativa›
- Segurança›
- Matriz de escopos de segurança de IA
Matriz de escopos de segurança da IA generativa
Visão geral
À medida que as organizações adotam cada vez mais tecnologias de IA generativa, entender as implicações de segurança torna-se crucial. As principais disciplinas de segurança, como gerenciamento de identidade e acesso, proteção de dados, privacidade e conformidade, segurança de aplicações e modelagem de ameaças, ainda são extremamente importantes para workloads de IA generativa, assim como para qualquer outra workload. Mas, além de enfatizar práticas de segurança de longa data, é crucial entender os riscos exclusivos e as considerações adicionais de segurança que as workloads de IA generativa trazem.
A Matriz de escopos de segurança da IA generativa é um framework abrangente projetado para ajudar as organizações a avaliar e implementar controles de segurança em todo o ciclo de vida da IA. Ela divide as considerações de segurança em categorias específicas, permitindo uma abordagem focada na proteção de aplicações de IA.
Matriz de escopos de segurança da IA generativa
Um modelo mental para classificar casos de uso
Como determinar o escopo
A primeira etapa é determinar em qual escopo seu caso de uso se encaixa. Os escopos são numerados de 1 a 5, representando uma escala de menor a maior propriedade que sua organização tem sobre o modelo de IA e seus dados associados.
Sua organização consome um serviço público de IA generativa de terceiros, seja pago ou não. Geralmente, essas são aplicações “voltadas para o consumidor” e podem não ser concebidas para uso empresarial ou comercial. Nesse escopo, você não possui nem vê os dados de treinamento ou o modelo e não pode modificá-los ou aumentá-los. Você invoca APIs ou usa diretamente a aplicação de acordo com os termos de serviço do provedor.
Exemplo: um funcionário interage com uma aplicação de chat de IA generativa por meio de um site público para gerar ideias para uma futura campanha de marketing.
Sua organização usa uma aplicação empresarial de terceiros que tem recursos de IA generativa incorporados, e uma relação comercial é estabelecida entre sua organização e o fornecedor. As aplicações do escopo 2 geralmente têm termos e condições voltados para clientes empresariais, projetados para oferecer proteções adicionais.
Exemplo: você usa uma aplicação empresarial de agendamento de terceiros que tem um recurso de IA generativa incorporado para ajudar a redigir pautas de reuniões.
Sua organização cria sua própria aplicação usando um modelo de base de IA generativa de terceiros existente. Você o integra diretamente à sua workload por meio de uma interface de programação de aplicações (API).
Exemplo: você cria um chatbot de suporte ao cliente que integra seus próprios dados usando geração aumentada via recuperação (RAG) e aproveita o modelo de base Claude da Anthropic por meio das APIs do Amazon Bedrock.
Sua organização refina um modelo de base de IA generativa de terceiros existente, ajustando-o com dados específicos de sua empresa, gerando um modelo novo e aprimorado especializado em sua workload.
Exemplo: você precisa de um modelo com profundo conhecimento médico para resumir os registros dos pacientes em um sistema de Registro eletrônico de saúde (EHR). O ajuste pode ser usado para alinhar a saída do sistema para corresponder ao estilo esperado pelos médicos e fornecer treinamento ao sistema na terminologia específica do domínio.
Sua organização cria e treina um modelo de IA generativa do zero usando dados que você possui ou adquire. Você é proprietário de todos os aspectos do modelo.
Exemplo: sua organização pretende criar um modelo para gerar conteúdo de vídeo de alta qualidade, como criar uma solução personalizada para interpolação de vídeo em câmera superlenta. Ao treinar um modelo em dados de vídeo especializados, você pode licenciar essa tecnologia avançada de criação de vídeo para empresas do setor de mídia e entretenimento.
O que priorizar
Sua workload tem um escopo definido e agora você precisa permitir que sua empresa avance com rapidez, porém com segurança. Na Matriz de escopo de segurança da IA generativa, identificamos cinco disciplinas de segurança que abrangem os diferentes tipos de soluções de IA generativa.
- Governança e conformidade: as políticas, os procedimentos e os relatórios necessários para capacitar a empresa e, ao mesmo tempo, minimizar os riscos.
- Jurídico e privacidade: os requisitos regulatórios, jurídicos e de privacidade específicos para usar ou criar soluções de IA generativa.
- Gerenciamento de riscos: identificação de possíveis ameaças às soluções de IA generativa e as mitigações recomendadas.
- Controles: a implementação de controles de segurança usados para mitigar riscos.
- Resiliência: como arquitetar soluções de IA generativa para manter a disponibilidade e atender aos SLAs da empresa.
Vamos explorar alguns exemplos de oportunidades que você deve priorizar.
Considerações de segurança entre todos os escopos
Governança e conformidade
Ao gerenciar os Escopos 1 e 2, é fundamental estar em conformidade com termos de serviços, contratos de licença e requisitos de soberania de dados. Para aplicações de Escopo 1, priorize o uso de dados públicos e não exclusivos, pois os prestadores de serviços podem usar os dados enviados para aprimorar seus modelos ou serviços. As aplicações de Escopo 2 devem ser desenvolvidas com controles robustos, proteções contratuais e opções de exclusão para proteger os dados exclusivos e sensíveis da sua organização, garantindo que não sejam utilizados para treinamento ou aprimoramento de modelos. Essas aplicações são normalmente adaptadas para casos de uso empresarial.
Para tarefas que podem ser exclusivas da sua organização ou das necessidades dos seus clientes, como resumir dados comerciais internos ou confidenciais, gerar insights exclusivos ou automatizar processos internos, talvez seja necessário criar sua própria aplicação a partir dos Escopos 3 a 5. Esses escopos permitem o uso dos dados em treinamentos, ajustes finos ou como saída gerada de modelos. Por exemplo, mesmo que você não esteja ajustando ou treinando seus dados em LLMs de Escopo 3, ainda é possível usar a Geração aumentada via recuperação (RAG), Bases de conhecimento e Agentes para aprimorar as respostas do modelo e as ações contextuais sem ajustar o modelo.
Nos Escopos 4 e 5, treine seu modelo com dados específicos do domínio, evitando dados sensíveis, como PII. Certifique-se de que o modelo resultante seja classificado no nível mais alto de sensibilidade de dados usado durante o treinamento. O acesso para executar inferências no modelo deve ser restrito aos usuários autorizados para esse nível de classificação. Para dados como PII ou dados transacionais que mudam com frequência, considere adicioná-los novamente durante a inferência usando geração aumentada via recuperação (RAG) ou fluxos de trabalho baseados em agentes, em vez de incorporá-los ao próprio modelo.
Jurídico e privacidade
Do ponto de vista jurídico, é importante compreender o contrato de licença de usuário final (EULA) do provedor de serviços, os termos de serviço (TOS) e quaisquer outros acordos contratuais necessários para utilizar seus serviços nos Escopos de 1 a 4. Para o Escopo 5, suas equipes jurídicas devem fornecer seus próprios termos contratuais de serviço para qualquer uso externo dos seus modelos. Além disso, para o Escopo 3 e o Escopo 4, certifique-se de validar tanto os termos jurídicos do provedor de serviços para o uso dos seus serviços quanto os termos jurídicos do provedor do modelo para o uso do seu modelo dentro desses serviços.
Além disso, considere as questões de privacidade se os requisitos do “direito ao apagamento” ou “direito ao esquecimento” do Regulamento Geral sobre a Proteção de Dados (RGPD) da União Europeia forem aplicáveis aos seus negócios. Considere cuidadosamente o impacto do treinamento ou ajuste fino dos seus modelos com dados que talvez você precise excluir mediante solicitação. A única maneira totalmente eficaz de remover dados de um modelo é excluí-los do conjunto de treinamento e treinar uma nova versão do modelo. Isso não é prático quando a exclusão dos dados é uma fração do total dos dados de treinamento, podendo representar um custo elevado, dependendo do tamanho do seu modelo.
Gerenciamento de riscos
Embora as aplicações habilitadas para IA se assemelhem às tradicionais, sua natureza interativa com grandes modelos de linguagem (LLMs) exige vigilância extra e barreiras de proteção específicas. É fundamental identificar os riscos associados às workloads de IA generativa e começar a atenuá-los.
A identificação de riscos geralmente pode ser feita por meio de avaliações de risco e modelagem de ameaças. Para os Escopos 1 e 2, avalie os riscos decorrentes de fornecedores terceirizados e compreenda suas estratégias de atenuação de riscos. Cabe a você também reconhecer suas responsabilidades em relação ao gerenciamento de riscos como consumidor de serviços.
Para os Escopos 3, 4 e 5, implemente uma modelagem de ameaças que aborde os riscos de segurança da IA e dos dados, com foco em ameaças exclusivas de LLMs, como injeção de prompts. Isso envolve criar entradas que possam manipular as respostas do LLM, podendo levar a violações de dados ou a acessar de forma não autorizada. Orientações recentes do NIST, MITRE e OWASP identificam a injeção de prompts como uma ameaça primária, comparável aos ataques de injeção tradicionais, como o SQL. Reduza esses riscos aplicando autorizações detalhadas e filtragem de dados antes que eles cheguem ao LLM e use o Bedrock Guardrails para proteção adicional.
As ameaças emergentes na IA generativa necessitam da adaptação das medidas tradicionais de segurança cibernética e de uma colaboração estreita com as equipes de desenvolvimento para modelar eficazmente as ameaças e estabelecer práticas recomendadas personalizadas.
Controles
A implementação de controles robustos é crucial para garantir a conformidade, as políticas e os requisitos de segurança, reduzindo assim os riscos associados a workloads de IA generativa. Uma das principais considerações é gerenciar a identidade e o acesso aos seus modelos. Ao contrário dos bancos de dados tradicionais, que oferecem controles de segurança refinados, os modelos de base não possuem o conceito de controlar quem pode acessar os dados armazenados no modelo ou os dados fornecidos no momento da inferência. Isso torna essencial implementar um controle de acesso com privilégios mínimos para acessar os dados antes que eles sejam adicionados como contexto à solicitação de inferência.
Para isso, você pode aproveitar camadas de aplicações que interagem com o modelo por meio de endpoint como o Amazon Bedrock. Essas camadas devem incorporar soluções de identidade, como o Amazon Cognito ou o Centro de Identidade do AWS IAM, para autenticar e autorizar usuários. Ao personalizar o acesso com base em perfis, atributos e comunidades de usuários, você pode limitar ações específicas e ajudar a garantir que dados sensíveis sejam protegidos.
Além disso, à medida que suas workloads de IA evoluem, é importante avaliar e atualizar continuamente seus controles para se adaptar a novas ameaças e mudanças na sensibilidade dos dados. A incorporação de técnicas avançadas, como a geração aumentada via recuperação (RAG), permite fornecer dados em tempo real sem comprometer a integridade do modelo. Essas estratégias, combinadas com a modelagem contínua de ameaças, ajudam a manter um ambiente seguro e em conformidade para suas aplicações de IA generativa.
Resiliência
Para os Escopos 3, 4 e 5, certifique-se de definir tempos limite adequados para levar em conta prompts e conclusões complexas. Você também pode verificar o tamanho da entrada do prompt para os limites de caracteres alocados definidos pelo seu modelo. Considere também as práticas recomendadas existentes para projetos resilientes, como retrocesso e novas tentativas e padrões de disjuntor, para alcançar a experiência do usuário desejada. Ao usar bancos de dados de vetores, recomenda-se ter uma configuração de alta disponibilidade e um plano de recuperação de desastres para garantir resiliência contra diferentes modos de falha.
A flexibilidade da instância para pipelines de modelos de inferência e treinamento são considerações arquitetônicas importantes, além da reserva ou pré-provisionamento potencial de computação para workloads altamente críticas. Ao usar serviços gerenciados, como o Amazon Bedrock ou o SageMaker, você deve validar a disponibilidade da Região da AWS e a paridade de recursos ao implementar uma estratégia de implantação em várias regiões. Da mesma forma, para suporte de várias regiões para workloads de Escopo 4 e 5, você deve levar em consideração a disponibilidade dos seus dados de ajuste fino ou treinamento nas regiões. Se você usar o SageMaker para treinar um modelo no Escopo 5, use pontos de verificação para salvar o progresso ao treinar seu modelo. Isso permitirá retomar o treinamento a partir do último ponto de verificação salvo, se necessário.
Certifique-se de revisar e implementar as práticas recomendadas de resiliência de aplicações existentes estabelecidas no Hub de Resiliência da AWS e nos Pilares de Confiabilidade e Excelência Operacional do Well Architected Framework.