Generative AI Security Scoping Matrix

Dal punto di vista legale, è importante comprendere la documentazione del provider del servizio, compresi l’accordo di licenza con l’utente finale (EULA), i termini di servizio (TOS) e qualsiasi altro accordo contrattuale necessario per l’utilizzo dei servizi degli ambiti da 1 a 4. Per l’ambito 5, i team legali devono fornire i propri termini di servizio contrattuali per l’eventuale utilizzo esterno dei modelli. Inoltre, per gli ambiti 3 e 4, devi verificare sia i termini legali del provider del servizio per il relativo utilizzo, sia i termini legali del provider del modello per l’uso dello stesso all’interno del servizio.

Inoltre, devi prendere in considerazione i problemi relativi alla privacy nel caso in cui i requisiti del “diritto alla cancellazione” o “diritto all’oblio” del Regolamento generale sulla protezione dei dati (GDPR) dell’Unione europea siano applicabili all’azienda. Valuta attentamente l’impatto dell’addestramento o del fine-tuning dei modelli con dati che potrebbero dover essere eliminati su richiesta. L’unico modo pienamente efficace per rimuovere i dati da un modello è eliminarli dal set di addestramento e addestrare una nuova versione del modello. Questo processo non è pratico quando l’eliminazione riguarda una piccola parte dei dati di addestramento totali e può comportare costi molto elevati a seconda delle dimensioni del modello.

Sebbene le applicazioni basate sull’IA siano simili a quelle tradizionali, la loro interattività con modelli linguistici di grandi dimensioni (LLM) richiede maggiore vigilanza e guardrail specifici. È fondamentale identificare i rischi associati ai carichi di lavoro di IA generativa e iniziare a mitigarli.

L’identificazione può generalmente essere effettuata attraverso valutazioni dei rischi e modellazione delle minacce. Per gli ambiti 1 e 2, valuta i rischi derivanti da provider di terze parti e comprendi le loro strategie di mitigazione del rischio. Devi anche riconoscere le tue responsabilità di gestione del rischio in qualità di consumatore dei servizi.

Per gli ambiti 3, 4 e 5, devi implementare una modellazione delle minacce che affronti i rischi per la sicurezza sia dell’IA che dei dati, con particolare attenzione alle minacce uniche per gli LLM come l’iniezione di prompt, che comporta la creazione di input in grado di manipolare le risposte degli LLM, portando potenzialmente a violazioni dei dati o accessi non autorizzati. Le recenti linee guida di NIST, MITRE e OWASP identificano l’iniezione di prompt come una minaccia primaria, paragonabile ad attacchi di iniezione tradizionali come SQL. Limita questo rischio applicando autorizzazioni granulari e filtri dei dati prima che raggiungano l’LLM e utilizzando Guardrail per Amazon Bedrock per una protezione aggiuntiva.

Per affrontare le minacce emergenti relative all’IA generativa è necessario adattare le misure di sicurezza informatica tradizionali e collaborare a stretto contatto con i team di sviluppo per modellare le minacce in modo efficace e definire best practice su misura.

L’implementazione di controlli solidi è fondamentale per rispettare i requisiti di conformità, policy e sicurezza, riducendo così i rischi associati ai carichi di lavoro di IA generativa. Una delle considerazioni principali è la gestione delle identità e degli accessi ai modelli. A differenza dei database tradizionali, che offrono controlli di sicurezza granulari, per i modelli di fondazione (FM) non esiste il concetto di controllo degli accessi ai dati archiviati all’interno del modello o ai dati forniti al momento dell’inferenza. Per questo è fondamentale implementare il controllo degli accessi con privilegio minimo ai dati prima che vengano aggiunti come contesto nella richiesta di inferenza.

Per farlo, puoi utilizzare i livelli dell’applicazione che interagiscono con il modello tramite endpoint come Amazon Bedrock. Tali livelli devono incorporare soluzioni di identità come Amazon Cognito o Centro identità AWS IAM per autenticare e autorizzare gli utenti. Personalizzando l’accesso in base a ruoli, attributi e community di utenti, puoi limitare azioni specifiche e contribuire a garantire la protezione dei dati sensibili.

Inoltre, con l’evoluzione dei carichi di lavoro di IA, è importante valutare e aggiornare continuamente i controlli per adattarli alle nuove minacce e ai cambiamenti di sensibilità dei dati. L’integrazione di tecniche avanzate, come la generazione potenziata da recupero dati (RAG), può consentire di fornire dati in tempo reale senza compromettere l’integrità del modello. Queste strategie, unite alla modellazione continua delle minacce, aiutano a mantenere un ambiente sicuro e conforme per le applicazioni di IA generativa. 

La disponibilità è un aspetto fondamentale della sicurezza, come indicato dalla triade C.I.A. (confidenzialità, integrità, disponibilità). Lo sviluppo di applicazioni resilienti è essenziale per soddisfare i requisiti di disponibilità e continuità aziendale dell’organizzazione. Per gli ambiti 1 e 2, devi comprendere se la disponibilità del provider è in linea con le esigenze e le aspettative dell’organizzazione. Valuta attentamente quali conseguenze potrebbero avere per l’azienda le interruzioni nel caso in cui il modello, l’API o il livello di presentazione sottostanti dovessero non essere disponibili. Inoltre, considera come prompt e completamenti complessi potrebbero influire sulle quote di utilizzo o quale impatto potrebbe avere l’applicazione sulla fatturazione.

Per gli ambiti 3, 4 e 5, devi assicurarti di impostare timeout adeguati per tenere conto di prompt e completamenti complessi. Potresti anche dover esaminare la dimensione dell’input dei prompt per tenere in considerazione i limiti di caratteri allocati definiti dal modello. Valuta anche le best practice esistenti per design resilienti come backoff e tentativi e modelli con interruttore automatico per ottenere l’esperienza utente desiderata. Con l’utilizzo dei database vettoriali, è consigliabile disporre di una configurazione a elevata disponibilità e di un piano di disaster recovery per mantenere la resilienza contro diverse modalità di errore.

La flessibilità delle istanze per le pipeline di inferenza e di addestramento dei modelli è una considerazione architettonica importante, oltre alla potenziale prenotazione o provisioning anticipato di calcolo per carichi di lavoro altamente critici. Con l’utilizzo di servizi gestiti come Amazon Bedrock o SageMaker, è necessario verificare la disponibilità delle Regioni AWS e la parità di funzionalità per l’adozione di una strategia di implementazione multi-Regione. Allo stesso modo, per il supporto multi-Regione dei carichi di lavoro di ambito 4 e 5, è necessario tenere conto della disponibilità dei dati di fine-tuning o addestramento in tutte le Regioni. Se utilizzi SageMaker per addestrare un modello di ambito 5, usa i checkpoint per salvare i progressi durante l’addestramento del modello. In questo modo, potrai riprendere l’addestramento dall’ultimo checkpoint salvato, se necessario.

Assicurati di rivedere e implementare le best practice di resilienza delle applicazioni definiti nell’ AWS Resilience Hub, nel principio di affidabilità e nel principio dell’eccellenza operativa del Framework Well-Architected.