Überspringen zum Hauptinhalt

KI

Matrix für Sicherheitsbereiche für generative KI

Übersicht

Angesichts des zunehmenden Einsatzes generativer KI-Technologien durch Unternehmen ist es extrem wichtig, die sicherheitsbezogenen Folgen zu verstehen. Zentrale Sicherheitsdisziplinen wie Identitäts- und Zugriffsmanagement, Datensicherheit, Datenschutz und Compliance, Anwendungssicherheit und Bedrohungsmodellierung sind für Workloads der generativen KI nach wie vor von entscheidender Bedeutung – genau wie für alle anderen Workloads. Neben der Betonung altbewährter Sicherheitspraktiken ist es jedoch unerlässlich, die besonderen Risiken und zusätzlichen Sicherheitsaspekte zu verstehen, die Workloads der generativen KI mit sich bringen.

Die Matrix für Sicherheitsbereiche für generative KI ist ein umfassendes Framework, das Unternehmen bei der Bewertung und Implementierung von Sicherheitskontrollen während des gesamten KI-Lebenszyklus unterstützen soll. Die Matrix unterteilt Sicherheitsaspekte in bestimmte Kategorien und ermöglicht so einen gezielten Ansatz zur Absicherung von KI-Anwendungen.
 

Matrix für Sicherheitsbereiche für generative KI

Ein mentales Modell zur Klassifizierung von Anwendungsfällen

Eigenen Bereich bestimmen

Als ersten Schritt ermitteln Sie, in welchen Bereich Ihr Anwendungsfall passt. Die Bereiche sind von 1 bis 5 nummeriert und geben wieder, in welchem Maß das KI-Modell und die entsprechenden Daten Ihrem Unternehmen gehören.

Ihr Unternehmen nutzt den öffentlichen generativen KI-Service eines Drittanbieters, der entweder kostenlos oder kostenpflichtig ist. Dabei handelt es sich häufig um „verbrauchertaugliche“ Anwendungen, die unter Umständen nicht für geschäftliche oder kommerzielle Zwecke gedacht sind. In diesem Bereich besitzen Sie weder die Trainingsdaten noch das Modell und können die Daten und das Modell nicht einsehen. Zudem können Sie das Modell nicht ändern oder erweitern. Sie rufen APIs auf oder verwenden die Anwendung direkt gemäß den Nutzungsbedingungen des Anbieters.

Beispiel: Ein Mitarbeiter interagiert über eine öffentliche Website mit einer generativen KI-Chat-Anwendung, um Ideen für eine bevorstehende Marketingkampagne zu entwickeln.
 

Ihr Unternehmen nutzt die Unternehmensanwendung eines Drittanbieters, in die generative KI-Funktionen eingebettet sind, und es besteht eine Geschäftsbeziehung zwischen Ihrem Unternehmen und dem Anbieter. Für Anwendungen aus dem Bereich 2 gelten häufig allgemeine Geschäftsbedingungen, die sich an Unternehmenskunden richten und zusätzlichen Schutz bieten sollen.

Beispiel: Sie nutzen die Anwendung zur Unternehmensplanung eines Drittanbieters, in die eine generative KI-Funktion eingebettet ist, die die Erstellung von Tagesordnungen für Besprechungen unterstützt.
 

Ihr Unternehmen entwickelt mithilfe des vorhandenen generativen KI-Basismodells eines Drittanbieters eine eigene Anwendung. Sie integrieren das Modell über eine Anwendungsprogrammierschnittstelle (API) direkt in Ihre Workload.

Beispiel: Sie erstellen einen Chatbot für den Kundensupport, der Ihre eigenen Daten mithilfe von Retrieval-Augmented Generation (RAG) integriert und das Anthropic-Claude-Basismodell über Amazon-Bedrock-APIs nutzt.
 

Ihr Unternehmen optimiert das vorhandene generative KI-Basismodell eines Drittanbieters, indem es das Modell mit eigenen Unternehmensdaten feinabstimmt und ein neues, verbessertes Modell generiert, das speziell für Ihre Workload ausgelegt ist.

Beispiel: Sie benötigen ein Modell mit fundiertem medizinischem Fachwissen, um Patientendaten in einem elektronischen Patientenaktensystem zusammenzufassen. Mithilfe der Feinabstimmung kann die Ausgabe des Systems an den von Ärzten erwarteten Stil angepasst und das System in fachspezifischer Terminologie trainiert werden.
 

Ihr Unternehmen erstellt und trainiert mit eigenen oder erworbenen Daten ein generatives KI-Modell von Grund auf. Sie sind dabei für alle Aspekte des Modells zuständig.

Beispiel: Ihr Unternehmen möchte ein Modell für die Erstellung hochwertiger Videoinhalte entwickeln, z. B. eine maßgeschneiderte Lösung für die Interpolation von Superzeitlupen-Videos. Indem Sie ein Modell mit speziellen Videodaten trainieren, können Sie diese moderne Technologie zur Videoerstellung für Unternehmen aus der Medien- und Unterhaltungsbranche lizenzieren.
 

Was zu priorisieren ist

Nachdem der Bereich Ihrer Workload festgelegt ist, müssen Sie Ihr Unternehmen in die Lage versetzen, schnell und sicher zu handeln. In der Matrix für Sicherheitsbereiche für generative KI nennen wir 5 Sicherheitsdisziplinen, die die verschiedenen Arten generativer KI-Lösungen umfassen.

  • Governance und Compliance: Die notwendigen Richtlinien, Verfahren und Berichte zur Stärkung des Unternehmens bei gleichzeitiger Minimierung von Risiken.
  • Rechtliches und Datenschutz: Die spezifischen regulatorischen, rechtlichen und datenschutzrechtlichen Anforderungen für die Nutzung oder Entwicklung generativer KI-Lösungen.
  • Risikomanagement: Die Ermittlung möglicher Bedrohungen für generative KI-Lösungen und empfohlene Abhilfemaßnahmen.
  • Kontrollen: Die Implementierung von Sicherheitskontrollen zur Minderung von Risiken.
  • Resilienz: Die Vorgehensweise zur Entwicklung generativer KI-Lösungen, um die Verfügbarkeit aufrechtzuerhalten und geschäftliche SLAs einzuhalten.

Sehen wir uns einige Beispiele für mögliche Aspekte an, die Sie priorisieren sollten.

Sicherheitsüberlegungen für alle Bereiche

Governance und Compliance

Bei der Verwaltung der Bereiche 1 und 2 ist es von entscheidender Bedeutung, die Nutzungsbedingungen, Lizenzvereinbarungen und Anforderungen an die Datensouveränität einzuhalten. Bei Anwendungen im Bereich 1 sollte die Verwendung öffentlicher, nicht geschützter Daten priorisiert werden, da Serviceanbieter die übermittelten Daten zur Verbesserung ihrer Modelle oder Service nutzen könnten. Anwendungen im Bereich 2 sollten mit robusten Kontrollen, vertraglichen Schutzmaßnahmen und Opt-out-Optionen entwickelt werden, um die geschützten und sensiblen Daten Ihres Unternehmens zu schützen und sicherzustellen, dass sie nicht für das Training oder die Verbesserung von Modellen verwendet werden. Diese Anwendungen sind in der Regel auf Anwendungsfälle in Unternehmen zugeschnitten.

Für Aufgaben, die möglicherweise einzigartig für Ihr Unternehmen oder die Bedürfnisse Ihrer Kunden sind, wie z. B. die Zusammenfassung geschützter oder sensibler Geschäftsdaten, die Generierung einzigartiger Erkenntnisse oder die Automatisierung interner Prozesse, müssen Sie möglicherweise Ihre eigene Anwendung in den Bereichen 3 bis 5 erstellen. Diese Bereiche ermöglichen die Verwendung Ihrer Daten für das Training, die Feinabstimmung oder als Modellausgabe. Auch wenn Sie Ihre Daten nicht in LLMs des Bereichs 3 feinabstimmen oder trainieren, können Sie beispielsweise Retrieval Augmented Generation (RAG), Wissensdatenbanken und Agenten verwenden, um die Modellantworten und kontextbezogenen Aktionen zu verbessern, ohne das Modell feinabstimmen zu müssen.

Trainieren Sie Ihr Modell in den Bereichen 4 und 5 mit domänenspezifischen Daten und vermeiden Sie dabei sensible Daten wie personenbezogene Daten. Stellen Sie sicher, dass das resultierende Modell auf der höchsten Stufe der während des Trainings verwendeten Datenempfindlichkeit klassifiziert ist. Der Zugriff auf die Ausführung von Inferenz auf dem Modell sollte auf Benutzer beschränkt sein, die für diese Klassifizierungsstufe autorisiert sind. Bei Daten wie PII oder sich häufig ändernden Transaktionsdaten sollten Sie in Betracht ziehen, diese während der Inferenz mithilfe von Retrieval Augmented Generation (RAG) oder agentenbasierten Workflows wieder hinzuzufügen, anstatt sie in das Modell selbst zu integrieren.

Rechtliches und Datenschutz

Aus rechtlicher Sicht ist es wichtig, sowohl die Endbenutzer-Lizenzvereinbarung (EULA) und die Nutzungsbedingungen (TOS) des Serviceanbieters als auch alle anderen vertraglichen Vereinbarungen zu verstehen, die für die Nutzung seines Services in den Bereichen 1 bis 4 erforderlich sind. Für Bereich 5 sollten Ihre Rechtsabteilungen eigene vertragliche Nutzungsbedingungen für jede externe Nutzung Ihrer Modelle bereitstellen. Achten Sie außerdem darauf, für die Bereiche 3 und 4 sowohl die rechtlichen Bedingungen des Serviceanbieters für die Nutzung seines Services als auch die rechtlichen Bedingungen des Modellanbieters für die Nutzung seines Modells innerhalb dieses Services zu überprüfen.

Berücksichtigen Sie darüber hinaus die Datenschutzbelange, wenn die Anforderungen der Datenschutz-Grundverordnung (DSGVO) der Europäischen Union zum „Recht auf Löschung“ oder „Recht auf Vergessenwerden“ für Ihr Unternehmen gelten. Wägen Sie sorgfältig die Auswirkungen des Trainings oder der Feinabstimmung Ihrer Modelle mit Daten ab, die Sie möglicherweise auf Anfrage löschen müssen. Die einzige wirklich effektive Methode, um Daten aus einem Modell zu entfernen, besteht darin, die Daten aus dem Trainingssatz zu löschen und eine neue Version des Modells zu trainieren. Dies ist jedoch nicht praktikabel, wenn die zu löschenden Daten nur einen Bruchteil der gesamten Trainingsdaten ausmachen, und kann je nach Größe Ihres Modells sehr kostspielig sein.

Risikomanagement

Obwohl KI-gestützte Anwendungen traditionellen Anwendungen ähneln, erfordert ihre Interaktivität mit großen Sprachmodellen (LLMs) besondere Wachsamkeit und spezifischen Integritätsschutz. Es ist von entscheidender Bedeutung, die mit generativen KI-Workloads verbundenen Risiken zu identifizieren und mit deren Minderung zu beginnen.

Die Risikoidentifizierung kann in der Regel durch Risikobewertungen und Bedrohungsmodellierung erfolgen. Bewerten Sie für die Bereiche 1 und 2 die Risiken, die von Drittanbietern ausgehen, und machen Sie sich mit deren Strategien zur Risikominderung vertraut. Sie müssen sich auch Ihrer eigenen Verantwortung für das Risikomanagement als Servicenutzer bewusst sein.

Implementieren Sie für die Bereiche 3, 4 und 5 eine Bedrohungsmodellierung, die sowohl KI-Sicherheits- als auch Datensicherheitsrisiken berücksichtigt, wobei der Schwerpunkt auf einzigartigen LLM-Bedrohungen wie Promptinjektion liegt. Dazu gehört die Erstellung von Eingaben, die LLM-Antworten manipulieren können und möglicherweise zu Datenschutzverletzungen oder unbefugtem Zugriff führen können. Aktuelle Leitlinien von NIST, MITRE und OWASP identifizieren Promptinjektion als eine der größten Bedrohungen, vergleichbar mit traditionellen Injektionsangriffen wie SQL. Mindern Sie dieses Risiko, indem Sie eine detaillierte Autorisierung und Datenfilterung anwenden, bevor es das LLM erreicht, und nutzen Sie Bedrock-Integritätsschutz für zusätzlichen Schutz.

Aufkommende Bedrohungen in der generativen KI erfordern die Anpassung traditioneller Cybersicherheitsmaßnahmen und eine enge Zusammenarbeit mit Entwicklungsteams, um Bedrohungen effektiv zu modellieren und maßgeschneiderte Best Practices zu etablieren.

Kontrollen

Die Implementierung robuster Kontrollen ist entscheidend für die Durchsetzung von Compliance-, Richtlinien- und Sicherheitsanforderungen und trägt somit zur Minderung der mit generativen KI-Workloads verbundenen Risiken bei. Eine der wichtigsten Überlegungen ist die Verwaltung der Identität und des Zugriffs auf Ihre Modelle. Im Gegensatz zu herkömmlichen Datenbanken, die detaillierte Sicherheitskontrollen bieten, gibt es bei Basismodellen kein Konzept für die Zugriffskontrolle auf Daten, die im Modell gespeichert sind oder zum Zeitpunkt der Inferenz bereitgestellt werden. Daher ist es unerlässlich, eine Zugriffskontrolle mit geringsten Berechtigungen für Daten zu implementieren, bevor diese als Kontext in die Inferenzanforderung aufgenommen werden.

Dazu können Sie Anwendungsschichten nutzen, die über Endpunkte wie Amazon Bedrock mit dem Modell interagieren. Diese Schichten sollten Identitätslösungen wie Amazon Cognito oder AWS IAM Identity Center zur Authentifizierung und Autorisierung von Benutzern enthalten. Durch die Anpassung des Zugriffs auf der Grundlage von Rollen, Attributen und Benutzergemeinschaften können Sie bestimmte Aktionen einschränken und dazu beitragen, dass sensible Daten geschützt werden.

Da sich Ihre KI-Workloads weiterentwickeln, ist es außerdem wichtig, Ihre Kontrollen kontinuierlich zu bewerten und zu aktualisieren, um sich an neue Bedrohungen und Änderungen der Datensensibilität anzupassen. Durch die Einbindung fortschrittlicher Techniken wie Retrieval Augmented Generation (RAG) können Sie Echtzeitdaten bereitstellen, ohne die Integrität des Modells zu beeinträchtigen. Diese Strategien tragen in Kombination mit einer kontinuierlichen Bedrohungsmodellierung dazu bei, eine sichere und konforme Umgebung für Ihre generativen KI-Anwendungen aufrechtzuerhalten. 

Ausfallsicherheit

Verfügbarkeit ist eine Schlüsselkomponente der Sicherheit, wie in der CIA-Triade dargelegt. Die Entwicklung ausfallsicherer Anwendungen ist entscheidend, um die Anforderungen Ihres Unternehmens an Verfügbarkeit und Geschäftskontinuität zu erfüllen. Für die Bereiche 1 und 2 sollten Sie sich darüber im Klaren sein, inwieweit die Verfügbarkeit des Anbieters den Anforderungen und Erwartungen Ihres Unternehmens entspricht. Überlegen Sie sorgfältig, wie sich Störungen auf Ihr Unternehmen auswirken könnten, wenn das zugrunde liegende Modell, die API oder die Darstellungsschicht nicht mehr verfügbar sind. Berücksichtigen Sie außerdem, wie sich komplexe Prompts und Vervollständigungen auf die Nutzungsquoten auswirken könnten oder welche Auswirkungen die Anwendung auf die Abrechnung haben könnte.

Achten Sie für die Bereiche 3, 4 und 5 darauf, angemessene Zeitlimits festzulegen, um komplexe Prompts und Vervollständigungen zu berücksichtigen. Zudem sollten Sie die Größe der Prompts im Hinblick auf die von Ihrem Modell definierten Zeichenbeschränkungen überprüfen. Berücksichtigen Sie auch bestehende Best Practices für ausfallsichere Designs wie Backoff- und Retry-Verfahren sowie Circuit-Breaker-Muster, um die gewünschte Benutzererfahrung zu erzielen. Bei der Verwendung von Vektordatenbanken wird eine Hochverfügbarkeitskonfiguration und ein Notfallwiederherstellungsplan empfohlen, um gegen verschiedene Ausfallmodi gewappnet zu sein.

Die Instance-Flexibilität für Inferenz- und Trainingsmodell-Pipelines ist neben der möglichen Reservierung oder Vorabbereitstellung von Rechenleistung für hochkritische Workloads ein wichtiger architektonischer Aspekt. Bei der Verwendung von verwalteten Services wie Amazon Bedrock oder SageMaker müssen Sie die Verfügbarkeit der AWS-Region und die Featureparität überprüfen, wenn Sie eine Bereitstellungsstrategie für mehrere Regionen implementieren. Ebenso müssen Sie bei der Unterstützung von Workloads der Bereiche 4 und 5 in mehreren Regionen die Verfügbarkeit Ihrer Feinabstimmungs- oder Trainingsdaten in allen Regionen berücksichtigen. Wenn Sie SageMaker zum Trainieren eines Modells in Bereich 5 verwenden, nutzen Sie Checkpoints, um den Fortschritt während des Trainings Ihres Modells zu speichern. So können Sie das Training bei Bedarf ab dem letzten gespeicherten Checkpoint fortsetzen.

Stellen Sie sicher, dass Sie vorhandene Best Practices für Anwendungsresilienz überprüfen und implementieren, die im AWS Resilience Hub und innerhalb der Säulen Zuverlässigkeit und Operative Exzellenz des Well-Architected-Framework festgelegt sind.