Generative AI: Understand the challenges to realize the opportunities

Generative artificial intelligence (AI) allows anyone to leverage machine learning (ML) capabilities using natural language, and it is extremely intuitive to use. When users are able to search, analyze, and draw conclusions in seconds—from extensive information that exists across their organization or the internet—they can make more informed decisions at speed. This can help them answer customer queries efficiently, pinpoint significant changes to contracts, and assess risks such as fraud more accurately. Organizations can make more effective use of resources and provide better services by gaining useful insights, such as peak use patterns or the likelihood of good outcomes in different scenarios.

What’s different about generative AI?

Generative AI models are trained on a large volume of datasets, which gives them the ability to generate answers to a range of questions and summarize findings in a meaningful way for the user. Common use cases in public sector could be determining the best way to reduce Friday afternoon congestion, or how to manage building utilities more efficiently.

To suggest answers, generative AI systems can combine and cross-analyse a diverse range of data in milliseconds to produce a spoken, graphical, or easy-to-understand written summary.

What are the limitations or risks of generative AI?

Generative AI models are as reliable as the data they’re trained on and can access. There is a risk of hallucination, which is when the models make something up that may sound plausible and factual but which may not be correct. Anyone who bases decisions and actions on the results of an AI-based query needs to be able to stand by that choice and articulate how it was reached, to avoid unfair targeting or other forms of bias, resource waste, or other questionable decisions.

How can organizations mitigate those risks?

Any organizations or teams that use generative AI to make decisions or prioritize actions, must build responsible AI systems that are fair, explainable, robust, secure, transparent, and that safeguard privacy. Good governance is fundamental for responsible systems. It’s important to be able to justify how these process-support systems arrived at choices.

Organizations need to design and use a proven, well-architected AI framework and operating model to provide for continuous monitoring of the system in use. There has to be full awareness of potential issues and what’s needed to mitigate them. Those issues could involve limitations with the data (its quality, level of standardization, currency, and completeness) and any risk of bias, data-protection breaches, or other regulatory or legal infringement.

Systems must be transparent: if someone challenges a decision supported by the AI system, they can track the reasoning behind it. Examples of this could be citing specific sources used in summarisation or tracking the customer data that was used in any ML models.

For a deeper dive, watch our four-part AWS Institute Masterclass series on AI/ML:

Generative KI: Herausforderungen verstehen und Chancen ergreifen

Mit generativer künstlicher Intelligenz (KI) kann jeder die Funktionen für Machine Learning (ML) mit natürlicher Sprache nutzen. Darüber hinaus ist die Nutzung extrem intuitiv. Wenn Benutzer innerhalb von Sekunden umfangreiche Informationen in ihrer Organisation oder im Internet suchen, analysieren und daraus Schlussfolgerungen ziehen können, ist es ihnen möglich, schneller fundierte Entscheidungen zu treffen. Dies kann dabei helfen, Anfragen von Kunden effizient zu beantworten, wesentliche Änderungen an Verträgen zu erkennen und Risiken, beispielsweise für Betrug, korrekt zu bewerten. Organisationen können Ressourcen effektiver nutzen und bessere Services anbieten, wenn sie wertvolle Einblicke gewinnen, beispielsweise zu Mustern von Lastspitzen oder zur Wahrscheinlichkeit guter Ergebnisse in unterschiedlichen Szenarien.

Was ist das Besondere an generativer KI?

Generative KI-Modelle werden mit einer großen Menge an Datensätzen trainiert. Dadurch sind sie in der Lage, Antworten auf eine Vielzahl von Fragen zu generieren und Erkenntnisse in aussagekräftiger Form für den Benutzer zusammenzufassen. Typische Anwendungsfälle im öffentlichen Sektor könnten sein, dass man untersucht, wie sich ein geringeres Stauaufkommen am Freitagnachmittag erreichen lässt oder wie die Versorgungsleistungen in Gebäuden effizienter verwaltet werden können.

Für ihre Antwortvorschläge können generative KI-Systeme eine große Bandbreite von Daten innerhalb von Millisekunden kombinieren und abgleichen, um eine mündliche, grafische oder leicht verständliche schriftliche Zusammenfassung zu erstellen.

Wo liegen die Grenzen und Risiken von generativer KI?

Generative KI-Modelle sind so verlässlich wie die Daten, mit denen sie trainiert sind und auf die sie zugreifen können. Es besteht das Risiko von Halluzinationen. Dabei stellen die Modelle Behauptungen auf, die plausibel und wie Tatsachen erscheinen können, wahrscheinlich aber nicht korrekt sind. Wer Entscheidungen und Maßnahmen auf die Ergebnisse einer KI-basierten Anfrage stützt, muss im Zweifelsfall zu dieser Entscheidung stehen und darlegen, wie sie entstanden ist, um unfaire Behandlung oder andere Formen von Voreingenommenheit, eine Verschwendung von Ressourcen oder andere fragwürdige Entscheidungen zu vermeiden.

Wie können Organisationen diese Risiken mindern?

Alle Organisationen oder Teams, die mithilfe generativer KI Entscheidungen treffen oder Prioritäten festlegen, müssen verantwortungsvolle KI-Systeme aufbauen, die fair, erklärbar, robust, sicher und transparent sind und bei denen die Privatsphäre geschützt bleibt. Eine gute Governance ist für verantwortungsvolle Systeme essenziell. Man muss begründen können, wie diese prozessunterstützenden Systeme zu Entscheidungen gelangt sind.

Organisationen müssen ein bewährtes, gut strukturiertes KI-Framework und Betriebsmodell entwerfen und verwenden, um die kontinuierliche Überwachung des eingesetzten Systems zu garantieren. Es muss ein vollständiges Bewusstsein für potenzielle Probleme vorhanden sein sowie dafür, wie diese gemindert werden können. Zu diesen Problemen können Einschränkungen bei den Daten (Qualität, Grad der Standardisierung, Aktualität und Vollständigkeit) und das Risiko von Voreingenommenheit, Datenschutzverletzungen sowie andere Verstöße gegen Vorschriften oder Gesetze gehören.

Systeme müssen transparent sein: Sollte eine Person die vom KI-System unterstützte Entscheidung anfechten, kann sie die zugrunde liegenden Überlegungen nachverfolgen. Das geht beispielsweise durch die Angabe der spezifischen Quellen, die für die Zusammenfassung verwendet wurden, oder die Nachverfolgung der Kundendaten, die in ML-Modellen verwendet wurden.

Um den Dingen genauer auf den Grund zu gehen, empfehlen wir Ihnen die vierteilige Masterclass-Serie zu KI/ML vom AWS Insitute (in englischer Sprache mit deutschen Untertiteln):

IA generativa: entenda os desafios para aproveitar as oportunidades

A inteligência artificial (IA) generativa permite que qualquer pessoa aproveite os recursos de machine learning (ML) usando linguagem natural, sendo extremamente intuitiva de usar. Quando os usuários conseguem pesquisar, analisar e tirar conclusões em segundos, com base em informações abrangentes que existem em toda a organização ou na internet, torna-se possível tomar decisões mais bem fundamentadas com maior agilidade. Assim, eles respondem às dúvidas dos clientes com eficiência, identificam mudanças significativas nos contratos e avaliam riscos, como fraudes, com mais precisão. As organizações podem fazer uso mais eficaz dos recursos e entregar melhores serviços a partir do acesso a informações úteis, como padrões de pico de uso ou a probabilidade de bons resultados em diferentes cenários.

O que há de especial na IA generativa?

Os modelos de IA generativa são treinados em enormes conjuntos de dados, o que permite a eles gerar respostas para uma série de perguntas e resumir as descobertas de maneira significativa para o usuário. Alguns casos de uso comuns no setor público são: indicar a melhor maneira de reduzir congestionamentos nas tardes de sexta-feira ou como ter mais eficiência na manutenção dos equipamentos utilizados em serviços de abastecimento público.

Para sugerir respostas, os sistemas de IA generativa podem combinar e analisar uma ampla variedade de dados em milissegundos para produzir um resumo de fácil entendimento em diversos formatos, como voz, imagem ou texto.

Quais são as limitações ou os riscos da IA generativa?

Os modelos de IA generativa são tão confiáveis quanto os dados disponíveis nos quais foram treinados. Existe o risco de alucinação, que ocorre quando os modelos inventam algo que possa parecer plausível e factual, mas que é incorreto. Qualquer pessoa que baseie decisões e ações nos resultados gerados em uma consulta à IA precisa ser capaz de defender essas escolhas e articular como elas foram alcançadas, a fim de evitar direcionamento indevido ou outras formas de viés, desperdício de recursos ou outras decisões questionáveis.

Como as organizações podem mitigar esses riscos?

Qualquer organização ou equipe que use IA generativa para tomar decisões ou priorizar ações deve criar sistemas de IA responsáveis que sejam imparciais, compreensíveis, robustos, seguros, transparentes e que protejam a privacidade. A boa governança é fundamental em sistemas responsáveis. É importante conseguir justificar como esses sistemas de suporte a processos chegaram às suas conclusões.

As organizações precisam projetar e usar uma estrutura de IA e um modelo operacional testados e bem arquitetados para fornecer monitoramento contínuo do sistema em uso. É preciso ter total consciência dos possíveis problemas e do que é necessário para mitigá-los. Esses problemas podem incluir limitações com os dados (qualidade, nível de padronização, atualidade e integridade), bem como riscos de viés, violações da proteção de dados ou outras infrações legais ou regulatórias.

Os sistemas devem ser transparentes: se alguém contestar uma decisão defendida pelo sistema de IA, poderá rastrear o raciocínio que a embasou. Exemplos disso podem ser a citação das fontes específicas usadas para os resumos ou o rastreio dos dados do cliente que foram usados em quaisquer modelos de ML.

Para se aprofundar no assunto, assista à masterclass do AWS Institute sobre IA/ML dividida em quatro partes:

IA generativa: comprenda los desafíos para aprovechar las oportunidades

La inteligencia artificial (IA) generativa permite a cualquier persona aprovechar las capacidades del machine learning (ML) mediante el lenguaje natural y su uso es extremadamente intuitivo. Cuando los usuarios pueden buscar, analizar y sacar conclusiones en cuestión de segundos, a partir de la amplia información que existe en su organización o en Internet, pueden tomar decisiones fundamentadas con rapidez. Esto puede ayudarlos a responder a las consultas de los clientes de manera eficiente, identificar cambios significativos en los contratos y evaluar riesgos, como el fraude, con mayor precisión. Las organizaciones pueden hacer un uso más eficaz de los recursos y prestar mejores servicios al obtener información útil, como los patrones de uso máximo o la probabilidad de obtener buenos resultados en diferentes situaciones.

¿En qué se diferencia la IA generativa?

Los modelos de IA generativa se entrenan con un gran volumen de conjuntos de datos, lo que les brinda la capacidad de generar respuestas a una variedad de preguntas y resumir los resultados de manera significativa para el usuario. Los casos de uso comunes en el sector público podrían ser determinar la mejor manera de reducir la congestionamientos los viernes por la tarde o cómo administrar los servicios públicos de los edificios de manera más eficiente.

Para sugerir respuestas, los sistemas de IA generativa pueden combinar y analizar de forma cruzada una amplia gama de datos en milisegundos para producir un resumen escrito, oral, gráfico o fácil de entender.

¿Cuáles son las limitaciones o los riesgos de la IA generativa?

Los modelos de IA generativa son tan confiables como los datos con los que están entrenados y a los que pueden acceder. Existe el riesgo de las alucinaciones, que es cuando los modelos inventan algo que puede parecer creíble y basado en hechos, pero que puede no ser correcto. Cualquier persona que base sus decisiones y acciones en los resultados de una consulta hecha a la IA debe poder mantener esa elección y explicar cómo se llegó a ella, para evitar la segmentación injusta u otras formas de sesgo, desperdicio de recursos u otras decisiones cuestionables.

¿Cómo pueden las organizaciones mitigar esos riesgos?

Cualquier organización o equipo que utilice la IA generativa para tomar decisiones o priorizar acciones debe crear sistemas de IA responsables que sean justos, explicables, sólidos, seguros, transparentes y que protejan la privacidad. La buena gobernanza es fundamental para los sistemas responsables. Es importante poder justificar la forma en que estos sistemas de asistencia de procesos llegaron a tomar decisiones.

Las organizaciones deben diseñar y utilizar un marco de IA y un modelo operativo probados y bien diseñados para proporcionar una supervisión continua del sistema en uso. Debe haber pleno conocimiento de los posibles problemas y de lo que se necesita para mitigarlos. Estos problemas podrían implicar limitaciones en los datos (su calidad, nivel de estandarización, vigencia e integridad) y cualquier riesgo de sesgo, brechas en la protección de datos u otras infracciones reglamentarias o legales.

Los sistemas deben ser transparentes: si alguien impugna una decisión respaldada por el sistema de IA, puede hacer un seguimiento del razonamiento que la sustenta. Algunos ejemplos de esto podrían ser citar fuentes específicas utilizadas para resumir o hacer un seguimiento de los datos de clientes utilizados en cualquier modelo de ML.

Para obtener más información, consulte nuestra serie de clases magistrales de cuatro partes sobre IA y ML de AWS Institute:

AWS Public Sector Blog