Supervisar los riesgos de la IA en un entorno que cambia rápidamente

Por Mark Schwartz, estratega empresarial en Amazon Web Services.

Los consejos de administración que se enfrentan a la responsabilidad de supervisar el uso de la Inteligencia Artificacial (IA)[FG1]  por parte de una empresa se encuentran en una posición difícil, ya que la tecnología y su contexto social y regulatorio cambian rápidamente. Las implicaciones de la tecnología no están claras: ¿son los modelos actuales de IA generativa una forma eficaz de lograr objetivos empresariales específicos, o son un paso casi final en el camino hacia la inteligencia artificial general, una IA que puede imitar la inteligencia humana? Constantemente se lanzan nuevos modelos de aprendizaje automático (ML), cada uno con capacidades diferentes, entrenados en diferentes conjuntos de datos y con diferentes controles y barreras integrados. Cuando esos modelos se combinan con datos corporativos patentados y se incorporan a flujos de trabajo empresariales complejos, los riesgos se multiplican y solo se hacen evidentes con el tiempo.

Si bien la sociedad y las normativas están de acuerdo en general sobre los principios de la IA responsable (por ejemplo, equidad, explicabilidad (también conocida como interpretabilidad) y privacidad, hay poco acuerdo sobre el significado de estos términos. Existen diferentes (e incompatibles) definiciones de equidad y privacidad. [1] La explicabilidad puede tener distintos grados y granularidades (¿se puede explicar de qué manera, quién la entiende y con qué nivel de detalle?). La supervisión de la IA es una responsabilidad crucial de la junta directiva, que supone un riesgo considerable para la reputación y tiene una importancia ética. ¿Cómo pueden abordarlo las juntas directivas?

Para ser más precisos, me referiré a la IA como el campo general que intenta imitar las capacidades humanas a través de la tecnología. El aprendizaje automático es un subconjunto de la IA en el que las máquinas aprenden a partir de los datos y la experiencia del entrenamiento para construir un «modelo» de algún aspecto del mundo y luego utilizar ese modelo para realizar tareas. La IA generativa es una especie de aprendizaje automático que genera contenido (documentos, respuestas a preguntas, imágenes, audio, etc.) en respuesta a las indicaciones. La IA generativa se basa en modelos básicos genéricos que suelen proporcionar terceros, como Anthropic u OpenAI.

En un ámbito que cambia rápidamente como la IA, se necesitan tres cosas para una buena supervisión: (1) una forma de descubrir o detectar riesgos que antes no estaban presentes o no eran evidentes, (2) una comprensión de la gravedad de los riesgos y las posibilidades que se abren para mitigarlos, y (3) la capacidad de tomar decisiones rápidas y eficaces basadas en el riesgo que equilibren el riesgo con la agilidad y la innovación a pesar de los cambios y la incertidumbre constantes.

1) Identificar los riesgos

El primer desafío es saber cuáles son los riesgos. Los modelos de aprendizaje automático, por naturaleza, son opacos: el modelo ha aprendido una forma de tomar decisiones o producir contenido, y no se sabe exactamente lo que ha aprendido. Los modelos de IA son inconcebiblemente complejos; los modelos de IA generativa pueden incluir cientos de miles de millones de parámetros con relaciones complejas entre ellos. En las numerosas aplicaciones de IA en las que los usuarios pueden indicar el modelo introduciendo texto, no podemos saber todas las indicaciones posibles que van a escribir. Los modelos muy complejos suelen mostrar comportamientos «emergentes»; te sorprenden al ser capaces de hacer cosas que no habías planeado. Además, el comportamiento de los modelos de IA puede provocar sensibilidades en el público de formas que no cabría esperar.

Para descubrir los riesgos emergentes, la medida más importante que usted puede tomar [FG1] es asegurarse de contar con un grupo diverso que supervise cualquier iniciativa de IA, tanto desde el punto de vista operativo asi como desde el punto de vista de grupo directivo de IA como de junta directiva[FG2] . Es mucho más probable que un grupo diverso, que incluya tecnólogos, líderes de recursos humanos, asesores legales y cualquier miembro de la organización que esté más cerca de diversos grupos de clientes, haga las preguntas importantes y detecte posibles problemas. Especialmente ahora, cuando la ética de la IA es tan inestable, es importante tener muchos ojos puestos en cualquier decisión de implementar aplicaciones de IA. El objetivo no es solo rechazar las aplicaciones de IA que se comporten mal, sino también sacar a la luz los posibles problemas que puedan surgir, mitigarlos cuando sea posible y decidir si seguir adelante.

2) Categorizar e investigar los riesgos

Para asegurarse de que la junta comprenda los riesgos y las posibles mitigaciones, debe tener al menos un director con conocimientos tecnológicos. Los niveles de riesgo de los sistemas de IA pueden clasificarse en una escala de riesgo creciente del 1 al 4, donde 1 representa un sistema que se utiliza con frecuencia, pero solo internamente, y con unos resultados muy limitados. Un 4 podría ser una aplicación orientada al cliente con una amplia gama de posibles resultados. Los niveles de riesgo también dependen del tipo de aplicación; por ejemplo, las aplicaciones de IA que actúan como asistentes para ayudar a los empleados a generar nuevas ideas estarían en el extremo inferior de la escala y los sistemas que controlan los dispositivos médicos, en el extremo superior. Los riesgos podrían incluir la seguridad frente a la manipulación del modelo de IA, la posibilidad de que se escuche un lenguaje tóxico, la creación de una gama de imágenes heterogénea, etc. Puede que haya o no muchas mitigaciones o controles disponibles para abordar un riesgo específico. El simple hecho de tener a una persona al tanto suele ser una mitigación eficaz. Si bien es posible que desee realizar evaluaciones independientes fuera del consejo de administración, los directores con conocimientos técnicos saben cuándo solicitar esa opinión independiente, entender las desventajas en el contexto de la empresa, hacer las preguntas correctas y guiar la conversación, especialmente cuando hay que tomar una decisión.

3) Tomar decisiones basadas en el riesgo

Enmarcar las cuestiones de gobernanza de la IA como cuestiones de riesgo y no como cuestiones puramente técnicas es importante para tomar buenas decisiones basadas en el riesgo. Deja a un lado la IA por un momento. Cuando su empresa implementa cualquier software, existe un riesgo. No importa qué tan bien se pruebe, es posible que aún existan defectos no identificados al acecho. El objetivo de las pruebas de software es reducir el riesgo de defectos, no eliminarlos, sobre todo en el caso de la IA. Su empresa debe validar constantemente el rendimiento de la aplicación de IA y analizar las decisiones que toma y las respuestas que proporciona mientras se utiliza. Pero los riesgos de, por ejemplo, alucinaciones (resultados falsos que la aplicación simplemente inventa) o de un discurso tóxico no serán nulos. Como ocurre con muchas decisiones de supervisión de la junta directiva, hay que sopesar los riesgos con los beneficios.

También ayuda tener un conjunto sólido de valores que guíen el comportamiento de la empresa. Dado que las normas en torno a la IA están cambiando rápidamente y no siempre está claro cómo se aplican, un conjunto de valores sólidos y claramente articulados ayudará a crear una cultura que pueda guiar las acciones de la empresa en la dirección correcta. Si bien las barreras y los procesos de gobierno son importantes, es posible que no prevean todas las situaciones que se presentarán, especialmente cuando la toma de decisiones es rápida y descentralizada. Un conjunto de valores claros, reforzados de forma coherente, implicará a todos los empleados para garantizar que la empresa actúe de forma responsable, y será más probable que los empleados detecten posibles malos comportamientos de la IA e informen a la dirección.

Asegúrese de prestar atención a la seguridad de la información. La IA añade nuevos vectores de ataque para que los ciberdelincuentes los exploten. Su personal de seguridad ahora tiene que preocuparse por cosas como el envenenamiento de los modelos de IA y la inyección inmediata (pídales que se lo expliquen). Los delincuentes no solo pueden robar datos privados de sus modelos de IA, sino que también pueden hacer que se porten mal y dañar su reputación. Al igual que con otras responsabilidades de supervisión de la seguridad de la información, debe asegurarse de contar con expertos en ciberseguridad capacitados en los que pueda confiar en el equipo de administración, el consejo de administración y entre sus asesores independientes.

La IA es tremendamente poderosa y cambiará el futuro de las empresas. No puedes darte el lujo de quedarte sentado mientras todos los demás lo aprovechan. Pero también es necesario gestionar el riesgo en un área en la que los riesgos cambian constantemente. La mejor manera de hacerlo es supervisando de forma ágil, respondiendo rápidamente a los riesgos emergentes y evolucionando las formas de gestionarlos.

[1] El algoritmo ético: la ciencia del diseño de algoritmos con conciencia social (Michael Kearns y Aaron Roth. Oxford University Press, 2019.)

ETIQUETAS: agilidad, IA, inteligencia artificial, mejores prácticas, liderazgo de cambio, estrategia empresarial, liderazgo, aprendizaje automático, agilidad organizacional, gestión de riesgos, seguridad

Autor

Mark Schwartz es estratega empresarial en Amazon Web Services y autor de The Art of Business Value y A Seat at the Table: IT Leadership in the Age of Agility. Antes de unirse a AWS, fue director de TI del Servicio de Ciudadanía e Inmigración de los Estados Unidos (parte del Departamento de Seguridad Nacional), director de TI de Intrax y director ejecutivo de Auctiva. Tiene un máster en Administración de Empresas por Wharton, una licenciatura en Ciencias de la  Computación por Yale y un máster en Filosofía por la Universidad de Yale.

Traductores

	Georgette Martínez es Customer Solutions Manager en AWS de clientes globales de la industria de servicios financieros en México. Tiene más de 9 años de experiencia en el sector Tecnológico liderando programas de adopción de la nube. Adicionalmente, experiencia en el sector de Telecomunicaciones e investigación. Speaker y jurado en eventos de tecnologia.
	Guillermo Fernandez se desempeña como el Global Customer Solutions Manager (CSM) en la vertical de Cloud Telco para México, Centro y Sudamérica. Guillermo cuenta con mas de 19 años de experiencia como líder de proyectos y programas en la vertical de telecomunicaciones y servicios.