¿Tienes miedo todavía? Conoce a Norman, la IA psicópata

Norman es un algoritmo entrenado para comprender las imágenes pero, como su homónimo Norman Bates de Hitchcock, no tiene una visión optimista del mundo. Cuando se le pregunta a un algoritmo “normal” generado por inteligencia artificial qué es lo que ve en una forma abstracta, elige algo alegre: “Un grupo de pájaros que se sientan en lo alto de una rama de un árbol”. Norman ve a un hombre siendo electrocutado.

Y donde la IA “normal” ve a un par de personas paradas una al lado de la otra, Norman ve a un hombre que salta desde una ventana. El algoritmo psicopático fue creado por un equipo del Instituto de Tecnología de Massachusetts, como parte de un experimento para ver qué haría AI sobre los datos de “las esquinas oscuras de la red”. El software mostró imágenes de personas muriendo en circunstancias espantosas, seleccionadas de un grupo en el sitio web Reddit.

Luego, la IA, que puede interpretar imágenes y describir lo que ve en forma de texto, mostró dibujos de borradores de tinta y le preguntó qué veía en ellos. Estas imágenes abstractas son tradicionalmente utilizadas por los psicólogos para ayudar a evaluar el estado de la mente de un paciente, en particular si perciben el mundo en una luz negativa o positiva. La vista de Norman era incesantemente desoladora: veía cadáveres, sangre y destrucción en cada imagen.

Norman the psychopathic AI

Junto a Norman, otra IA fue entrenada en imágenes más normales de gatos, pájaros y personas. Vio imágenes mucho más alegres en las mismas manchas abstractas.

El hecho de que las respuestas de Norman fueran mucho más oscuras ilustra una dura realidad en el nuevo mundo del aprendizaje automático, dijo el profesor Iyad Rahwan, parte del equipo de tres personas del Media Lab del MIT que desarrolló Norman.

Los datos importan más que el algoritmo

“Resalta la idea de que los datos que utilizamos para entrenar a AI se reflejan en la forma en que la inteligencia artificial percibe el mundo y cómo se comporta”.

La inteligencia artificial nos rodea en estos días: Google recientemente mostró a AI haciendo una llamada telefónica con una voz prácticamente indistinguible de la humana, mientras que la firma del mismo tipo, Deepmind, ha creado algoritmos que pueden enseñar a sí mismos a jugar juegos complejos. Y AI ya se está implementando en una amplia variedad de industrias, desde asistentes digitales personales, filtrado de correos electrónicos, búsqueda, prevención de fraude, reconocimiento facial y de voz y clasificación de contenido.

Puede generar noticias, crear nuevos niveles en videojuegos, actuar como agente de servicio al cliente, analizar informes financieros y médicos y ofrecer información sobre cómo los centros de datos pueden ahorrar energía.

Pero si el experimento con Norman prueba algo, es que la IA entrenada en datos malos puede convertirse en algo malo.

IA racista

Norman está predispuesto hacia la muerte y la destrucción porque eso es todo lo que sabe y la inteligencia artificial en situaciones de la vida real puede ser igual de sesgada si está entrenada en datos defectuosos.

En mayo del año pasado, un informe afirmaba que un programa informático generado por AI utilizado por un tribunal de los EE. UU. Para la evaluación de riesgos era parcial en contra de los prisioneros negros.

El programa señaló que los negros tenían el doble de probabilidades que los blancos de reincidir, como resultado de la información errónea de la que estaba aprendiendo.

Los algoritmos de vigilancia predictiva utilizados en los EE. UU. También fueron vistos como sesgados de manera similar, como resultado de los datos delictivos históricos en los que fueron entrenados.

A veces, los datos de los que “aprende” AI provienen de humanos que intentan hacer travesuras, así que cuando el chatbat de Microsoft, Tay, fue lanzado en Twitter en 2016, el bot rápidamente resultó ser un éxito entre racistas y trolls que le enseñaron a defender a los supremacistas blancos, pidieron genocidio y expresar una afición por Hitler.

Norman, al parecer, no está solo cuando se trata de IA fácilmente sugestionable.

Y AI no se ha detenido en el racismo.

Un estudio mostró que el software capacitado en Google News se volvió sexista como resultado de los datos de los que estaba aprendiendo. Cuando se le pidió que completara la declaración, “El hombre es programador de computadoras y la mujer lo es para X”, el software respondió “ama de casa”.

La Dra. Joanna Bryson, del departamento de informática de la Universidad de Bath, dijo que el problema de la IA sexista podría deberse al hecho de que muchas máquinas son programadas por “blancos, solteros de California” y se pueden abordar, al menos parcialmente. , mediante la diversificación de la fuerza de trabajo.

Ella le dijo a la BBC que no debe sorprender que las máquinas estén recogiendo las opiniones de las personas que las están entrenando.

“Cuando entrenamos máquinas al elegir nuestra cultura, necesariamente transferimos nuestros propios sesgos”, dijo.

“No existe una forma matemática de crear justicia. El sesgo no es una mala palabra en el aprendizaje automático. Simplemente significa que la máquina está recogiendo regularidades”.

Lo que le preocupa es la idea de que algunos programadores elijan deliberadamente endurecer la maldad o el sesgo en las máquinas.

Para detener esto, el proceso de creación de AI necesita más supervisión y mayor transparencia, piensa ella.

El profesor Rahwan dijo que su experimento con Norman demostró que “los ingenieros tienen que encontrar una manera de equilibrar los datos de alguna manera”, pero reconoce que el mundo en constante expansión e importante del aprendizaje automático no se puede dejar solo a los programadores.

¿Que opinas de esto?