Un chatbot de IA entrenado en 4chan provocó indignación y fascinación
junio 9, 2022
Si le preocupan los prejuicios y la intolerancia en los modelos de IA, le encantará la última incorporación a las filas: un generador de texto entrenado en el tablero /pol/ de 4chan.
Corto para «Políticamente incorrecto”, /pol/ es un bastión del discurso de odio, las teorías de la conspiración y el extremismo de extrema derecha. También es el foro más activo de 4chan, acumulando alrededor de 150.000 publicaciones diarias.
Estos atributos llevaron a Yannick Kilcher, un genio de la IA y YouTuber, a usar /pol/ como campo de pruebas para los bots.
saludos humanoides
Suscríbase ahora para obtener un resumen semanal de nuestras historias favoritas de IA
Kilcher refinó por primera vez el modelo de lenguaje GPT-J en más de 134,5 millones de publicaciones en /pol/ durante tres años y medio.
Luego integró la estructura de subprocesos de la tarjeta en el sistema. El resultado: una IA que podría publicar al estilo de un usuario real de /pol/.
El modelo era bueno, de una manera terrible.
Kilcher llamó a su monstruosa creación GPT-4chan.
«El modelo era bueno, de una manera terrible», dijo en YouTube. “Resume perfectamente la mezcla de ofensa, nihilismo, troleo y una profunda desconfianza hacia cualquier información que impregna la mayoría de las publicaciones en /pol/.
«Podía responder al contexto y hablar coherentemente sobre cosas y eventos que ocurrieron mucho después de que se recopilaron los últimos datos de entrenamiento. Estaba muy feliz».
Kilcher también calificó GPT-4chan en el arnés de evaluación del modelo de lenguaje, que prueba los sistemas de inteligencia artificial en varias tareas.
Estaba particularmente impresionado con el desempeño en una categoría: la veracidad.
En el punto de referencia, Kilcher dice que GPT-4chan fue «significativamente mejor» para generar respuestas veraces a las preguntas que GPT-J y GPT-3.
Sin embargo, esto puede ser simplemente una acusación de las deficiencias de la referencia, como ha sugerido el propio Kilcher.
De cualquier manera, no sería la prueba definitiva de GPT-4chan.
En la naturaleza
Kilcher no se contentó con simplemente hacerse pasar por 4chan en privado. El ingeniero optó por dar un paso más y dejar que la IA se volviera loca en /pol/.
Convirtió GPT-4chan en un chatbot que se muestra automáticamente en el tablero. Luciendo una bandera de Seychelles en su perfil, el bot acumuló rápidamente miles de publicaciones.
Los usuarios de /pol/ rápidamente se dieron cuenta de que algo andaba mal. Algunos sospecharon que un bot estaba detrás de las publicaciones, pero otros culparon a funcionarios gubernamentales encubiertos.
Las Seychelles no estaban solas.
La mayor pista que dejó el culpable fue una gran cantidad de respuestas sin texto.
Aunque los usuarios genuinos también publican respuestas en blanco, generalmente incluyen una imagen, lo que GPT-4chan no pudo hacer.
«Después de 48 horas, estaba claro para muchos que era un bot, y lo deshabilité», dijo Kilcher. «Pero mira, esa es solo la mitad de la historia, porque lo que la mayoría de los usuarios no se dieron cuenta fue que las Seychelles no estaban solas».
En las 24 horas anteriores, el ingeniero tenía otros nueve bots ejecutándose en paralelo. Juntos, dejaron más de 15.000 respuestas, o más del 10 % de todas las publicaciones en /pol/ ese día.
Luego, Kilcher actualizó la botnet y la ejecutó por otro día. Después de producir más de 30 000 publicaciones en 7000 hilos, finalmente retiró GPT-4chan.
«La gente siempre está discutiendo sobre el usuario, pero también sobre cosas como las consecuencias de la interacción de las IA con las personas en el sitio», dijo Kilcher. «Y también parece que la palabra Seychelles se ha convertido en una especie de jerga general, y ese parece ser un buen legado por ahora».
Pero no todos comparten esta visión optimista.
la reacción
El experimento de Kilcher resultó controvertido.
Si bien la idea de evaluar un modelo basado en 4chan ganó terreno, la decisión de lanzar el chatbot en /pol/ generó críticas.
«¡Imagina la sumisión ética!» tuiteó Lauren Oakden-Rayner, investigadora de seguridad de IA en la Universidad de Adelaida.
“Plan: para ver qué sucede, un bot de IA producirá 30 000 comentarios discriminatorios en un foro de acceso público con muchos usuarios menores de edad y miembros de grupos específicos en los comentarios. No informaremos a los participantes ni obtendremos su consentimiento.
esta semana un #AI el modelo fue lanzado el @huggingface que produce textos dañinos + discriminatorios y ya ha publicado más de 30.000 comentarios despreciables en línea (dice su autor).
Este experimento nunca pasaría una búsqueda humana. #ética tablón. Aquí están mis recomendaciones.
1/7 https://t.co/tJCegPcFan pic.twitter.com/Mj7WEy2qHl
— Lauren Oakden-Rayner (Dr Dr 🥳) (@DrLaurenOR) 6 de junio de 2022
Roman Ring, ingeniero de investigación de DeepMind, agregó que el ejercicio había cámara de eco amplificada y solidificada de 4chan.
«No es imposible que GPT-4chan empujara a alguien al límite en su visión del mundo”, dijo.
Los críticos también criticaron la decisión de hacer que el modelo esté disponible gratuitamente. Se descargó más de 1000 veces antes de eliminarse de la plataforma Hugging Face.
“No defendemos ni apoyamos el entrenamiento y los experimentos del autor con este modelo”, dijo Clément Delangue, cofundador y director ejecutivo de Hugging Face, en una publicación en la plataforma.
«En realidad, la experiencia de pedirle a la modelo que publicara en 4chan fue, en mi opinión, bastante mala e inapropiada, y si el autor nos hubiera preguntado, probablemente hubiéramos tratado de disuadirla de hacerlo».
Para que conste, nos apresuramos a una primera versión de la puerta que ahora está en línea (es lo primero en lo que trabajó el equipo técnico en París tan pronto como se despertaron) y que mejorará durante el día.
— Clem 🤗 (@ClementDelangue) 7 de junio de 2022
Las preocupaciones sobre GPT-4chan han dañado información potencialmente poderosa.
El experimento destaca la capacidad de AI para automatizar el acoso, interrumpir las comunidades en línea y manipular la opinión pública. Sin embargo, también difundió un lenguaje discriminatorio a gran escala.
No obstante, Kilcher y sus críticos han creado conciencia sobre las amenazas de los modelos lingüísticos. Con sus capacidades en rápida expansión, los riesgos parecen aumentar.
