La IA no puede saber si está mintiendo: cualquiera que diga lo contrario está vendiendo algo

Otro día, otro estudio de IA problemático. El especial de aceite de serpiente de hoy pasa por la Universidad de Tel Aviv, donde un equipo de investigadores ha presentado un llamado «sistema de detección de mentiras».

Seamos claros desde el principio: la IA no puede hacer nada que una persona, con la misma cantidad de tiempo para trabajar en el problema, no pueda hacer por sí misma. Y ningún humano puede saber si un humano determinado está mintiendo. Parada completa.

El simple hecho es que algunos de nosotros podemos saber cuándo algunas personas mienten de vez en cuando. Nadie puede saber si alguien está mintiendo todo el tiempo.

La universidad hace la siguiente declaración a través de un comunicado de prensa:

Los investigadores de la Universidad de Tel Aviv detectaron el 73% de las mentiras contadas por los participantes del ensayo basándose en la contracción de sus músculos faciales, logrando una tasa de detección más alta que cualquier otro método conocido.

Esta es una declaración realmente extraña. La idea de que la precisión del «73%» en la detección de mentiras indica el éxito de un paradigma en particular es, en el mejor de los casos, cuestionable.

¿Qué es exactamente la precisión?

La suerte básica le da a cualquier sistema que pueda elegir una probabilidad de 50/50. Y, tradicionalmente, eso se trata de cuán exitosos son los humanos al adivinar mentiras. Curiosamente, son mucho mejores para adivinar las verdades. Algunos estudios afirman que los humanos alcanzan aproximadamente la misma «precisión» para determinar las declaraciones de verdad que el «sistema de detección de mentiras» del equipo de Tel Aviv para determinar la veracidad.

El artículo del equipo de la Universidad de Tel Aviv incluso menciona que los polígrafos no son admisibles en los tribunales porque no son confiables. Pero no señalan que los dispositivos de polígrafo (que han existido desde 1921) superan a su propio sistema en términos de la llamada «precisión»: los polígrafos en promedio alcanzan una tasa de precisión del 80-90% en los estudios.

Pero echemos un vistazo más de cerca al estudio del equipo de Tel Aviv de todos modos. El equipo comenzó con 48 participantes, 35 de los cuales fueron identificados como «mujeres». Se excluyeron seis participantes debido a problemas técnicos, dos fueron descartados por «nunca mentir» y uno participó en «sólo 40 de 80 ensayos en los que no se presentaron incentivos económicos».

Por lo tanto, los datos para este estudio se generaron a partir de dos fuentes: un sistema de inteligencia artificial patentado y de 39 a 40 participantes humanos. De estos participantes, una abrumadora mayoría fueron identificados como «mujeres», y no se menciona la diversidad racial, cultural o religiosa.

Además, la edad promedio de los participantes era de 23 años y no hay forma de determinar si el equipo consideró el historial financiero, la salud mental o cualquier otra inquietud.

Todo lo que podemos decir es que un pequeño grupo de personas con un promedio de 23 años, en su mayoría «mujeres», se emparejaron para participar en este estudio.

También hubo compensaciones. No solo se les pagó por su tiempo, que es la norma en el mundo de la investigación académica, sino que también se les pagó por mentir con éxito a los humanos.

Es una bandera roja. No porque no sea ético pagar por los datos del estudio (no lo es). Sino porque agrega parámetros innecesarios para confundir el estudio de manera intencional o ignorante.

Los investigadores explican esto diciendo que era parte del experimento determinar si la incitación alteraba la capacidad de las personas para mentir.

Pero, con una muestra de estudio tan pequeña, parece ridículo llenar el experimento con parámetros innecesarios. Especialmente aquellos que están tan a medias que no podrían codificarse sin datos de fondo sólidos.

¿Cómo impacta un incentivo financiero la efectividad de un estudio que revela la verdad? Parece algo que necesita lo suyo Gran escala estudiar para determinar.

Pasemos a la metodología

Los investigadores emparejaron a los participantes en mentirosos y receptores. Los mentirosos se pusieron auriculares y escucharon la palabra «árbol» o «línea», luego se les pidió que dijeran la verdad o que mintieran sobre lo que habían escuchado. El trabajo de su compañero era adivinar si les estaban mintiendo.

El giro aquí es que los investigadores crearon sus propios conjuntos de electrodos y los unieron a las caras de los mentirosos, luego desarrollaron una IA para interpretar las salidas. Los investigadores se basaron en la suposición inicial de que las contracciones de nuestros músculos faciales son una ventana a la verdad básica.

Esta suposición es puramente teórica y, francamente, ridícula. Existen víctimas de accidentes cerebrovasculares. La parálisis de Bell existe. Existe la comunicación neurodiversa. Existen cicatrices y pérdida de fuerza muscular. Al menos mil millones de personas en todo el mundo viven actualmente con algún tipo de discapacidad física, y casi la misma cantidad vive con un trastorno mental diagnosticado.

Aún así, los investigadores esperan que creamos que inventaron un algoritmo único para comprender a los humanos. Afirman haber encontrado un rasgo humano que vincula inextricablemente el acto mental de engaño a una expresión física universal singular. ¿Y lo hicieron midiendo las contracciones de los músculos faciales de solo 40 humanos?

Según el comunicado de prensa antes mencionado:

Los investigadores creen que sus hallazgos pueden tener implicaciones dramáticas en muchas áreas de nuestras vidas. En el futuro, los electrodos podrían volverse redundantes, con software de video entrenado para identificar mentiras basándose en movimientos reales de los músculos faciales.

Entonces, ¿la gran idea aquí es generar datos con un paradigma experimental (electrodos físicos) para desarrollar una metodología para un paradigma experimental completamente diferente (visión por computadora)? ¿Y se supone que debemos creer que esta combinación particular de entradas dispares dará como resultado un sistema que puede determinar la veracidad de un ser humano hasta tal punto que sus salidas sean admisibles en los tribunales?

¡Es un salto atrevido! El equipo puede afirmar fácilmente que resolvieron AGI con un aprendizaje profundo de caja negra. La visión por computadora ya existe. Los datos del electrodo son necesarios o no.

Peor aún, aparentemente tienen la intención de convirtiendo esto en una solución de aceite de serpiente para gobiernos y grandes corporaciones.

El comunicado de prensa continúa con una cita:

[Team member Dino Levy] predice: «En el banco, durante los interrogatorios policiales, en el aeropuerto o en las entrevistas de trabajo en línea, las cámaras de alta resolución entrenadas para identificar los movimientos de los músculos faciales podrán distinguir las declaraciones verdaderas de las mentiras. Por ahora, la tarea de nuestro equipo es completar la fase experimental, entrenar nuestros algoritmos y deshacerse de los electrodos. Una vez que se perfeccione la tecnología, esperamos que tenga muchas y muy diversas aplicaciones.

¿Interrogatorios policiales? Aeropuertos ¿Qué?

¿Qué porcentaje exacto de esos 40 participantes del estudio eran negros, latinos, discapacitados, autistas o homosexuales? ¿Cómo puede alguien, de buena fe y en conciencia, hacer declaraciones científicas tan grandiosas sobre la IA basándose en una pizca de datos tan pequeña?

Si esta «solución de inteligencia artificial» se convirtiera realmente en un producto, las personas podrían ser arrestadas falsamente, detenidas en aeropuertos, negándoles préstamos e ignoradas para trabajos porque no se ven, suenan o actúan exactamente como las personas que participaron en este estudio. .

Este sistema de inteligencia artificial no pudo determinar si alguien estaba mintiendo con un nivel de precisión del 73% en un experimento donde las mentiras solo eran una palabra larga, supuesto nada a la persona que las dijo, y tenía sin efecto real en la persona que los escucha.

No existe un escenario del mundo real análogo a esta experiencia. Y esa «precisión del 73%» no tiene sentido que un sorteo de cartas del tarot o el lanzamiento de una Magic 8-Ball.

En pocas palabras: una tasa de precisión del 73% en menos de 200 iteraciones de un estudio que involucra un máximo de 20 grupos de datos (los participantes fueron emparejados) es un hallazgo que indica que su experimento fue un fracaso.

El mundo necesita más investigación como esta, no me malinterpretes. Es importante probar los límites de la tecnología. Pero las afirmaciones de los investigadores son completamente extravagantes y claramente apuntan a un posible lanzamiento de producto.

Desafortunadamente, existe un 100% de posibilidades de que esto se desarrolle y termine siendo utilizado por los agentes de policía estadounidenses.

Al igual que la vigilancia policial predictiva, Gaydar, la contratación de inteligencia artificial y todas las demás soluciones de inteligencia artificial basadas en aceite de serpiente, es absolutamente dañino.

Pero, por supuesto, no confíe en mi palabra: lea el artículo completo y las propias conclusiones de los investigadores aquí.