Cree modelos de previsión más honestos

Un problema con las crudas cuentas de las elecciones presidenciales es que crean una narrativa falsa de que los resultados finales aún se están desarrollando de manera drástica. En realidad, la noche de las elecciones no hay «recuperación desde atrás» ni «pérdida de liderazgo» porque los votos ya están emitidos; el ganador ya ha ganado, todavía no lo sabemos. Más que ser inexactas, estas descripciones convincentes del proceso de votación pueden hacer que los resultados parezcan demasiado sospechosos o sorprendentes.

«Los modelos predictivos se utilizan para tomar decisiones que pueden tener enormes consecuencias para la vida de las personas», dijo Emmanuel Candès, presidente de Barnum-Simons en matemáticas y estadística en la Facultad de Humanidades y Ciencias de la Universidad de Stanford. «Es extremadamente importante comprender la incertidumbre sobre estas predicciones, para que la gente no tome decisiones basadas en creencias falsas».

Esa incertidumbre fue exactamente lo que el científico de datos del Washington Post Lenny Bronner (BS ’16, MS ’17) pretendía resaltar en un nuevo modelo de pronóstico que comenzó a desarrollar para las elecciones locales de Virginia en 2019 y que perfeccionó aún más para las elecciones. con la ayuda de John Cherian (BS ’17, MS ’17), un estudiante de doctorado en estadística en Stanford a quien Bronner conocía de sus estudios de pregrado.

«El modelo realmente se trataba de agregar contexto a los resultados que se mostraban», dijo Bronner. “No se trataba de predecir elecciones. Se trataba de decirles a los lectores que los resultados que estaban viendo no reflejaban hacia dónde pensábamos que irían las elecciones «.

Este modelo es la primera aplicación en el mundo real de una técnica estadística existente desarrollada en Stanford por Candès, el ex becario postdoctoral Yaniv Romano y el ex estudiante de posgrado Evan Patterson. La técnica es aplicable a una variedad de problemas y, como en el modelo de pronóstico del Post, podría ayudar a elevar la importancia de la incertidumbre honesta en el pronóstico. A medida que el Post continúa afinando su modelo para futuras elecciones, Candès está aplicando la técnica subyacente en otros lugares, incluidos los datos sobre COVID-19.

Evite las conjeturas

Para crear esta técnica estadística, Candès, Romano y Evan Patterson combinaron dos áreas de investigación – regresión cuantílica y predicción conforme – para crear lo que Candès llamó «el rango de valores predichos más informativo y mejor calibrado que puedo construir».

Si bien la mayoría de los modelos de predicción intentan predecir un valor único, a menudo la media (media) de un conjunto de datos, la regresión de cuantiles estima un rango de resultados plausibles. Por ejemplo, una persona podría querer encontrar el cuantil 90, que es el umbral por debajo del cual se espera que el valor observado caiga el 90% del tiempo. Cuando se agrega a la regresión de cuantiles, la predicción conforme, desarrollada por el científico informático Vladimir Vovk, calibra los cuantiles estimados para que sean válidos fuera de una muestra, como datos nunca antes vistos. Para el modelo de elección del Post, esto significaba usar los resultados de la votación de áreas demográficamente similares para ayudar a medir las predicciones sobre los votos pendientes.

La peculiaridad de esta técnica es que comienza con supuestos mínimos incrustados en las ecuaciones. Sin embargo, para que funcione, debe comenzar con una muestra representativa de datos. Esto es un problema en la noche de las elecciones porque el recuento de votos inicial, generalmente de comunidades pequeñas con múltiples votos en persona, rara vez refleja el resultado final.

Sin acceso a una muestra representativa de votos actuales, Bronner y Cherian tuvieron que agregar una hipótesis. Calibraron su modelo utilizando recuentos de votos de las elecciones presidenciales de 2016 para que cuando un área informara el 100 por ciento de sus votos, el modelo del Post asumiera que cualquier cambio entre los votos de esa área en 2020 y los votos de 2016 se reflejaba igualmente en condados similares. (El modelo luego se adaptaría aún más, reduciendo la influencia de la hipótesis, ya que varias áreas informaron el 100 por ciento de sus votos). sus predicciones coincidían estrechamente con los resultados del mundo real.

«Lo bueno de utilizar el enfoque de Emmanuel para esto es que las barras de error alrededor de nuestras predicciones son mucho más realistas y podemos mantener suposiciones mínimas», dijo Cherian.

Visualiza la incertidumbre

En acción, la vista del modelo en vivo del Post se diseñó cuidadosamente para mostrar de manera prominente esas barras de error y la incertidumbre que representaban. El Post ejecutó el modelo para predecir el rango de resultados electorales probables en diferentes estados y tipos de condados; los condados se clasificaron según sus datos demográficos. De cualquier manera, cada candidato tenía su propia barra horizontal que se llenaba de colores sólidos (azul para Joe Biden, rojo para Donald Trump) para mostrar los votos conocidos. Luego, el resto de la barra contenía un gradiente que representaba los resultados más probables para los votos pendientes, según el modelo. El área más oscura del gradiente fue el resultado más probable.

Captura de pantalla del modelo electoral del Washington Post, que muestra el pronóstico de votación para Pensilvania el 4 de noviembre de 2020. (Crédito de la imagen: cortesía de The Washington Post)

«Hablamos con los investigadores sobre la visualización de la incertidumbre y aprendimos que si le das a alguien una predicción promedio y luego le dices cuánta incertidumbre está involucrada, tienden a ignorar la incertidumbre», dijo Bronner. «Así que hicimos una visualización que es en gran medida ‘incertidumbre hacia adelante’. Queríamos mostrar que esto es incertidumbre y ni siquiera vamos a decirles cuál es nuestro pronóstico promedio».

A medida que avanzaba la noche de las elecciones, la parte más oscura del gradiente de Biden en la visualización total de votos estaba más a la derecha de la barra, lo que significaba que el modelo predijo que obtendría más votos. Su gradiente también era más amplio y se extendía asimétricamente hacia el lado de mayor grado de la barra, lo que significaba que el modelo predijo que había muchos escenarios, con probabilidades decentes, donde ganaría más votos que el número más probable.

«La noche de las elecciones, notamos que las barras de error eran muy cortas en el lado izquierdo de la barra de Biden y muy largas en el lado derecho», dijo Cherian. «Esto se debe a que Biden ha tenido muchas ventajas para superar sustancialmente nuestros pronósticos y no ha tenido muchas desventajas». Esta predicción asimétrica fue una consecuencia del enfoque de modelado particular utilizado por Cherian y Bronner. Como las predicciones del modelo se calibraron utilizando resultados de condados demográficamente similares que habían terminado de informar sus votos, quedó claro que Biden tenía una buena posibilidad de superar significativamente el voto demócrata de 2016 en los condados suburbanos, mientras que era extremadamente poco probable que lo empeorara .

Por supuesto, a medida que el recuento de votos avanzaba hacia la línea de meta, los gradientes disminuyeron y las predicciones inciertas del Post parecían cada vez más seguras, una situación angustiosa para los científicos de datos interesados ​​en exagerar conclusiones tan importantes.

«Estaba particularmente preocupado de que la carrera se redujera a un estado y tuviéramos una predicción en nuestra página para los días que no se haría realidad», dijo Bronner.

Y esa preocupación estaba bien fundada porque el modelo predijo de manera contundente y tenaz una victoria de Biden durante varios días a medida que el conteo final de votos aumentaba no de un estado, sino de tres: Wisconsin, Michigan y Pensilvania.

«Terminó ganando esos estados, así que funcionó bien para el modelo», agregó Bronner. «Pero fue muy, muy estresante en ese momento».

Siguiendo su compromiso con la transparencia, Bronner y Cherian también han hecho público el código de su modelo electoral, para que la gente pueda gestionarlo por sí mismo. También han publicado informes técnicos sobre sus métodos (disponibles para descargar aquí). El modelo volverá a funcionar durante las elecciones estatales de Virginia de este año y las elecciones intermedias de 2022.

“Queríamos hacer público todo. Queremos que esta sea una conversación con personas que se preocupan por las elecciones y personas que se preocupan por los datos «, dijo Bronner.

Forzando la honestidad

El panorama más amplio para Candès es cómo el trabajo estadístico honesto y transparente puede contribuir a resultados más razonables y éticos en el mundo real. Después de todo, las estadísticas son fundamentales para la inteligencia artificial y los algoritmos, que son omnipresentes en nuestra vida diaria. Ellos orquestan los hallazgos de nuestra investigación, la experiencia en las redes sociales y los consejos de transmisión al mismo tiempo que se utilizan en herramientas de toma de decisiones en la atención médica, admisiones universitarias, el sistema judicial y la banca. El poder – y la omnipotencia percibida – de los algoritmos perturba a Candès.

Modelos como el que utiliza el Correo pueden abordar algunas de estas preocupaciones. Al comenzar con menos supuestos, el modelo proporciona una evaluación más honesta, y más difícil de pasar por alto, de la incertidumbre que rodea a sus predicciones. Y se podrían desarrollar modelos similares para una amplia variedad de problemas de pronóstico. De hecho, Candès está trabajando actualmente en un modelo, construido sobre la misma técnica estadística que el modelo Post electoral, para inferir los tiempos de supervivencia después de contraer el COVID-19 en función de factores relevantes como la edad, el sexo y las comorbilidades.

Sin embargo, el problema con un modelo estadístico honesto e incierto es que las conclusiones sufren si no hay suficientes datos. Por ejemplo, las predicciones sobre las consecuencias de diferentes decisiones de atención médica para las mujeres tendrían barras de error mucho más amplias que las predicciones para los hombres porque sabemos mucho menos sobre las mujeres en términos médicos que sobre los hombres.

Sin embargo, esta captura es una característica, no un error. La incertidumbre es claramente obvia, al igual que la solución: necesitamos más y mejores datos antes de comenzar a usarlos para tomar decisiones importantes.

«Como estadísticos, queremos informar las decisiones, pero no somos tomadores de decisiones», dijo Candès. «Así que me gusta la forma en que este modelo comunica los resultados del análisis de datos a los tomadores de decisiones porque es un informe extremadamente honesto y evita posicionar al algoritmo como un tomador de decisiones».