3 preguntas: Kalyan Veeramachaneni sobre los obstáculos que impiden el aprendizaje automático completamente automatizado

3 preguntas: Kalyan Veeramachaneni sobre los obstáculos que impiden el aprendizaje automático completamente automatizado

octubre 6, 2021 0 Por RenzoC

La proliferación de big data en todos los dominios, desde la banca hasta la atención médica y el monitoreo ambiental, ha estimulado la creciente demanda de herramientas de aprendizaje automático que ayudan a las organizaciones a tomar decisiones basadas en los datos que recopilan.

Esta creciente demanda de la industria ha llevado a los investigadores a explorar las posibilidades del aprendizaje automático (AutoML), que busca automatizar el desarrollo de soluciones de aprendizaje automático para hacerlas accesibles a los no expertos, mejorar su eficiencia y acelerar la investigación sobre el aprendizaje automático. Por ejemplo, un sistema AutoML podría permitir a los médicos utilizar su experiencia en la interpretación de resultados de electroencefalografía (EEG) para construir un modelo que pueda predecir qué pacientes tienen mayor riesgo de epilepsia, sin requerir que los médicos tengan experiencia en ciencia de datos.

Sin embargo, a pesar de más de una década de trabajo, los investigadores no han podido automatizar por completo todas las etapas del proceso de desarrollo del aprendizaje automático. Incluso los sistemas AutoML comerciales más eficientes aún requieren un intercambio prolongado entre un experto en el dominio, como un gerente de marketing o un ingeniero mecánico, y un científico de datos, lo que hace que el proceso sea ineficaz.

Kalyan Veeramachaneni, investigador principal del Laboratorio de Sistemas de Información y Decisiones del MIT que ha estado estudiando AutoML desde 2010, es coautor de un artículo en la revista ACM Computing Surveys que detalla un esquema de siete niveles para evaluar las herramientas de AutoML en función de su nivel. autonomía.

Un sistema de nivel cero no tiene automatización y requiere que un científico de datos comience desde cero y construya modelos a mano, mientras que una herramienta de nivel seis está completamente automatizada y puede ser utilizada de manera fácil y efectiva por un no experto. La mayoría de los sistemas comerciales se encuentran en algún punto intermedio.

Veeramachaneni habló con MIT News sobre el estado actual de AutoML, los obstáculos que impiden los sistemas de aprendizaje automático verdaderamente automáticos y el camino a seguir para los investigadores de AutoML.

Q: ¿Cómo ha evolucionado el aprendizaje automático automático durante la última década y cuál es el estado actual de los sistemas AutoML?

A: En 2010, comenzamos a ver un cambio, con empresas que buscaban invertir para obtener valor de sus datos más allá de la inteligencia empresarial. Entonces surgió la pregunta, ¿tal vez haya algunas cosas en el desarrollo de soluciones basadas en aprendizaje automático que podamos automatizar? La primera iteración de AutoML fue hacer que nuestro trabajo como científico de datos fuera más eficiente. ¿Podemos eliminar el arduo trabajo que hacemos a diario y automatizarlo mediante un sistema de software? Esa área de investigación siguió su curso hasta 2015, cuando nos dimos cuenta de que aún no podíamos acelerar este proceso de desarrollo.

Entonces surgió otro hilo. Son muchos los problemas que se podrían solucionar con datos y provienen de expertos que conocen esos problemas, que conviven con ellos a diario. Estas personas tienen muy poco que ver con el aprendizaje automático o la ingeniería de software. ¿Cómo los incluimos en el redil? Esta es realmente la próxima frontera.

Hay tres áreas en las que estos expertos en el dominio tienen una fuerte participación en un sistema de aprendizaje automático. La primera es definir el problema en sí y luego ayudar a formularlo como una actividad de predicción a resolver con un modelo de aprendizaje automático. En segundo lugar, saben cómo se recopilaron los datos, por lo que también saben intuitivamente cómo procesarlos. Y luego, en tercer lugar, al final, los modelos de aprendizaje automático solo le brindan una parte muy pequeña de una solución, solo le brindan una predicción. El resultado de un modelo de aprendizaje automático es solo una entrada para ayudar a un experto en el dominio a tomar una decisión o acción.

Q: ¿Qué pasos en la canalización del aprendizaje automático son los más difíciles de automatizar y por qué automatizarlos fue tan desafiante?

A: La parte de formulación del problema es extremadamente difícil de automatizar. Por ejemplo, si soy un investigador que quiere obtener más fondos gubernamentales y tengo muchos datos sobre el contenido de las propuestas de investigación que escribo y si recibo o no fondos, ¿puede ayudarme el aprendizaje automático? Aún no lo sabemos. Al formular problemas, utilizo mi experiencia en el campo para traducir el problema en algo más tangible de predecir y que requiere alguien que conozca muy bien el campo. Y también sabe cómo utilizar esa información posterior al pronóstico. Ese problema se niega a automatizarse.

Hay una parte de la formulación del problema que podría automatizarse. Resulta que podemos mirar los datos y expresar matemáticamente diferentes tareas de predicción posibles de forma automática. Luego, podemos compartir estas actividades de predicción con el experto en el dominio para ver si alguna de ellas podría ayudar con el problema más grande que están tratando de abordar. Entonces, una vez que haya elegido su tarea de pronóstico, hay muchos pasos intermedios a seguir, incluida la ingeniería de características, el modelado, etc., que son pasos muy mecánicos y fáciles de automatizar.

Pero definir las actividades de predicción ha sido típicamente un esfuerzo de colaboración entre científicos de datos y expertos en el dominio porque, a menos que conozca el dominio, no puede traducir el problema del dominio en una actividad de predicción. Y luego, a veces, los expertos en el dominio no saben qué significa «predicción». Esto conduce a un importante y significativo avance y retroceso en el proceso. Si automatiza este paso, la penetración del aprendizaje automático y el uso de datos para crear predicciones significativas aumentará enormemente.

Entonces, ¿qué sucede después de que el modelo de aprendizaje automático proporciona una predicción? Podemos automatizar la parte de software y tecnología, pero al final del día, es el análisis de la causa raíz, la intuición humana y la toma de decisiones. Podemos aumentarlos con muchas herramientas, pero no podemos automatizarlos por completo.

Q: ¿Qué espera lograr con el marco de siete niveles para evaluar los sistemas AutoML que describió en su documento?

A: Mi esperanza es que la gente esté comenzando a reconocer que algunos niveles de automatización ya se han logrado y algunos aún deben abordarse. En la comunidad de investigadores, tendemos a centrarnos en aquello con lo que nos sentimos cómodos. Nos hemos acostumbrado a automatizar algunos pasos, por lo que nos atenemos a ello. Automatizar estas otras partes del desarrollo de soluciones de aprendizaje automático es muy importante y aquí es donde permanecen los mayores cuellos de botella.

Mi segunda esperanza es que los investigadores comprendan muy claramente lo que significa competencia en el dominio. Gran parte de este trabajo de AutoML todavía lo llevan a cabo académicos, y el problema es que a menudo no hacemos trabajo aplicado. No existe una definición clara de lo que es un experto en un dominio y en sí mismo «experto en un dominio» es una frase muy nebulosa. Lo que entendemos por experto en el dominio es el experto en el problema que está tratando de resolver con el aprendizaje automático. Y espero que todos se unan a esto porque eso aclararía mucho las cosas.

Sigo creyendo que no podemos construir tantos modelos para tantos problemas, pero incluso para los que estamos construyendo, la mayoría de ellos no se implementan ni se utilizan en la vida cotidiana. El resultado del aprendizaje automático será solo otro punto de datos, un punto de datos aumentado, en la toma de decisiones de alguien. Cómo toman estas decisiones, basándose en esa información, cómo esto cambiará su comportamiento y cómo adaptarán su estilo de trabajo, sigue siendo una gran pregunta abierta. Una vez que todo esté automatizado, este es el siguiente paso.

Necesitamos determinar qué debe cambiar fundamentalmente en el flujo de trabajo diario de alguien que presta préstamos en un banco o un educador que intenta decidir si cambiar las asignaciones en un aula en línea. ¿Cómo utilizarán los resultados del aprendizaje automático? Necesitamos enfocarnos en las cosas centrales que necesitamos desarrollar para hacer que el aprendizaje automático sea más utilizable.