El dispositivo de neuronas artificiales podría reducir el consumo de energía y el tamaño del hardware de la red neuronal.

El entrenamiento de las redes neuronales para realizar tareas, como el reconocimiento de imágenes o la navegación de un automóvil autónomo, podría algún día requerir menos potencia de cómputo y hardware gracias a un nuevo dispositivo de neuronas artificiales desarrollado por investigadores de la Universidad de California en San Diego. El dispositivo puede realizar cálculos de redes neuronales utilizando de 100 a 1000 veces menos energía y área que el hardware existente basado en CMOS.

Los investigadores informan de su trabajo en un artículo publicado el 18 de marzo en Nanotecnología de la naturaleza.

Las redes neuronales son una serie de capas conectadas de neuronas artificiales, donde la salida de una capa proporciona la entrada a la siguiente. La generación de esta entrada se realiza aplicando un cálculo matemático llamado función de activación no lineal. Esta es una parte clave del funcionamiento de una red neuronal. Pero la aplicación de esta función requiere mucha potencia informática y circuitos porque implica la transferencia de datos entre dos unidades separadas: la memoria y un procesador externo.

Ahora, los investigadores de UC San Diego han desarrollado un dispositivo de tamaño nanométrico que puede realizar de manera eficiente la función de activación.

«Los cálculos de redes neuronales en hardware se vuelven cada vez más ineficientes a medida que los modelos de redes neuronales se vuelven más grandes y complejos», dijo el autor correspondiente Duygu Kuzum, profesor de ingeniería eléctrica e informática en la Escuela de Ingeniería UC San Diego Jacobs. «Hemos desarrollado un único dispositivo de neuronas artificiales a nanoescala que implementa estos cálculos en hardware de una manera muy eficiente desde el punto de vista energético».

El nuevo estudio se realizó en colaboración entre investigadores de UC San Diego del Departamento de Ingeniería Eléctrica e Informática (dirigido por Kuzum, que es parte del Centro de Computación y Seguridad Integradas por Máquinas) y un Centro de Investigación de Frontera de Energía del DOE (EFRC dirigido por el profesor de física Ivan Schuller), que se centra en el desarrollo de implementaciones de hardware de redes neuronales artificiales energéticamente eficientes.

El dispositivo implementa una de las funciones de activación más comúnmente utilizadas en el entrenamiento de redes neuronales llamada unidad lineal rectificada. La peculiaridad de esta función es que requiere hardware que pueda sufrir un cambio gradual de resistencia para funcionar. Y eso es exactamente para lo que los investigadores de UC San Diego diseñaron su dispositivo: puede pasar gradualmente de un estado aislante a uno conductivo, y lo hace con la ayuda de un poco de calor.

Este cambio es lo que se llama transición de Mott. Tiene lugar en una fina capa nanométrica de dióxido de vanadio. Sobre esta capa hay un calentador de nanocables de titanio y oro. A medida que la corriente fluye a través del nanoalambre, la capa de dióxido de vanadio se calienta lentamente, provocando una transición lenta y controlada del aislamiento a la conducción.

«Esta arquitectura de dispositivo es muy interesante e innovadora», dijo el primer autor Sangheon Oh, doctor en ingeniería eléctrica e informática. estudiante en el laboratorio de Kuzum. Por lo general, los materiales en una transición de Mott experimentan una transición brusca del aislamiento a la conducción porque la corriente fluye directamente a través del material, explicó. «En este caso, pasamos la corriente a través de un nanocable sobre el material para calentarlo e inducir un cambio muy gradual en la resistencia».

Izquierda: primeros planos de la matriz de dispositivos sinápticos (arriba) y la matriz de dispositivos de activación, o neurona (abajo). Derecha: un circuito impreso personalizado construido con las dos matrices.

Para implementar el dispositivo, los investigadores primero fabricaron una serie de estos llamados dispositivos de activación (o neuronas), junto con una serie de dispositivos sinápticos. Luego, integraron las dos matrices en una placa de circuito impreso personalizada y las vincularon para crear una versión de hardware de una red neuronal.

Los investigadores utilizaron la red para procesar una imagen, en este caso una imagen de la Biblioteca Geisel de UC San Diego. La red realizó un tipo de procesamiento de imágenes llamado detección de bordes, que identifica los contornos o bordes de los objetos en una imagen. Este experimento demostró que el sistema de hardware integrado puede realizar operaciones de convolución esenciales para muchos tipos de redes neuronales profundas.

Imagen de la biblioteca Geisel utilizada para la detección de bordes (izquierda). Salida de operaciones de convolución para filtro lateral (centro) y vertical (derecha).

Los investigadores dicen que la tecnología podría expandirse aún más para realizar tareas más complejas, como el reconocimiento de rostros y objetos en automóviles autónomos. Con el interés y la cooperación de la industria, esto podría suceder, señaló Kuzum.

«En este momento, esta es una prueba de concepto», dijo Kuzum. “Es un sistema pequeño en el que solo hemos apilado una capa de sinapsis con una capa de activación. Al apilar más de estos juntos, podría crear un sistema más complejo para diferentes aplicaciones «.

Ponencia: «Neurona de activación Mott energéticamente eficiente para la implementación completa de hardware de redes neuronales».

Este trabajo fue apoyado por la Oficina de Investigación Naval, Samsung Electronics, la Fundación Nacional de Ciencias, los Institutos Nacionales de Salud, la Beca Qualcomm y la Oficina de Ciencias del Departamento de Energía de los Estados Unidos a través de un Centro de Investigación de la Frontera Energética.