El modelo de código abierto que eclipsa a GPT-3 tiene como objetivo liberar a la IA de Big Tech

El modelo de código abierto que eclipsa a GPT-3 tiene como objetivo liberar a la IA de Big Tech

julio 12, 2022 0 Por RenzoC


Ha llegado un modelo de lenguaje más grande que GPT-3 con una ambición audaz: liberar a la IA de las garras de Big Tech.

Apodado BLOOM, el modelo de lenguaje grande (LLM) promete un rendimiento similar al de los sistemas líderes de Silicon Valley, pero con un enfoque de acceso radicalmente diferente.

Si bien los gigantes tecnológicos tienden a mantener ocultos al público sus tan cacareados LLM, BLOOM está disponible para todos y es gratuito.

Saludos humanoides

Suscríbase a nuestro boletín ahora para recibir un resumen semanal de nuestras historias favoritas de IA en su bandeja de entrada.

También es multilingüe, a diferencia de LaMDA de Google y GPT-3 de OpenAI, una característica inusual en un campo dominado por el inglés.

Estas características podrían democratizar el acceso a una tecnología que debería tener un profundo impacto en la sociedad.

Los poderosos modelos de IA se pueden entrenar y lanzar abiertamente.

Los LLM demuestran ser competentes en una gama cada vez mayor de tareas, incluida la redacción de ensayos, la generación de códigos y la traducción de idiomas.

Sin embargo, son igualmente hábiles para producir contenido dañino, y sus capacidades futuras son difíciles de predecir.

BLOOM brinda a los investigadores una oportunidad única de explorar sus riesgos y beneficios.

«BLOOM es una demostración de que los modelos de IA más poderosos pueden ser entrenados y liberados por la comunidad de investigación en general con responsabilidad y de una manera verdaderamente abierta, a diferencia del secreto típico de los laboratorios de investigación de IA industrial». dijo Teven Le Scao, gerente de capacitación conjunta de BLOOM, en un comunicado.

IA abierta

Los LLM son prohibitivamente caros de crear y ejecutar. La capacitación de GPT-3, por ejemplo, se estimó en $ 27,6 millones.

Inevitablemente, las empresas de tecnología quieren proteger inversiones tan grandes, especialmente cuando ofrecen ventajas competitivas.

Entonces, no sorprende que los LLM rara vez sean de código abierto, con algunas excepciones notables.

Meta produjo la mayor anomalía. En mayo, la compañía ofreció acceso al OPT de 175 mil millones de parámetros sistema.

Sin embargo, el modelo completo solo está disponible bajo pedido y para uso no comercial.

BLOOM acelera la accesibilidad.

El modelo de 176 mil millones de parámetros está disponible gratuitamente para cualquier persona o institución que acepte el sistema Licencia de IA responsable.

Cualquiera también puede ver públicamente las notas de la reunión, las discusiones y el código detrás de la plantilla.

semillas de flor

BLOOM fue creado por BigScience, un proyecto de investigación lanzado a principios de 2021. La iniciativa es lanzada y dirigida por una startup de IA abrazando la cara.

«Los modelos grandes de ML han cambiado el mundo de la investigación de IA en los últimos años, pero el enorme costo computacional requerido para entrenarlos ha significado que muy pocos equipos tienen la capacidad de entrenarlos y buscarlos», dijo el codirector de BigScience, Thomas Wolf. . y co-fundador de Hugging Face

El corpus de formación alineado con nuestros valores.

El equipo de Wolf, compuesto por 100 000 investigadores de más de 60 países y 250 instituciones, desarrolló BLOOM para promover la inclusión y la responsabilidad en los LLM.

Entrenaron a la modelo sobre Supercomputadora Jean Zay en París, Francia.

«Tomamos un enfoque basado en datos para garantizar que el corpus de capacitación estuviera alineado con nuestros valores», dijo Christopher Akiki, investigador de la Universidad de Leipzig e investigador de BigScience.

“La composición multidisciplinaria e internacional de BigScience nos permitió pensar críticamente cada paso del proceso desde múltiples puntos de vista: ético, legal, ambiental, lingüístico y técnico.

«Esto significa que pudimos mitigar las preocupaciones éticas sin comprometer el rendimiento o la escala».

El tamaño es ciertamente imponente. Con 176 mil millones de parámetros, BLOOM es más grande que GPT-3 de OpenAI y OPT de MetaAI.

El modelo puede generar texto en 46 lenguajes naturales y dialectos y 13 lenguajes de programación. Para muchos de ellos, es el primer modelo de lenguaje con más de 100 mil millones de parámetros.

También es excepcionalmente asequible. Gran ciencia dice los investigadores pueden usar BLOOM por menos de $40/hora en un proveedor de nube.

No es probable que el modelo compita con los construidos por Big Tech, pero al menos proporciona una forma de examinarlos.