Descubierta una nueva técnica de inteligencia artificial con el potencial de comprender al mismo nivel que los humanos
- Investigadores de la New York University y la UPF han publicado recientemente un artículo en la revista Nature, donde exponen las características del modelo técnico que han creado con esta finalidad.
Barcelona, 26 de octubre de 2023.
NUVE- Promoción investigación
Las personas tenemos la capacidad de aprender un concepto nuevo y, una vez adquirido, comprender los diferentes contextos y expresiones en los que se utiliza. Por ejemplo, cuando un niño o niña aprende qué significa “saltar”, también es capaz de comprender de inmediato qué significa «saltar dos veces alrededor de la habitación» o «saltar con las manos arriba». Esta capacidad se denomina “generalización composicional”.
La inteligencia artificial, capaz de combinar conceptos igual (o mejor) que la mente humana
Investigadores de la Nueva York University (NYU) y de la Universidad Pompeu Fabra (UPF) acaban de crear una técnica pionera que tiene el potencial de desarrollar la “generalización composicional” en los sistemas computacionales al mismo nivel que en los seres humanos o, en algunos casos, incluso a un nivel superior. Este descubrimiento, que puede servir para mejorar las capacidades de herramientas de inteligencia artificial generativa como el ChatGPT, se expone en un artículo publicado este miércoles 25 de octubre por la revista Nature.
La tecnología desarrollada por los investigadores de la NYU y la UPF llega después de cerca de cuatro décadas de trabajo de la comunidad científica para desarrollar la capacidad de «generalización composicional» entre las máquinas. A finales de la década de 1980, Jerry Fodor y Zenon Pylyshyn, filósofos y científicos cognitivos, ya plantearon que las redes neuronales artificiales -los motores que impulsan la inteligencia artificial y el aprendizaje automático- no son capaces de realizar estas conexiones , conocidas como «generalizaciones composicionales». Desde entonces, se han desarrollado diferentes formas de incentivar esta capacidad en las redes neuronales y tecnologías afines, pero con resultados desiguales. Así pues, hoy en día todavía se mantiene vivo el debate sobre cómo conseguirlo.
Brenden Lake (NYU): «Hemos demostrado, por primera vez, que una red neuronal genérica puede imitar o superar la generalización sistemática humana en una comparación cara a cara»
Brenden Lake
En este sentido, el descubrimiento publicado por la revista Nature es fundamental, tal y como explica Brenden Lake , profesor adjunto del Centro de Ciencia de Datos y del Departamento de Psicología de la NYU y uno de los autores del artículo: «Durante 35 años, los investigadores de las ciencias cognitivas, la inteligencia artificial, la lingüística y la filosofía han debatido si las redes neuronales pueden conseguir una generalización sistemática similar a la humana”. «Hemos demostrado, por primera vez, que una red neuronal genérica puede imitar o superar la generalización sistemática humana en una comparación frente a frente» – añade Lake.
La nueva técnica, Meta-learning for Compositionality (MLC), parte de métodos de entrenamiento distintos a los de la mayoría de herramientas actuales de IA
La técnica desarrollada por los investigadores se denomina Meta-learning for Compositionality (MLC). El MLC se centra en el entrenamiento de redes tecnológicas neuronales para mejorar la generalización composicional de los sistemas computacionales a través de su práctica. Los creadores de los sistemas existentes hasta la fecha, incluidos los modelos lingüísticos usados por tecnologías de IA generativa, partían del supuesto de que la “generalización composicional” de las tecnologías surgiría a partir de métodos de entrenamiento estándar, o bien habían desarrollado arquitecturas especiales para conseguir que las máquinas adquirieran estas capacidades. En cambio, el MLC muestra que las máquinas pueden desarrollar las habilidades de “generalización composicional” a partir de la práctica explícita de ejercicios que le ayuden a adquirirla.
Marco Baroni (UPF): «creemos que el MLC puede mejorar aún más las habilidades composicionales de los grandes modelos lingüísticos»
Marco Baroni (UPF)
«Los grandes modelos lingüísticos como el de ChatGPT siguen teniendo problemas con la generalización composicional, aunque han mejorado en los últimos años. Pero creemos que el MLC puede mejorar aún más las habilidades composicionales de los grandes modelos lingüísticos» – asegura Baroni, profesor e investigador ICREA del Departamento de Traducción y Ciencias del Lenguaje ( DTCL ) de la UPF, en el que forma parte del grupo Computational Linguistics and Linguistic Theory ( COLT ).
El MLC parte de un procedimiento de aprendizaje innovador en el que una red neuronal se actualiza continuamente para mejorar sus habilidades a lo largo de una serie de fases. En una fase, la tecnología MLC recibe una nueva palabra y se le pide que la utilice en nuevas composiciones. Por ejemplo, se le pide que tome la palabra «saltar» y después cree nuevas combinaciones como «saltar dos veces» o «saltar dos veces a la derecha». A continuación, el MLC recibe, en una nueva fase, una palabra distinta, y así sucesivamente, mejorando cada vez las habilidades composicionales de la red.
Para probar la eficacia del MLC, Brenden Lake (NYU) y Marco Baroni (UPF) han realizado una serie de experimentos con participantes humanos en los que les planteaban tareas idénticas a las realizadas por el sistema MLC. Además, en lugar de aprender el significado de palabras reales -términos que las personas ya conocerían-, tuvieron que aprender el significado de términos sin sentido (por ejemplo, «zup» y «dax»), definidos por los investigadores y aprender a aplicarlos de distintas formas. El rendimiento del MLC fue tan bueno –y en algunos casos mejor– como el de los participantes humanos. Tanto el MLC como las personas también superaron al ChatGPT y el GPT-4, que, a pesar de mostrar sorprendentes capacidades en términos generales, mostraron dificultades con esta tarea de aprendizaje vinculada a la “generalización composicional”.
Artículo de referencia: Inteligencia artificial con el potencial de comprender al mismo nivel que los humanos
Lake, BM, Baroni, M. Human-like systematic generalization through a meta-learning neural network. Nature (2023). https://doi.org/10.1038/s41586-023-06668-3
La inteligencia artificial está cambiando el futuro del trabajo