¿Podemos confiar en la IA?
Katedra, 12 mayo 2025
Ujué Agudo, doctora en Psicología por la Universidad de Deusto, investiga cómo los algoritmos de inteligencia artificial influyen -a veces sin que seamos del todo conscientes- en la toma de decisiones.
La inteligencia artificial nació con el objetivo de facilitar y mejorar nuestras vidas. Desde tu perspectiva, ¿crees que lo están consiguiendo?
Siempre ha habido un anhelo de que la tecnología nos permita automatizar tareas que consideramos aburridas, sucias o peligrosas. En parte, lo está logrando, pero también se está utilizando en ámbitos que no habíamos previsto y sobre cuyo uso aún no hemos debatido en profundidad, como el desarrollo de tareas creativas, sistemas predictivos de comportamiento humano o sistemas de riesgo.

Imagen de fondo: Ujué Agudo [Cátedra de Cultura Científica UPV/EHU & Iñigo Sierra].
En la actualidad parece que la IA genera adhesiones incondicionales o rechazos absolutos. ¿Dónde te sitúas tú en este debate? ¿Qué riesgos ves en ambas posiciones?
La verdad es que no me gustan ninguno de los dos extremos. Ambas posiciones simplifican un debate que considero más complejo. Trabajo en tecnología e investigación y, por ello, considero fundamental poder hacer una reflexión crítica de los usos que estamos haciendo, para ver cómo podemos usarla mejor, no para criticar su uso.
Por ejemplo, confiar ciegamente en un algoritmo para decidir quién recibe una ayuda social puede ignorar las consecuencias humanas de esa decisión. Pero negarse a usarla también nos puede privar de la eficiencia y rapidez que la tecnología ofrece.
Tu ámbito de investigación se centra en cómo influye la IA en la toma de decisiones humanas. ¿Cómo nos afecta la tecnología en este proceso?
Mi investigación empezó analizando cómo nos condicionan sus recomendaciones, desde las más explícitas, con respuestas como “esta selección sería la más compatible contigo”, hasta las más sutiles, aprovechando sesgos cognitivos de las personas.
Además, cada vez son más los procesos diseñados para que sea la IA quien tome la decisión, pero que sea una persona quien la supervise, sobre todo, en situaciones de alto riesgo. De hecho, la Unión Europea ya ha establecido que en este tipo de procesos siempre tiene que haber supervisión humana.
Inteligencia artificial: preguntas y respuestas*
En este sentido, estoy investigando cómo el diseño de este proceso puede tener un efecto en el acierto, la confianza y la responsabilidad de los humanos que toman decisiones junto a sistemas automatizados en contextos de alto riesgo.
¿Qué sesgos son más comunes en las herramientas de IA que usamos a diario?
Uno de los sesgos más estudiados es el sesgo de automatización, esto es, la tendencia humana a confiar en exceso en las recomendaciones de los algoritmos, tanto si acierta como si falla. Es un sesgo detectado hace décadas en la tecnología en general en campos diferentes como la aviación o la medicina.
Hoy en día, este sesgo de automatización es especialmente relevante en procesos automatizados de alto riesgo, supervisados por humanos, ya que está en cuestión si el humano va a ser realmente capaz de supervisar a la IA o si va a aceptar de manera ciega las recomendaciones o sugerencias que le ofrezca.
Por otro lado, también investigo cómo cambia nuestra percepción cuando sabemos que algo ha sido creado por inteligencia artificial, por ejemplo, en el arte, o en el cine. En estos casos nuestros prejuicios influyen.
El título de tu charla es Algoritmos paternalistas. Cómo afecta a nuestra manera de contar las cosas, al igual que tu libro. ¿Qué significa este concepto?
Nosotros -el libro está coescrito junto a Karlos G. Liberal- definimos los algoritmos paternalistas como aquellos sistemas tecnológicos que influyen en las decisiones humanas, de forma opaca o sin nuestro pleno consentimiento, bajo la premisa de que así el resultado va a ser mejor para nosotros, de que lo hace “por vuestro bien”.
Se está generando una narrativa que encumbra a la IA como la mejor manera para tomar decisiones más efectivas y neutrales. Sin embargo, el hecho de que tenga una capacidad de procesamiento enorme y se le pueda presuponer una mayor eficiencia, no garantiza que sus decisiones sean siempre más adecuadas. Con este argumento, se están delegando muchas decisiones a la inteligencia artificial.
Más allá del trabajo de quienes diseñan los algoritmos, ¿qué margen de acción tenemos las personas usuarias para reducir sesgos?
Tener pensamiento crítico. A veces damos por buenos resultados generados por IA sin pararnos a reflexionar, solo porque parecen correctos, y que si revisáramos en profundidad no pasarían nuestro propio filtro de calidad. Si no incorporamos a esos resultados nuestras propias ideas o criterios, acabamos produciendo contenidos que no aportan valor. Hace falta más pausa y revisión, aunque se utilice la inteligencia artificial para hacer parte del trabajo.
Para terminar, ¿con qué ideas clave te gustaría que se quedara el público tras tu charla?
Quiero que reflexionemos sobre cómo estamos usando algoritmos en decisiones de gran impacto, como las ayudas sociales o la justicia penal, sin cuestionar en muchas ocasiones la narrativa de la “superioridad” de la IA.
Para ello, dentro de mi charla hablaré de ejemplos concretos, entre ellos, el algoritmo Lavender, utilizado por el ejército israelí en Gaza para identificar objetivos; y RisCanvi, sistema que se utiliza para predecir el riesgo de reincidencia en cárceles catalanas. Ambos casos muestran cómo la supervisión humana puede ser superficial o casi inexistente, y cómo se está delegando en la IA en muchos casos sin pensar críticamente.
Sobre la autora: María Larumbe (@emelarumbe.bsky.social) es responsable de comunicación en la Cátedra de Cultura Científica de la UPV/EHU.
Fuente de la cita
María Larumbe, Ujué Agudo: «Necesitamos abrir un debate crítico sobre cómo usamos la inteligencia artificial»,
Edición realizada por Marta Macho Stadler
La toma de decisiones automatizada es cada vez más común en el sector público. Como resultado, las instituciones políticas recomiendan la presencia de humanos en estos procesos de toma de decisiones como medida de protección contra decisiones algorítmicas potencialmente erróneas o sesgadas. Sin embargo, la literatura científica sobre el desempeño de la intervención humana no es concluyente sobre los beneficios y riesgos de dicha presencia, ni aclara qué aspectos de esta interacción persona-computadora pueden influir en la decisión final. En dos experimentos, simulamos un proceso de toma de decisiones automatizada en el que los participantes juzgan a múltiples acusados en relación con diversos delitos y manipulamos el momento en que los participantes reciben apoyo de un supuesto sistema automatizado con Inteligencia Artificial (antes o después de emitir sus juicios). Nuestros resultados muestran que el juicio humano se ve afectado cuando los participantes reciben apoyo algorítmico incorrecto, especialmente cuando lo reciben antes de emitir su propio juicio, lo que resulta en una menor precisión. Los datos y materiales de estos experimentos están disponibles gratuitamente en Open Science Framework: https://osf.io/b6p4z/ El Experimento 2 fue preinscrito.
La inteligencia artificial manipulada por sus propietarios – próximamente
¿Cuál es la diferencia entre IA, IA generativa e inteligencia artificial generativa (IAG)?
La inteligencia artificial está cambiando el futuro del trabajo
Inteligencia artificial con el potencial de comprender al mismo nivel que los humanos
La revolución de la inteligencia artificial en la investigación del cáncer
La inteligencia artificial podría transformar la atención sanitaria