Alex Tamkin, de Anthropic.
¿Cuánto te fías de tu Claude?: puede orientar decisiones razonables (pero discutibles) y tú las asumes como propias
No es que tu Claude sea mala, es que la han dibujado “así”. Y “así” es con un sesgo de automatización tan pronunciado que es capaz de priorizar (elegir y descartar) decisiones hasta conseguir convencerte de que su argumento era, desde el principio, enteramente tuyo.
El sesgo de automatización es un fenómeno más que conocido. Los humanos nos inclinamos a confiar de manera excesiva en todo lo que genera un sistema automatizado o una IA, aceptándolos como correctos sin cuestionarlos realmente.
Un profesional sanitario que utilice la IA debe tener claro que este sesgo le expone a terminar aceptando como propias decisiones razonables pero discutibles en las que la IA ha priorizado qué supuestos aceptar y, sobre todo, qué alternativas descartar. En suma, que la supuesta supervisión humana puede terminar convirtiéndose en una ratificación implícita de los supuestos que eligió la IA.
El aviso no viene de un ludita desde una caverna sin conexión a internet. Su autor es Alex Tamkin, doctor en Machine Learning por Stanford y líder del Anthropic Economic Index, investigador del análisis de uso real de Claude (CLIO) y autor de numerosos trabajos sobre colaboración humano-IA. Tamkin ha publicado un paper titulado ¿Quién se alinea con quién? en el que explora el sesgo de automatización de Claude Code a través de 50 profesionales familiarizados con la inferencia causal a los que pidió que analizaran datos sintéticos de una cooperativa agrícola y recomendaran si ampliar o abandonar el programa. Sí, no eran médicos atendiendo pacientes, es verdad; pero el proceso aplica igual.
El agente que utilizaron, Claude Code, recibió, al azar y sin que los participantes lo supieran, la instrucción de inclinarse hacia una de las dos opciones a defender, pero no tenía permitido inventar datos, sino que tenía que argumentar honradamente. Esto ya revela un punto importante: no hace falta que la IA alucine para que influya en la decisión final.
¿Qué creen que ocurrió? Anthropic lo cuenta en su propia web: el 86% de las decisiones analíticas coincidió con la inclinación que se había asignado, con un efecto causal medio de 72 puntos porcentuales. Y para más inri, tras realizar la tarea, el 77% de los participantes repitió los argumentos de su agente para justificar sus decisiones, muchas veces casi de modo literal. Solo el 15% de ellos mencionó a Claude. Más de la mitad -ojo al dato- se atribuyó la decisión más a sí mismo que a la IA que había utilizado.
Cinco claves para que no le pase en su práctica clínica
Está claro que el estudio de Tamkin tiene limitaciones (reconocidas en el mismo paper) y que no se puede extrapolar así como así a la práctica médica, pero también es cierto que refleja algunos puntos que todo profesional de la salud que quiera utilizar IA para su práctica profesional debería tener esculpidos en la funda de su teléfono móvil.
En primer lugar, revisar la respuesta final no equivale a controlar el razonamiento. Si el agente elige qué estudios destacar, qué desenlace es relevante o cómo pondera los efectos adversos, lo de comprobar al final que “todo parece en orden” es de primero de Capitán a posteriori.
En segundo lugar, en el mundo clínico muchas decisiones tienen un enorme número de opciones: qué prueba priorizar, cómo presentar el ratio beneficio-daño o cuándo derivar. Es cierto que las guías y las contraindicaciones acotan mucho este terreno, pero allí donde no existen valores claros o preferencias del paciente, el médico no debería ceder esa potestad (el criterio clínico) a lo que le parezca mejor a su IA.
En tercer lugar, una obviedad: el hecho de tener una formación excelente o una gran confianza en la habilidad propia no te protegen ni garantizan tu independencia. O como diría Ricky Gervais, el hecho de que estés ofendido no significa que tengas razón. En el paper de Anthropic, los 50 participantes tenían una sólida formación, estaban más que familiarizados con la inferencia causal y eso no les protegió del sesgo de automatización.
En cuarto lugar, lo de no todas las IA son iguales está bien para discutir entre cuñados, pero nada más. Es cierto que el experimento se hizo con una configuración concreta y que ese 86% de match entre lo que la IA proponía y lo que el humano eligió responde a esa configuración. Pero es igual de cierto que el mismo mecanismo opera también en ChatGPT, Gemini o cualquier IA de consumo. Porque el fenómeno no depende de que el modelo te mienta, sino de cómo reacciona un humano ante una respuesta convincente de una IA.
En quinto, y último lugar, quizá el modo de evaluar la seguridad de una IA en salud no sea realmente seguro. Habitualmente se examinan los modelos de un modo aislado: ¿me da respuestas correctas?, ¿alucina?, ¿lo hace mejor que los mejores médicos? Lo que Anthropic revela con este paper es que todo eso no basta: el riesgo no reside sólo en la herramienta, sino en cómo la usamos y cómo reaccionamos a sus argumentos. Una IA podría acertar en todo y aun así estar priorizando (eligiendo y descartando) supuestos mientras el médico está convencido de que decide él. Habría que apuntar a una evaluación más compleja que midiese los modelos también en función de cómo se usan en un proceso clínico real, qué puntos revisa el médico, si contrasta alternativas o únicamente las ratifica. El hecho de que el médico firme un informe no es garantía de que supervisó efectivamente todo el proceso. Pero la firma sí es efectiva, claro.
Es bueno recordar que la Secretaría General de Salud Digital, Información e Innovación del Sistema Nacional de Salud publicó este agosto el documento Orientaciones para profesionales sanitarios en el uso de la IA, a raíz de la aprobación de la Estrategia de Inteligencia Artificial para el Sistema Nacional de Salud (Eiasns).
Bonus track: qué recomienda la propia IA para esta situación
Veamos ahora qué dice una IA (no Claude) al pedirle opciones para mitigar el impacto del sesgo de automatización. De entrada, un disclaimer: “Esta es mi interpretación, no una conclusión del paper. El estudio ha medido el problema, pero no ha probado ninguna solución: no comparó participantes que aplicaban esas prácticas con otros que no, de modo que no hay evidencia de que funcionen”.
Y aquí sus recomendaciones:
- Antes de pedir la recomendación en decisiones importantes, escribir la propia valoración inicial: hipótesis, opciones y qué dato cambiaría la decisión.
- Pedir alternativas defendibles y sus supuestos: "Separa hechos, inferencias y preferencias. Expón la mejor razón para la alternativa". No basta pedir que explique por qué su opción es buena.
- Verificar estudios, dosis y contraindicaciones en fuentes clínicas originales, no en la explicación del propio agente.
- Revisar en puntos de decisión, no solo al final. Y no confundir dos respuestas coincidentes del mismo modelo con dos opiniones independientes.
- No volcar datos identificables de pacientes en un chatbot general: la privacidad es una obligación aparte (guía AEPD del sector sanitario).
