José Antonio Trujillo.
Lecciones del caso Winters. Cuando la IA Act europea no es suficiente
José Antonio Trujillo, médico experto en IA
Scott Winters, un antiguo pastor de Florida, ha demandado recientemente a OpenAI y a su consejero delegado, Sam Altman, por los consejos médicos que supuestamente recibió de ChatGPT-4o. Según la demanda, presentada en un tribunal de San Francisco, el chatbot minimizó varios de sus síntomas, le recomendó permanecer prácticamente inmóvil y contribuyó a que retrasara la búsqueda de asistencia médica. Winters terminó hospitalizado con una embolia pulmonar que puso en peligro su vida.
La justicia deberá determinar ahora si existe una relación causal entre las respuestas del sistema y el daño sufrido. Hablamos todavía de alegaciones, no de hechos probados. Sin embargo, el caso contiene ya una enseñanza difícil de ignorar: Winters no utilizó la inteligencia artificial como una simple enciclopedia. La convirtió en una autoridad sanitaria. Confió en ella para interpretar sus síntomas, valorar su gravedad y decidir si debía acudir a un profesional.
El caso Winters no habla únicamente de un posible error algorítmico. Habla de una nueva relación clínica que ha nacido sin médico, sin consulta, sin exploración física y sin historia clínica.
Millones de ciudadanos recurren a diario actualmente a sistemas de inteligencia artificial para comprender un análisis, interpretar un informe radiológico, valorar un dolor o pedir una segunda opinión. La conversación es inmediata, accesible y aparentemente personalizada. El chatbot no se limita a ofrecer una lista de enlaces. Pregunta, recuerda, adapta su lenguaje y responde con una seguridad que puede confundirse fácilmente con competencia clínica. La IA no necesita ponerse una bata blanca para que el paciente la considere una autoridad sanitaria de la que fiarse.
Esta nueva autoridad algorítmica tiene una característica singular: puede influir en decisiones sanitarias trascendentes sin asumir formalmente una relación asistencial. No explora al paciente, desconoce parte de sus antecedentes y carece de la percepción clínica que permite advertir que una descripción incompleta esconde una urgencia. Tampoco garantiza continuidad asistencial ni incorpora necesariamente la conversación a la historia clínica.
El peligro no reside únicamente en ofrecer un diagnóstico equivocado. En medicina, unas pocas palabras pueden retrasar una consulta, normalizar una señal de alarma o generar una falsa sensación de seguridad. Recomendar esperar cuando existe dificultad respiratoria, dolor torácico, pérdida de fuerza o riesgo suicida puede resultar tan perjudicial como prescribir un tratamiento incorrecto.
A ello se suma la personalización emocional. Según Winters, el chatbot utilizó información sobre sus creencias y su condición de pastor para reforzar sus recomendaciones. Cuando una máquina emplea nuestro lenguaje, conoce nuestros temores y parece comprendernos, aumenta el riesgo de que le atribuyamos una autoridad que no posee. La empatía simulada puede convertirse en un potente multiplicador de confianza.
No basta entonces con insertar al final de una pantalla la advertencia de que la herramienta no sustituye a un médico. Un aviso legal pierde fuerza cuando toda la conversación anterior reproduce la apariencia de una consulta: interpreta síntomas, formula hipótesis y recomienda conductas.
Europa ha intentado anticiparse a estos riesgos mediante la Ley de Inteligencia Artificial (IA Act). Los sistemas sanitarios clasificados como de alto riesgo deben cumplir obligaciones relacionadas con la gestión de riesgos, la calidad de los datos, la documentación, la información al usuario y la supervisión humana.
Pero el caso Winters revela uno de sus límites. Un chatbot de propósito general puede no haber sido diseñado ni comercializado como producto sanitario y, sin embargo, ser utilizado diariamente como herramienta de diagnóstico, triaje o consejo terapéutico. La frontera entre información general y acto clínico ya no depende solo de la finalidad declarada por el fabricante. Depende también del uso real, previsible y masivo que hacen los ciudadanos.
La IA Act es necesaria, pero no suficiente. Regula tecnologías y distribuye obligaciones, pero no puede sustituir a la gobernanza sanitaria. España debe aprender varias lecciones.
La primera es vigilar no solo los algoritmos adquiridos por hospitales, sino también el uso médico de los modelos generalistas.
La segunda es exigir mecanismos claros de derivación: ante señales de alarma, el sistema debe abandonar cualquier ambigüedad y recomendar asistencia inmediata.
La tercera es crear canales nacionales para notificar incidentes algorítmicos, igual que notificamos efectos adversos de medicamentos o problemas con productos sanitarios.
También necesitamos una adecuada alfabetización sanitaria en inteligencia artificial. Saber utilizarla no consiste únicamente en redactar buenas preguntas. Consiste en reconocer sus límites, contrastar sus respuestas y saber cuándo hay que cerrar la pantalla y acudir a un profesional.
La principal lección del caso Winters no es que debamos expulsar la inteligencia artificial de la medicina. Es que no podemos permitir que entre en ella sin gobierno, sin vigilancia y sin responsables. El futuro sanitario no dependerá únicamente de cuánto sepan los algoritmos. Dependerá de nuestra capacidad para decidir cuándo deben callar, quién debe supervisarlos y quién responde cuando sus palabras ponen en riesgo a un paciente.
