"Ninguna decisión médica importante debe quedar solo en manos de máquinas"

La inteligencia artificial médica avanza sobre una materia especialmente sensible: los datos de salud. Su uso permite entrenar algoritmos, mejorar diagnósticos e impulsar la investigación, pero también exige proteger derechos fundamentales, evitar sesgos y garantizar que la decisión clínica siga siendo humana. Esa es una de las ideas centrales del Manual de Buenas Prácticas para la Inteligencia Artificial en Medicina, publicado por la Organización Médica Colegial (OMC), en el que participa Cristina Gil Membrado, catedrática de Derecho Civil de la Universidad de las Islas Baleares e investigadora principal del proyecto: El Derecho ante la Salud Digital, Personalizada y Robótica.

Desde una mirada jurídica, Gil Membrado analiza en esta entrevista cómo deben convivir la innovación sanitaria, la protección de datos, la Ley Europea de IA y el Espacio Europeo de Datos de Salud. También advierte de que la supervisión humana no puede ser una mera formalidad y de que los sesgos algorítmicos deben entenderse como un riesgo clínico real. Su mensaje es claro: la IA puede ayudar al médico, pero no debe sustituir su criterio ni debilitar el humanismo que sostiene la relación con el paciente..

El manual insiste en que la IA médica necesita datos de salud para funcionar, pero también recuerda que son datos especialmente sensibles. ¿Cómo se puede equilibrar la protección del paciente con la necesidad de compartir datos para mejorar diagnóstico, investigación e innovación?

La inteligencia artificial médica necesita datos de salud para funcionar, ya que son el combustible que permite entrenar algoritmos, validarlos y mejorar los diagnósticos. Pero, al mismo tiempo, esos datos son probablemente la información más sensible que existe sobre una persona. Por eso, el verdadero desafío no consiste en elegir entre protección del paciente e innovación, sino en conseguir ambas cosas.

A menudo se presenta el debate como si hubiera que optar entre compartir datos para avanzar en investigación o proteger la privacidad de los pacientes. Creo que ese planteamiento es erróneo. El modelo europeo parte de otra idea: la innovación sanitaria solo será efectiva si genera confianza.

La normativa europea pretende precisamente equilibrar la protección de la información personal del paciente con la necesidad de compartir los datos para mejorar diagnósticos y avanzar en investigación e innovación.

El Reglamento General de Protección de Datos (RGPD) establece una primera garantía fundamental: los datos de salud no pueden utilizarse libremente. Son una categoría especialmente protegida y solo pueden tratarse cuando existe una base jurídica adecuada, como la asistencia sanitaria, el interés público en salud o la investigación científica con garantías. Además, exige principios como la minimización de datos, la limitación de la finalidad, la transparencia y la seguridad.

La Ley Europea de IA añade una segunda capa de protección. Mientras que el RGPD protege a la persona como titular de los datos, la Ley de IA se centra en que el sistema sea seguro y fiable. Nos encontramos ante IA de alto riesgo, lo que obliga a utilizar datos de calidad y representativos, evaluar riesgos, documentar el funcionamiento del sistema, garantizar la supervisión humana y controlar posibles sesgos.

Un ejemplo sencillo ayuda a entenderlo. Si se desarrolla una IA para detectar cáncer de pulmón a partir de radiografías, no basta con disponer de miles de imágenes. También hay que comprobar que los datos representen adecuadamente a mujeres y hombres, personas jóvenes y mayores, distintos hospitales y diferentes grupos poblacionales. De lo contrario, el sistema puede funcionar muy bien para unos pacientes y peor para otros.

El tercer elemento clave es el Espacio Europeo de Datos de Salud. Esta iniciativa permite reutilizar datos clínicos obtenidos en la asistencia sanitaria para investigación, innovación o entrenamiento de sistemas de IA, pero bajo condiciones estrictas: los investigadores no acceden libremente a las historias clínicas; los datos se someten a procesos de seudonimización; el acceso requiere autorización y el análisis se realiza en entornos seguros donde no pueden descargarse ni utilizarse para identificar a pacientes concretos.

Podemos imaginarlo como una biblioteca altamente protegida. Los investigadores pueden consultar la información para generar conocimiento, pero no llevarse los expedientes a casa ni conocer la identidad de las personas a las que pertenecen la información.
Por supuesto, ningún sistema ofrece riesgo cero. La posibilidad de reidentificación o de usos indebidos existe y debe vigilarse constantemente. Por eso la protección de datos ya no puede entenderse únicamente como una cuestión jurídica o tecnológica. También depende de la gobernanza, de la supervisión continua y de la formación de los profesionales.

En definitiva, el equilibrio entre protección del paciente e innovación no se alcanza prohibiendo el uso de datos ni permitiendo su circulación sin límites. Se logra mediante reglas, controles y responsabilidades que permitan utilizar datos reales para mejorar la medicina sin perder de vista que detrás de cada dato hay una persona. Esa es precisamente la apuesta del modelo europeo construido sobre el RGPD, la Ley de IA y el Espacio Europeo de Datos de Salud: una IA capaz de aprender de los datos, pero sin sacrificar los derechos fundamentales de los pacientes.

Nos ha hablado de normativa como el RGPD, la Ley de IA y el Espacio Europeo de Datos de Salud. Para un médico que no es jurista, ¿cuál sería la idea básica que debe tener clara antes de utilizar una herramienta de IA en consulta?

Si tuviera que resumirlo diría que el médico debe recordar tres ideas muy sencillas: el RGPD protege los datos del paciente, la Ley de IA regula la seguridad y fiabilidad de la herramienta, y el Espacio Europeo de Datos de Salud establece cómo pueden reutilizarse los datos sanitarios para investigación e innovación.

En la práctica, y de modo sencillo, el médico que utiliza la IA debería preguntarse:

Conforme al RGPD: ¿Puedo utilizar estos datos y con qué condiciones? Aquí el profesional deberá valorar aspectos como la privacidad y los derechos del paciente. Deberá exigir que exista una base jurídica para tratar los datos, que solo se utilice la información necesaria y que se garantice la confidencialidad y la seguridad.

Según la Ley de IA: ¿Es esta herramienta suficientemente segura y fiable para utilizarla en un entorno clínico? Aquí el foco ya no está tanto en los datos, sino en el control de riesgos, la supervisión humana, la calidad de los datos utilizados para entrenar el algoritmo, la evaluación de sesgos y los mecanismos de trazabilidad.

Finalmente, desde la normativa sobre el Espacio Europeo de Datos de Salud: ¿Cómo podemos aprovechar los datos sanitarios para mejorar la investigación, desarrollar nuevos tratamientos o entrenar sistemas de IA sin comprometer la privacidad de los pacientes? En este caso lo fundamental es facilitar el uso secundario de los datos dentro de un marco seguro y controlado. Ahora bien, lo que más claro debe tener el médico que utiliza una herramienta de IA es que ninguna de estas normas convierte a la IA en responsable de la decisión clínica. La IA puede ayudar, alertar, priorizar o sugerir, pero la responsabilidad profesional sigue siendo humana.

Pensemos en una herramienta que detecta posibles hemorragias cerebrales en un TAC urgente. El RGPD garantiza que las imágenes del paciente se utilicen correctamente. La Ley de IA exige que el sistema haya sido validado y supervisado antes de llegar al hospital. Y el Espacio Europeo de Datos de Salud puede facilitar que miles de imágenes contribuyan a mejorar futuros algoritmos.

Pero lo más importante, y en lo que insiste el Manual de Buenas Prácticas para la Inteligencia Artificial en Medicina de la OMC es que ninguna decisión importante sobre la salud debe quedar solo en manos de una máquina y que la IA clínica exige supervisión humana significativa.

El profesional sanitario debería hacerse tres preguntas muy prácticas antes de utilizar una herramienta de IA:

• ¿Sé qué hace esta herramienta y cuáles son sus limitaciones?
• ¿Puedo revisar críticamente su resultado en lugar de aceptarlo de forma automática?
• ¿Sigue siendo mía la decisión clínica final?

Si la respuesta a estas tres preguntas es afirmativa, probablemente el profesional estará utilizando la IA de la forma para la que fue concebida: como una herramienta de apoyo al juicio clínico y no como un sustituto del profesional.

Señala como riesgo principal del uso de la IA que una decisión automatizada afecte a la salud del paciente sin una supervisión humana real. ¿Qué significa, jurídicamente, que la supervisión del médico sea "efectiva" y no meramente formal?

La expresión supervisión humana significativa es probablemente una de las más importantes de toda la regulación europea sobre inteligencia artificial sanitaria y también una de las que más genera dudas al profesional.

Desde una perspectiva jurídica, supervisar no significa simplemente que haya un médico sentado delante de una pantalla cuando la IA emite una recomendación. Tampoco basta con que exista la posibilidad teórica de intervenir. La supervisión debe ser real, significativa y capaz de influir en el resultado.

Dicho de forma sencilla: el profesional debe conservar la capacidad de entender, cuestionar, corregir o incluso rechazar la recomendación del sistema cuando las circunstancias clínicas lo aconsejen.

Imaginemos un sistema de IA que clasifica automáticamente a los pacientes que llegan a Urgencias según su nivel de riesgo. Si el médico, debido a la presión asistencial, acepta sistemáticamente todas las clasificaciones sin revisar los datos clínicos, la supervisión existe solo sobre el papel. Formalmente hay un profesional en el proceso, pero materialmente quien está decidiendo es el algoritmo.

Por el contrario, pensemos en una radióloga que utiliza una IA para detectar lesiones pulmonares en un TAC. La IA le hace una sugerencia, pero la profesional revisa personalmente las imágenes, compara estudios previos, analiza el contexto clínico del paciente y decide finalmente si confirma o descarta el hallazgo. En este caso la supervisión es efectiva porque existe una valoración crítica independiente.

Desde el punto de vista jurídico, la cuestión clave no es si el médico participa, sino si puede influir realmente en la decisión.
Para que esa supervisión sea efectiva o significativa deben concurrir varias condiciones. El profesional debe conocer las capacidades y limitaciones de la herramienta; debe disponer de información suficiente para interpretar el resultado; debe tener tiempo y capacidad para revisarlo críticamente; y debe poder apartarse de la recomendación sin que el sistema o la organización le empujen a aceptarla de forma automática.

A veces se presenta la supervisión humana como una obligación individual del médico, cuando en realidad también es una responsabilidad institucional. No puede hablarse de supervisión significativa si un profesional debe validar decenas de recomendaciones algorítmicas en pocos minutos o bajo una presión asistencial incompatible con una revisión crítica.

La supervisión humana requiere tiempo, recursos, formación y estructuras organizativas adecuadas. De lo contrario, existe el riesgo de que el médico permanezca formalmente en el proceso de decisión, pero que, en la práctica, la decisión la esté adoptando el algoritmo. Esa situación sería difícilmente compatible con el modelo de supervisión humana que exige la regulación europea.
En definitiva, la IA puede identificar patrones, calcular probabilidades o detectar señales difíciles de apreciar por el ojo humano, pero no conoce al paciente, no comprende todas las circunstancias clínicas ni puede asumir responsabilidad profesional.

Un ejemplo en el que seguro todos nos vemos reflejados: la aviación tiene piloto automático desde hace tiempo, pero… ¿Nos daría confianza embarcar en un avión sin piloto humano? A mí, sin duda, no. Cuanto más compleja es la tecnología, más necesaria es la supervisión humana cuando las cosas no van según lo previsto. En medicina ocurre exactamente igual.

Por eso el principio jurídico de supervisión humana significativa encierra una idea muy sencilla: la IA puede asistir al médico, pero no debe sustituir su criterio. La decisión clínica final debe seguir siendo una decisión genuinamente humana y no la mera ratificación de una conclusión algorítmica. Esta idea es constante en el Manual de Buenas Prácticas para la Inteligencia Artificial en Medicina de la OMC.

El manual advierte de que los sesgos en IA pueden convertirse en un riesgo clínico real. Desde el Derecho, ¿qué obligaciones tienen los centros sanitarios para detectar, corregir o evitar discriminaciones algorítmicas?

Cuando una IA se equivoca de forma sistemática con determinados grupos de pacientes, deja de ser simplemente una cuestión estadística. Puede convertirse en un riesgo real para la salud. Pensemos en una herramienta diseñada para detectar cáncer de piel. Si ha sido entrenada principalmente con imágenes de personas de piel clara, es posible que funcione muy bien para esa población, pero mucho peor para pacientes con piel oscura. El resultado puede ser un retraso diagnóstico, un tratamiento tardío y una peor evolución clínica para determinados pacientes.

Precisamente por eso la regulación europea considera los sesgos una cuestión central. La Ley de IA obliga a que los sistemas de alto riesgo utilicen datos de entrenamiento, validación y prueba que sean relevantes, suficientemente representativos y adecuados para la finalidad prevista. El objetivo es reducir el riesgo de resultados discriminatorios o sistemáticamente erróneos.

Pero las obligaciones no recaen únicamente sobre los desarrolladores. Los centros sanitarios también tienen responsabilidades importantes cuando incorporan estas herramientas a la práctica clínica.

La primera obligación es no asumir que la IA es neutral por definición. Existe una cierta tendencia a pensar que, por tratarse de una tecnología basada en datos, sus resultados son necesariamente objetivos. Sin embargo, los algoritmos aprenden de los datos históricos y, si esos datos contienen desequilibrios o sesgos, el sistema puede reproducirlos e incluso amplificarlos.

La segunda obligación es monitorizar el funcionamiento real de la herramienta una vez implantada. Una IA puede haber funcionado correctamente durante su validación inicial y, sin embargo, mostrar peores resultados en determinados grupos de pacientes cuando se utiliza en condiciones reales. Por eso resulta esencial realizar un seguimiento continuo de su rendimiento y detectar posibles diferencias según edad, sexo, origen étnico, patologías asociadas u otras variables clínicamente relevantes.

La tercera obligación consiste en establecer mecanismos de revisión y corrección. Si un hospital detecta que una herramienta presenta tasas de error significativamente superiores en una determinada población, no puede limitarse a aceptar ese resultado. Debe comunicar la incidencia, revisar el uso del sistema, adoptar medidas correctoras y, si es necesario, restringir o suspender su utilización hasta que el problema quede solucionado.

Quizá sea mejor explicar todo lo anterior mediante un ejemplo. El denominado síndrome de Yentl describe una realidad bien documentada en cardiología: durante décadas, la enfermedad cardiovascular se estudió principalmente en hombres y los síntomas considerados "típicos" del infarto se construyeron sobre patrones masculinos. Como consecuencia, muchas mujeres fueron infradiagnosticadas, diagnosticadas más tarde o recibieron menos tratamientos y procedimientos invasivos, pese a presentar un riesgo cardiovascular similar o incluso superior.

El problema surge cuando una IA se entrena con esos datos históricos. El algoritmo puede aprender que las mujeres tienen menos riesgo o requieren menos intervenciones, no porque sea clínicamente cierto, sino porque así aparecen reflejadas en los registros sanitarios. De este modo, la IA puede perpetuar e incluso amplificar desigualdades preexistentes.

Por eso, no basta con disponer de grandes cantidades de datos. Es imprescindible analizar si esos datos contienen sesgos históricos que puedan traducirse en decisiones clínicas discriminatorias para determinados grupos de pacientes.

Este mensaje lo representa a la perfección la expresión “garbage in, garbage out” (GIGO) -atribuida al programador e instructor de IBM George Fuechsel-, que indica que ningún algoritmo puede producir resultados de calidad si aprende a partir de datos de mala calidad o sesgados.

El problema no es que el algoritmo discrimine por sí mismo, sino que aprende de una realidad clínica imperfecta y corre el riesgo de convertir errores históricos en decisiones automatizadas aparentemente objetivas.

El mensaje para los profesionales sanitarios que lanza el Manual de Buenas Prácticas para la Inteligencia Artificial en Medicina de la OMC es claro: los sesgos son una cuestión de seguridad clínica. Detectarlos y corregirlos una exigencia normativa y forma parte de la obligación de ofrecer una asistencia segura y de calidad a todos los pacientes.

Además, el profesional no debe incurrir en el llamado "sesgo de automatización" que se produce cuando el médico confía excesivamente en sistemas tecnológicos al percibirlos como más precisos u objetivos que la imperfecta mente humana. El riesgo no es solo que la IA pueda contener sesgos, sino que el profesional deje de cuestionarla.

Porque en definitiva el riesgo no es que la IA piense como un médico, sino que el médico termine trabajando como una máquina. En este escenario, el humanismo no es un complemento de la profesión médica, sino su esencia: aquello que preserva la empatía, el juicio prudente y la singularidad de cada encuentro clínico.