Marine Renard, responsable de la Unidad de IA del Hospital del Mar.
"La IA potencia el diseño de agentes biológicos peligrosos pero el riesgo final sigue en manos humanas"
La especialista del Hospital del Mar, Marine Renard, analiza la soberanía tecnológica de los hospitales y las posibles amenazas
Von der Leyen: "Necesitamos IA para la salud, pero debemos hacerlo a la manera europea"
La Inteligencia Artificial (IA) ha abierto nuevas posibilidades en el ámbito sanitario, desde el análisis de imágenes médicas hasta el diseño de moléculas y el apoyo a la toma de decisiones clínicas. Sin embargo, el desarrollo de sistemas cada vez más avanzados también plantea nuevos riesgos, entre ellos, la posibilidad de que estas herramientas puedan utilizarse para diseñar agentes biológicos con fines perjudiciales. En este contexto, las Naciones Unidas (ONU) han advertido recientemente de que los daños provocados por la IA ya no son hipotéticos y han alertado sobre los riesgos asociados a un desarrollo y un uso sin las garantías necesarias. Un debate que también ha cobrado peso en España, donde el presidente del Gobierno, Pedro Sánchez, presentó este lunes una hoja de ruta con acciones concretas para los próximos 12 meses destinadas a impulsar el despliegue de la IA en el país desde una perspectiva "humanista".
Marine Renard, responsable de la Unidad de IA del Hospital del Mar, analiza en Redacción Médica las posibilidades y los riesgos de esta tecnología aplicada a la sanidad, con especial atención a uno de los escenarios que más preocupación genera: que una IA pueda utilizarse para diseñar un agente biológico.
Diseñar una molécula no significa poder convertirla en un arma
La especialista explica que la IA ya se utiliza en el ámbito biomédico para acelerar el diseño de nuevas moléculas: “Actualmente esta tecnología ya se ha usado para identificar y priorizar neoantígenos/epítopos y acelerar determinadas etapas en vacunas contra el cáncer. Antes se necesitaba un tiempo y un esfuerzo enorme, mientras que ahora rápidamente se pueden crear estas moléculas. Pero una cosa es crear la molécula y la otra, sintetizarla”.
Esta diferencia es fundamental para entender el alcance real del riesgo. La capacidad de una IA para diseñar una molécula no implica automáticamente que pueda producirla o utilizarla en el mundo real. En este sentido, Renard afirma que la IA “puede facilitar o acelerar el diseño de moléculas o agentes biológicos potencialmente peligrosos, pero que pasar del diseño a la síntesis y utilización requiere capacidades e intervención humanas. En malas manos, esta tecnología podría hacer mucho daño, ya que potencia todo lo positivo como todo lo negativo. Difundir esta herramienta como un arma sería una decisión exclusivamente humana y no de la propia IA”.
Por tanto, aunque la IA puede aumentar la capacidad para diseñar moléculas y acelerar determinados procesos, el paso del diseño a la síntesis y, posteriormente, a la utilización de un agente biológico requiere actuaciones que van más allá de las capacidades de una herramienta de IA. Ante la posibilidad de establecer mecanismos que impidan que estos sistemas puedan utilizarse con fines perjudiciales, Renard señala la dificultad de controlar completamente este riesgo: “La síntesis y utilización de un agente biológico requieren una decisión y una intervención humanas”.
No todas las inteligencias artificiales son iguales
Para comprender los riesgos asociados a la IA en sanidad, la especialista considera fundamental diferenciar los distintos tipos de sistemas que existen. No es lo mismo una herramienta diseñada para realizar predicciones que una IA capaz de generar contenido o un sistema que pueda ejecutar acciones de forma autónoma: “Existe, por una parte, la IA predictiva que calcula por ejemplo el riesgo cardiovascular de una persona en función de sus antecedentes. Por otra parte, existen los sistemas de visión médica, que se realiza principalmente en el diagnóstico, y luego existe la IA generativa, capaz de hacer tareas más complejas”.
Esta última tecnología es todavía poco habitual en los hospitales, pero introduce una diferencia relevante respecto a otros sistemas: su capacidad para ejecutar tareas más complejas. “No solamente te aconseja, sino que es capaz de realizar una acción”. Esta capacidad de actuar sobre el entorno es, precisamente, uno de los elementos que puede incrementar los riesgos de la IA. Renard pone como ejemplo el ámbito de la cirugía y los sistemas robóticos: “No existe uno que opere solo, pero podría estar pirateado de alguna manera o la IA podría hacer algo porque tiene una acción sobre lo real”.
La soberanía tecnológica, otro de los riesgos para la sanidad
Más allá de los escenarios relacionados con la creación de agentes biológicos, Renard sitúa otro de los principales desafíos de la IA sanitaria en la dependencia tecnológica de sistemas desarrollados y alojados fuera del propio entorno hospitalario.
En los últimos meses también se ha debatido sobre sistemas de IA capaces de encontrar vías para salir de entornos controlados. Aunque la especialista considera que estos escenarios están alejados de las aplicaciones actuales de la IA en los hospitales, defiende que España debería avanzar hacia una mayor soberanía tecnológica y reducir la dependencia de herramientas externas.
Por ello, apuesta por “modelos que no estén en la nube y buscar IA más simples, pero que pueden dar muy buenos resultados con un coste económico y ecológico más bajo y con más seguridad. Es un gran riesgo si el sistema que usa un hospital depende de un modelo que está en otro país, ya que puede llegar un momento que todo tu sistema se encuentre en jaque”. En este sentido, la especialista considera que la incorporación de la IA a la sanidad no debería basarse únicamente en utilizar los modelos más avanzados, sino también en valorar el control que los centros sanitarios pueden mantener sobre las herramientas que emplean.
![Profesional sanitario.](["https:\/\/s1.redaccionmedica.com\/k\/imgp\/cms\/sanitaria2000\/92922.jpg?p=w:320\/h:240&h=nKNxm1dZ"])
Dentro de la Medicina, Renard defiende así el concepto de soberanía tecnológica aplicado a los hospitales y apuesta por una incorporación progresiva de estas herramientas: “Se debe aprovecha la IA como una oportunidad, pero con sentido común y usando herramientas simples y controlables. No hace falta pasar de cero a cien en dos años”.
La IA que actúa dentro del hospital
Uno de los siguientes pasos en la evolución de estas tecnologías será la incorporación de sistemas capaces no solo de recomendar una actuación, sino también de ejecutarla. En el ámbito hospitalario, esto podría traducirse en herramientas capaces de realizar determinadas gestiones a partir de las indicaciones de un profesional: “Se trata de un escenario que se está empezando a plantear y de una posible evolución hacia sistemas más agénticos, no de algo que esté actualmente desplegado de forma habitual en los hospitales”.
Según Renard, este escenario ya está siendo analizado por la regulación europea: “Se contempla que en un futuro próximo se tengan agentes capaces de ejecutar determinadas acciones bajo indicación y supervisión profesional”.
La diferencia entre que la IA actúe por indicación de un profesional y que tome por sí misma una decisión resulta especialmente relevante en sanidad. Para Renard, el reto pasa por “aprovechar las posibilidades que ofrecen estos sistemas sin perder de vista quién mantiene el control sobre las decisiones y sobre las herramientas que intervienen en la atención sanitaria”.
