En su origen, con la expresión “deus ex machina” se aludía a un recurso técnico en el teatro clásico griego por el cual, en el momento clave, se colocaba en el escenario -generalmente con una especie de pescante- a un dios que a continuación venía a aportar una solución mágica al nudo que la trama había generado.
Este truco que en algún momento pudo ser original, derivó en abuso, de manera que los dramaturgos (pej. Esquilo en Euménides, Sófocles en Filoctetes y Eurípides en Medea entre otros muchos ejemplos, criticados por su artificiosidad y falta de verosimilitud por Aristóteles en su Poética III, 15) cada vez más artificiosos no encontraban otra salida que acudir al recurso fácil de la magia que todo lo resuelve sin mayores razonamientos.
Algo parecido sucede en nuestros días con la inteligencia artificial, en algunos ámbitos aparece mitificada como una suerte de oráculo al que acudir en busca de una solución, presuponiendo que es siempre razonable y que se acomoda a las necesidades reales del problema que se plantea. Parece que la prioridad se reduce a encontrar una respuesta, delegando ciegamente en el sistema la facultad de decidir, sin crítica y sin plantearse el camino que lleva a la solución propuesta.
Un ejemplo, más actual, lo encontramos en el célebre lema, “think!”, acuñado por Thomas J. Watson Sr., fundador de IBM, en principio para inspirar a sus equipos de ventas – “no te limites a andar buscando vender, sino que primero detente y piensa”, induciendo a reflexionar para generar una estrategia a seguir antes de actuar- y que después se traslada a toda la cultura de la organización. Paradójicamente este lema, desde el punto de vista de los usuarios de IA, deriva a veces precisamente en lo contrario, se sustituye por un “no pienses” y “confía ciegamente en lo que te propone el sistema de IA”.
Reconocidas las utilidades de la inteligencia artificial y su poder de amplificar ciertas capacidades netamente humanas, la principal preocupación, reside precisamente en el uso acrítico de este recurso, y especialmente que pueda producirse sin que seamos capaces de discernir una eventual suplantación de la decisión humana y del centro de imputación ética y jurídica anudado a la misma.
El uso de herramientas de IA por parte de la Administración no está exento de estos mismos riesgos y la búsqueda de la eficacia y la optimización de los recursos no deben estar en disputa con la garantía de la legalidad de su actuación o que plantea una serie de retos:
La delimitación del concepto de IA frente a otras herramientas que pueden o no incorporar esta tecnología como sucede con el bigdata, data analytics, decisiones automatizadas, robotización, etc.
La determinación del uso de IA concreto en relación a los niveles de riesgo que marca el Reglamento IA de la UE; si estamos ante un uso prohibido de artículo 5 o bien ante un uso de “alto riesgo” o ante una mera “herramienta”, a efectos del artículo 6 (capítulo III) y los Anexos I y III, o ante usos de menor riesgo o sin riesgo. Para ello la selección de las herramientas corporativas y de las susceptibles de ser autorizadas es clave para acotar los usos posibles y conducirlos hacia los claramente legales, asumidos por la organización.
El Reglamento impone tanto a los operadores públicos como privados una prestación de alfabetización en el uso de la IA para, entre otras cuestiones, tratar de reducir el riesgo de la brecha digital (art. 4. “literacy”). En el caso de las Administraciones es todavía más exigente por cuanto su uso aparece en los instrumentos de desarrollo de Reglamento como una especie de catalizador para familiarizar y normalizar en nuestra sociedad el uso de estas herramientas con el ejemplo de uso que hagan los propios poderes públicos.
Uno de los principios fundamentales sobre los que pivota la legalidad del uso de las herramientas de IA -especialmente por las Administraciones- es la del “control humano efectivo”. Para que este sea tal es necesario que los empleados que tengan a su disposición estas herramientas cuenten con la formación necesaria para hacer ese examen crítico de los productos en forma de propuestas que emite el sistema. Para que el control no sea meramente formal, incurriendo en el riesgo de rutina o sesgo de automatización, y que sea efectivo, en el sentido de que haya una crítica real y formada, es necesario que las Administraciones incorporen a los planes de formación -inicial y continuada- de sus empleados los contenidos necesarios para dotarles de las habilidades requeridas para todo tipo de perfiles que, como es sabido no son siempre tecnológicos.
La transparencia es otro de los grandes principios que consagra la norma europea en aras de evitar el efecto “caja negra” y que se delegue de forma acrítica en el sistema una decisión que no se puede explicar más allá de remitir – o “echar la culpa”- al sistema. Esa transparencia debida supone que la decisión debe ser explicable y perfectamente trazable sin que pueda haber merma alguna del derecho del interesado a ser informado de los elementos de hecho y de derecho que se han tenido en cuenta para adoptar una decisión. En ciertas ocasiones podría incluir – según la Sentencia del caso Bosco, STS 1119/2025, de 11 de septiembre- revelar el código fuente del sistema empleado. A su vez, este principio debe ponderarse con otros derechos e intereses como los que se deducen de la propiedad intelectual e industrial y puede encontrar límites, como, por ejemplo, en el caso de la Administración Tributaria, en el carácter reservado del Plan de Control Tributario y Aduanero, conforme al artículo 116 de la Ley General Tributaria.
La llamada soberanía tecnológica es un desafío de país que va más allá de los concretos retos de la Administración Pública pero que le incumbe de manera especial. En el momento actual la dependencia de operadores que ofrecen sistemas gratuitos de IA de uso masivo desde jurisdicciones donde la protección de datos –una de las grandes debilidades- y la ciberseguridad no ofrece unos estándares comparables a los europeos -véanse las distintas Sentencias del TJUE sobre el asunto Google- y las garantías que deben ofrecer los operadores que tratan datos de ciudadanos de la UE cuando se establecen en otras jurisdicciones. La construcción de una gigafactoría en nuestro país con la colaboración público-privada dirigida a alcanzar las capacidades necesarias sin demérito de las garantías de derechos está en el horizonte temporal más próximo.
También en un plano superior al de la propia Administración porque afectan a todos los operadores a sus estrategias particulares y a sus instrumentos de Gobernanza, suponen un reto los distintos instrumentos orientadores de política nacional, como la actual Estrategia Nacional de Inteligencia Artificial (“ENIA”) que está agotando su vigencia y ante lo que se plantea la aprobación de una nueva, llamada “IA360”, que trata de acompasar las nuevas realidades del medio plazo – algunas ya recogidas en la reforma de Reglamento europeo operada este mismo año- a las necesidades de nuestra sociedad.
Otro de los grandes desafíos que afrontan las Administraciones públicas ante la interiorización del uso responsable de herramientas de IA es la aplicación de los valores y principios éticos de la organización. En el caso de la AEAT el documento que recoge el compromiso ético en el diseño y uso de las herramientas de IA está aprobado y publicado, un primer paso junto con la formación de las personas y la actualización continua de este instrumento para llevarlo a la práctica y hacer efectivo el principio de responsabilidad.
Diego Loma-Osorio Lerena
Abogado del Estado. Director del Servicio Jurídico de la Agencia Estatal de Administración Tributaria