Con esta quinta entrada ponemos punto final al comentario sintético del Reglamento (UE) 2024/1689 del Parlamento Europeo y del Consejo de 13 de junio de 2024 por el que se establecen normas armonizadas en materia de inteligencia artificial y por el que se modifican los Reglamentos (CE) n.o 300/2008, (UE) n.o 167/2013, (UE) n.o 168/2013, (UE) 2018/858, (UE) 2018/1139 y (UE) 2019/2144 y las Directivas 2014/90/UE, (UE) 2016/797 y (UE) 2020/1828 (Reglamento de Inteligencia Artificial) (RIA); que comenzamos el pasado lunes 22 de julio con una primera entrada dedicada a sus aspectos generales y continuamos con las de los pasados miércoles 24 de julio, viernes 26 de julio y lunes 29 de julio sobre su estructura y su funcionamiento, respectivamente.
(…)
II. SUPERVISIÓN
(…)
C) Seguimiento posterior a la comercialización de los sistemas de IA
a) La necesidad de supervisar los sistemas de IA como organismos vivos
Los sistemas de IA pueden ser contemplados como organismos vivos que se desarrollan en el tiempo y -metafóricamente hablando- nacen, crecen, pueden reproducirse y morir. Es por ello por lo que, al referirnos a los elementos objetivos que integran la estructura de los sistemas de IA hicimos referencia a las funciones cronológicas de estos sistemas que comienzan con una fase inicial en la que se producen las operaciones de introducción en el mercado, definida como “la primera comercialización en el mercado de la Unión de un sistema de IA o de un modelo de IA de uso general” (arrt.3.9); de comercialización, definida como “el suministro de un sistema de IA o de un modelo de IA de uso general para su distribución o utilización en el mercado de la Unión en el transcurso de una actividad comercial, previo pago o gratuitamente” (art.3.10); y de puesta en servicio definida como “el suministro de un sistema de IA para su primer uso directamente al responsable del despliegue o para uso propio en la Unión para su finalidad prevista” (art.3.11).
Hay que tener presente que, tal y como anticipamos al referirnos a la estructura de los sistemas de IA, esta fase inicial puede ser seguida de las fases sucesivas en las que se puede producir la recuperación de un sistema de IA, entendida como “toda medida encaminada a conseguir la devolución al proveedor de un sistema de IA puesto a disposición de los responsables del despliegue, a inutilizarlo o a desactivar su uso” (art.3.16) y su modificación sustancial, definida como “un cambio en un sistema de IA tras su introducción en el mercado o puesta en servicio que no haya sido previsto o proyectado en la evaluación de la conformidad inicial realizada por el proveedor y a consecuencia del cual se vea afectado el cumplimiento por parte del sistema de IA de los requisitos establecidos en el capítulo III, sección 2, o que dé lugar a una modificación de la finalidad prevista para la que se haya evaluado el sistema de IA de que se trate” (art.3.23).
Por lo anterior, la supervisión de los sistemas de IA no puede circunscribirse al momento inicial de su comercialización, sino que debe extenderse a lo largo de toda su existencia abarcando el periodo posterior mediante sistemas de vigilancia poscomercialización, definidos como “todas las actividades realizadas por los proveedores de sistemas de IA destinadas a recoger y examinar la experiencia obtenida con el uso de sistemas de IA que introducen en el mercado o ponen en servicio, con objeto de detectar la posible necesidad de aplicar inmediatamente cualquier tipo de medida correctora o preventiva que resulte necesaria” (art.3.25).
Estos sistemas se desarrollan en el Capítulo IX del RIA (art.72 a 94) que establece la manera de “seguimiento posterior a la comercialización, intercambio de información y vigilancia del mercado” y se desarrolla mediante las cinco funciones siguientes.
b) El sistema de vigilancia poscomercialización por parte de los proveedores
Los propios proveedores de los sistemas de IA deberán establecer y documentar un sistema de vigilancia poscomercialización de forma proporcionada a la naturaleza de las tecnologías de IA y a los riesgos de los sistemas de IA de alto riesgo. Procede concretar dos aspectos de su regulación:
b.1) Contenido
En cuanto se refiere a su contenido, este sistema de vigilancia poscomercialización recopilará, documentará y analizará de manera activa y sistemática los datos pertinentes que pueden facilitar los responsables del despliegue o que pueden recopilarse a través de otras fuentes sobre el funcionamiento de los sistemas de IA de alto riesgo durante toda su vida útil, y que permiten al proveedor evaluar el cumplimiento permanente de los requisitos establecidos en la sección 2 del capítulo III del RIA, por parte de los sistemas de IA. Cuando proceda, la vigilancia poscomercialización incluirá un análisis de la interacción con otros sistemas de IA. Esta obligación no comprenderá los datos operativos sensibles de los responsables del despliegue que sean autoridades garantes del cumplimiento del Derecho.
b.2) Documentación: plan de vigilancia
En lo que interesa a su documentación, el sistema de vigilancia poscomercialización se basará en un plan de vigilancia poscomercialización que formará parte de la documentación técnica a que se refiere el anexo IV del RIA. A estos efectos, la Comisión deberá adoptar un acto de ejecución en el que se establecerán disposiciones detalladas que constituyan un modelo para el plan de vigilancia poscomercialización y la lista de elementos que deberán incluirse en él a más tardar el 2 de febrero de 2026.
Por último, existirán dos tipos de planes de vigilancia poscomercialización; los referidos a sistemas de IA riego normal y los de alto riesgo (art.72).
c) El intercambio de información sobre incidentes graves
La finalidad material de los sistemas de vigilancia poscomercialización consiste en posibilitar las debidas alarmas que se articularán mediante el mecanismo de notificación de incidentes graves por los proveedores de sistemas de IA de alto riesgo introducidos en el mercado de la Unión a las autoridades de vigilancia del mercado de los Estados miembros en los que se haya producido dicho incidente.
A estos efectos, procede recordar que dentro de las patologías e infracciones que integran los elemento objetivos de la estructura de los sistemas de IA ubicamos los incidentes graves, definidos como “un incidente o defecto de funcionamiento de un sistema de IA que, directa o indirectamente, tenga alguna de las siguientes consecuencias: a) el fallecimiento de una persona o un perjuicio grave para su salud; b) una alteración grave e irreversible de la gestión o el funcionamiento de infraestructuras críticas; c) el incumplimiento de obligaciones en virtud del Derecho de la Unión destinadas a proteger los derechos fundamentales; d) daños graves a la propiedad o al medio ambiente” (art.3.49).
d) La garantía del cumplimiento efectivo del RIA
El RIA prevé los siguientes mecanismos de garantía de su cumplimiento efectivo:
d.1) La vigilancia del mercado y el control de los sistemas de IA en el mercado de la Unión, asegurando que la aplicación del RIA resulta compatible con la del Reglamento (UE) 2019/1020, de 20 de junio de 2019 relativo a la vigilancia del mercado y la conformidad de los productos (art.74). En concreto, hay que tener en cuenta que el artículo 18 del Reglamento (UE) 2019/1020 de 20 de junio de 2019 relativo a la vigilancia del mercado y la conformidad de los productos se aplicará mutatis mutandis a los proveedores del modelo de IA de uso general, sin perjuicio de las garantías procesales más específicas previstas en el presente Reglamento (artículo 94. Garantías procesales de los operadores económicos del modelo de IA de uso general).
d.2) La asistencia mutua, vigilancia del mercado y control de sistemas de IA de uso general (art.75).
d.3) La supervisión de las pruebas en condiciones reales por las autoridades de vigilancia del mercado (art.76).
d.4) La atribución de poderes de las autoridades encargadas de proteger los derechos fundamentales (art.77).
d.5) El respeto de la confidencialidad de la información y los datos obtenidos en el ejercicio de sus funciones y actividades por parte de la Comisión Europea, las autoridades de vigilancia del mercado, los organismos notificados y cualquier otra persona física o jurídica que participe en la aplicación del RIA (art.77).
d.6) Determinados procedimientos especiales aplicables a escala nacional a los sistemas de IA que presenten un riesgo (art.79); a los sistemas de IA clasificados por el proveedor como no de alto riesgo en aplicación del anexo III (art.80); de salvaguardia de la Unión (art.81); y a los sistemas de IA conformes que presenten un riesgo (art.82).
d.7) El procedimiento especial de actuación cuando la autoridad de vigilancia del mercado de un Estado miembro constate una de las situaciones de incumplimiento formal tipificadas en el art.83.
d.8) Las estructuras de apoyo a los ensayos de IA de la Unión que podrá designar la Comisión Europea (art.84).
e) Las vías de recurso
Dado que el RIA se aplicará directamente en los Estados miembros de la UE y dado que dichos Estados se asientan sobre el paradigma del Estado de Derecho: es imprescindible que el RIA reconozca los siguientes derechos y recursos a toda persona física o jurídica que tenga motivos para considerar que se ha infringido lo dispuesto en el propio RIA:
e.1) El derecho a presentar reclamaciones ante la autoridad de vigilancia del mercado pertinente; todo ello sin perjuicio de otras vías administrativas o judiciales de recurso(art.85).
e.2) El derecho a obtener una explicación de las decisiones tomadas individualmente (art.86).
e.3) El derecho a gozar del sistema de protección de los denunciantes establecido en la Directiva (UE) 2019/1937 de 23 de octubre de 2019 relativa a la protección de las personas que informen sobre infracciones del Derecho de la Unión (art.87).XXX
f) Régimen especial de supervisión de los proveedores de modelos de IA de uso general
En este epígrafe dedicado a la supervisión de los sistemas de IA procede que fijemos nuestra atención en el régimen especial de “supervisión, investigación, cumplimiento y seguimiento respecto de proveedores de modelos de IA de uso general” que se establece en la Sección 5 del capítulo IX del RIA para dejar constancia de las facultades de las Instituciones de la UE para supervisar el cumplimiento de las obligaciones de los proveedores de estos de modelos de IA de uso general. En este sentido, verificamos que:
f.1) La Comisión tendrá competencias exclusivas para supervisar y hacer cumplir el capítulo V, teniendo en cuenta las garantías procedimentales previstas en el artículo 94. La Comisión debe confiar la ejecución de estas tareas a la Oficina de IA, sin perjuicio de las competencias de organización de la Comisión y del reparto de competencias entre los Estados miembros y la Unión en virtud de los Tratados (Artículo 88. Cumplimiento de las obligaciones de los proveedores de modelos de IA de uso general). Además, la Comisión podrá solicitar al proveedor del modelo de IA de uso general interesado que facilite la documentación preparada por el proveedor de conformidad con los artículos 53 y 55, o cualquier otra información que sea necesaria para evaluar el cumplimiento del presente Reglamento por parte del proveedor (artículo 91. Poderes para solicitar documentación e información). Por último y cuando resulte necesario y conveniente, la Comisión podrá solicitar a los proveedores que adopten las medidas oportunas para cumplir sus obligaciones; apliquen medidas de reducción de riesgos cuando la evaluación realizada apunte a que existen motivos serios y fundados de preocupación por la existencia de un riesgo sistémico a escala de la Unión; o restrinjan la comercialización del modelo, lo retiren o lo recuperen (artículo 93. Poderes para solicitar la adopción de medidas).
f.2) La Oficina de IA podrá tomar las medidas necesarias para supervisar la aplicación y cumplimiento efectivos del presente Reglamento por parte de los proveedores de modelos de IA de uso general, incluida su observancia de los códigos de buenas prácticas aprobados. (artículo 89. Medidas de seguimiento). Además, la Oficina de IA, previa consulta al Consejo de IA, podrá realizar evaluaciones del modelo de IA de uso general de que se trate con el fin de evaluar si el proveedor cumple sus obligaciones en virtud del presente Reglamento, cuando la información recabada resulte insuficiente o investigar riesgos sistémicos a escala de la Unión de modelos de IA de uso general con riesgo sistémico, en particular a raíz de una alerta cualificada del grupo de expertos científicos de conformidad con el artículo 90, apartado 1, letra a) (artículo 92. Poderes para realizar evaluaciones)
f.3) El grupo de expertos científicos podrá proporcionar alertas cualificadas a la Oficina de IA cuando tenga motivos para sospechar que un modelo de IA de uso general plantea un riesgo concreto reconocible a escala de la Unión o un modelo de IA de uso general reúne las condiciones a que se refiere el artículo 51. (artículo 90. Alertas del grupo de expertos científicos sobre riesgos sistémicos).
E) Apoyo a la innovación: Espacios controlados de pruebas para la IA y pruebas de sistemas de IA de alto riesgo en condiciones reales
Queremos poner punto final a este epígrafe II del funcionamiento de los sistemas de IA refiriéndonos a las “medidas de apoyo a la innovación” que establece el capítulo VI (arts.57 a 63) del RIA que podemos clasificar en dos apartados:
a) Espacios controlados de pruebas para la IA
a.1) Noción y documentación
Procede recordar que un espacio controlado de pruebas para la IA se define como “un marco controlado establecido por una autoridad competente que ofrece a los proveedores y proveedores potenciales de sistemas de IA la posibilidad de desarrollar, entrenar, validar y probar, en condiciones reales cuando proceda, un sistema de IA innovador, con arreglo a un plan del espacio controlado de pruebas y durante un tiempo limitado, bajo supervisión regulatoria” (art.3.55) y que un plan del espacio controlado de pruebas es “un documento acordado entre el proveedor participante y la autoridad competente en el que se describen los objetivos, las condiciones, el calendario, la metodología y los requisitos para las actividades realizadas en el espacio controlado de pruebas” (art.3.54).
a.2) Establecimiento
El RIA prevé que los Estados miembros de la UE velarán por que sus autoridades competentes establezcan al menos un espacio controlado de pruebas para la IA a escala nacional, que estará operativo a más tardar el 2 de agosto de 2026 (artículo 57. Espacios controlados de pruebas para la IA).
Esta obligación los Estados miembros de la UE podrá cumplirse mediante las siguientes actuaciones alternativas equivalentes:
a.2.1) Que dicho espacio controlado de pruebas se establezca conjuntamente con las autoridades competentes de otros Estados miembros.
a.2.2) La participación en un espacio controlado de pruebas existente en la medida en que dicha participación proporcione un nivel de cobertura nacional equivalente a los Estados miembros participantes.
a.2.3) El establecimiento de espacios controlados de pruebas para la IA adicionales a escala regional o local.
En todo caso, la Comisión Europea podrá proporcionar apoyo técnico, asesoramiento y herramientas para el establecimiento y el funcionamiento de los espacios controlados de pruebas para la IA.
Además, el Supervisor Europeo de Protección de Datos también podrá establecer un espacio controlado de pruebas para la IA para las instituciones, órganos y organismos de la Unión, y podrá ejercer las funciones y tareas de las autoridades nacionales competentes de conformidad con el presente capítulo.
(El lector interesado en el establecimiento anticipado en España de un espacio controlado de pruebas para la IA puede consultar las entradas de este blog de 11 y 12 de diciembre de 2023 sobre la “Inteligencia artificial y entornos controlados de pruebas (“regulatory sandboxes”): Real Decreto 817/2023, de 8 de noviembre” en las que dimos cuenta del Real Decreto 817/2023, de 8 de noviembre, que establece un entorno controlado de pruebas para el ensayo del cumplimiento de la propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial que entró en vigor el viernes 10 de noviembre de 2023).
a.3) Finalidades
Los espacios controlados de pruebas para la IA deberán proporcionar un entorno controlado que fomente la innovación y facilite el desarrollo, el entrenamiento, la prueba y la validación de sistemas innovadores de IA durante un período limitado antes de su introducción en el mercado o su puesta en servicio, con arreglo a un plan del espacio controlado de pruebas específico acordado entre los proveedores o proveedores potenciales y la autoridad competente. Tales espacios controlados de pruebas podrán incluir pruebas en condiciones reales supervisadas dentro de ellos.
En concreto, el establecimiento de espacios controlados de pruebas para la IA tendrá por objeto contribuir a los siguientes objetivos: mejorar la seguridad jurídica para lograr el cumplimiento del RIA o, en su caso, de otras disposiciones de Derecho de la Unión y nacional aplicable; apoyar el intercambio de mejores prácticas mediante la cooperación con las autoridades que participan en el espacio controlado de pruebas para la IA; fomentar la innovación y la competitividad y facilitar el desarrollo de un ecosistema de la IA; contribuir a un aprendizaje normativo basado en datos contrastados; facilitar y acelerar el acceso al mercado de la UE de los sistemas de IA, en particular cuando los proporcionen pymes, incluidas las empresas emergentes (art.57.9)
a.4) Contenido
Para evitar que el propósito unificador implícito en el régimen que establece el RIA para los espacios controlados de pruebas se vea desvirtuado por normativas nacionales heterogéneas que conduzcan a la fragmentación en la UE; se establece la previsión de que la Comisión Europea adoptará actos de ejecución que especifiquen las disposiciones detalladas para el establecimiento, el desarrollo, la puesta en práctica, el funcionamiento y la supervisión de los espacios controlados de pruebas para la IA. Dichos actos de ejecución incluirán principios comunes sobre las siguientes cuestiones: los criterios de admisibilidad y selección para participar en el espacio controlado de pruebas para la IA; los procedimientos para la solicitud, la participación, la supervisión, la salida y la terminación del espacio controlado de pruebas para la IA, incluidos el plan del espacio controlado de pruebas y el informe de salida; y las condiciones aplicables a los participantes (artículo 58. “Disposiciones detalladas relativas a los espacios controlados de pruebas para la IA y al funcionamiento de dichos espacios”).
a.5) Responsabilidades
Desde el punto de vista jurídico presente una importancia decisiva las previsiones del RIA sobre las eventuales responsabilidades derivadas de la participación de proveedores en los espacios controlados de pruebas para la IA (art.57.12) porque:
a.5.1) Se prevé una causa general de imputación de sus eventuales responsabilidades civiles cuando dice que los proveedores y proveedores potenciales que participen en el espacio controlado de pruebas para la IA responderán, con arreglo al Derecho de la Unión y nacional en materia de responsabilidad, de cualquier daño infligido a terceros como resultado de la experimentación realizada en el espacio controlado de pruebas.
a.5.2) Se establece una causa excepcional de exoneración de las responsabilidades administrativas cuando dispone que, siempre que los proveedores potenciales respeten el plan específico y las condiciones de su participación y sigan de buena fe las orientaciones proporcionadas por la autoridad nacional competente, las autoridades no impondrán multas administrativas por infracciones del RIA.
a.6) Régimen especial para las PYMES, las empresas emergentes y las microempresas
Dada la especial posición que tienen en este ámbito las PYMES, las empresas emergentes y las microempresas tanto por su poder innovador como por su debilidad económica, en RIA prevé un régimen especial asentado sobre la previsión de que loa Estados miembros proporcionarán a las pymes, incluidas las empresas emergentes, que tengan un domicilio social o una sucursal en la Unión un acceso prioritario a los espacios controlados de pruebas para la IA, siempre que cumplan las condiciones de admisibilidad y los criterios de selección; el acceso prioritario no impedirá que otras pymes, incluidas las empresas emergentes, distintas de las mencionadas en el presente apartado accedan al espacio controlado de pruebas para la IA, siempre que también cumplan las condiciones de admisibilidad y los criterios de selección; organizarán actividades de sensibilización y formación específicas sobre la aplicación del presente Reglamento adaptadas a las necesidades de las pymes, incluidas las empresas emergentes, los responsables del despliegue y, en su caso, las autoridades públicas locales; etc. (artículo 62 “Medidas dirigidas a proveedores y responsables del despliegue, en particular pymes, incluidas las empresas emergentes”).
En parecido sentido, el RIA prevé un régimen excepcional para las microempresas en el sentido de la Recomendación 2003/361/CE, las cueles podrán cumplir determinados elementos del sistema de gestión de la calidad de manera simplificada, siempre que no tengan empresas asociadas o empresas vinculadas en el sentido de dicha Recomendación. A tal fin, la Comisión elaborará directrices sobre los elementos del sistema de gestión de la calidad que puedan cumplirse de manera simplificada teniendo en cuenta las necesidades de las microempresas sin que ello afecte al nivel de protección ni a la necesidad de cumplir los requisitos relativos a los sistemas de IA de alto riesgo (artículo 63 “Excepciones para operadores específicos”).
b) Pruebas de sistemas de IA de alto riesgo en condiciones reales
b.1) Noción y documentación
Según indicamos al inicio de este epígrafe dedicado a la regulación del apoyo a la innovación en el RIA, junto a los espacios controlados de pruebas para la IA; se regula el régimen de las pruebas de sistemas de IA de alto riesgo en condiciones reales.
Debemos comenzar recordando que la prueba en condiciones reales se define como “la prueba temporal de un sistema de IA para su finalidad prevista en condiciones reales, fuera de un laboratorio u otro entorno de simulación, con el fin de recabar datos sólidos y fiables y evaluar y comprobar la conformidad del sistema de IA con los requisitos del presente Reglamento; si se cumplen todas las condiciones establecidas en el artículo 57 o 60, no se considerará una introducción en el mercado o una puesta en servicio del sistema de IA en el sentido de lo dispuesto en el presente Reglamento” (art.3.57) y que los planes de prueba en condiciones reales se definen como “un documento que describe los objetivos, la metodología, el ámbito geográfico, poblacional y temporal, el seguimiento, la organización y la realización de la prueba en condiciones reales” (art.3.53). Se prevé que la Comisión adopte, mediante un acto de ejecución, los elementos detallados del plan de la prueba en condiciones reales (art.60.1).
b.2) Realización
Los proveedores o proveedores potenciales de sistemas de IA de alto riesgo enumerados en el anexo III del RIA podrán realizar, en cualquier momento antes de la introducción en el mercado o la puesta en servicio del sistema de IA por cuenta propia o en asociación con uno o varios responsables del despliegue o responsables del despliegue potenciales; pruebas de sistemas de IA de alto riesgo en condiciones reales fuera de los espacios controlados de pruebas para la IA de conformidad con el plan de la prueba en condiciones reales; todo ello sin perjuicio de las prohibiciones establecidas en el artículo 5 del RIA (art.60.1).
b.3) Consentimiento informado
Desde el punto de vista jurídico, dentro de la regulación de estos planes de prueba en condiciones reales en el RIA, presenta una importancia especial el consentimiento informado que se define como como “la expresión libre, específica, inequívoca y voluntaria por parte de un sujeto de su voluntad de participar en una determinada prueba en condiciones reales tras haber sido informado de todos los aspectos de la prueba que sean pertinentes para su decisión de participar” (art.3.59).
Este consentimiento informado se obtendrá de los sujetos de las pruebas antes de participar en dichas pruebas y después de haber recibido información concisa, clara, pertinente y comprensible en relación con la naturaleza y los objetivos de las pruebas en condiciones reales y los posibles inconvenientes asociados a su participación; las condiciones en las que se van a llevar a cabo las pruebas en condiciones reales, incluida la duración prevista de la participación del sujeto o los sujetos; sus derechos y las garantías relativas a su participación, en particular su derecho a negarse a participar y el derecho a abandonar las pruebas en condiciones reales en cualquier momento sin sufrir por ello perjuicio alguno y sin tener que proporcionar ninguna justificación; las disposiciones para solicitar la reversión o el descarte de las predicciones, recomendaciones o decisiones del sistema de IA; y el número de identificación único para toda la Unión de la prueba en condiciones reales de conformidad con el artículo 60, apartado 4, letra c), y la información de contacto del proveedor o de su representante legal, de quien se puede obtener más información (artículo 61 “Consentimiento informado para participar en pruebas en condiciones reales fuera de los espacios controlados de pruebas para la IA”).