Con esta tercera entrada seguimos la senda del comentario sintético del Reglamento (UE) 2024/1689 del Parlamento Europeo y del Consejo de 13 de junio de 2024 por el que se establecen normas armonizadas en materia de inteligencia artificial y por el que se modifican los Reglamentos (CE) n.o 300/2008, (UE) n.o 167/2013, (UE) n.o 168/2013, (UE) 2018/858, (UE) 2018/1139 y (UE) 2019/2144 y las Directivas 2014/90/UE, (UE) 2016/797 y (UE) 2020/1828 (Reglamento de Inteligencia Artificial) (RIA); que comenzamos el pasado lunes 22 de julio con una primera entrada dedicada a sus aspectos generales y continuamos con la del pasado miércoles 24 de julio sobre su estructura.
I. FUNCIONAMIENTO BIFÁSICO
Expondremos el funcionamiento del RIA asumiendo la propia noción de “funcionamiento de un sistema de IA” como “la capacidad de un sistema de IA para alcanzar su finalidad prevista” (art.3.18) que se define como “el uso para el que un proveedor concibe un sistema de IA, incluidos el contexto y las condiciones de uso concretos, según la información facilitada por el proveedor en las instrucciones de uso, los materiales y las declaraciones de promoción y venta, y la documentación técnica” (art.3.12).
A partir de esta base, ordenaremos la exposición del funcionamiento de un sistema de IA conforme al RIA en las dos fases siguientes:
a) En la primera fase expondremos el sistema de regulación de la IA que veremos opera sobre la base de su respectivo nivel de riesgo, de modo tal que el RIA clasifica los sistemas de IA en varias categorías que determinan los deberes que se imponen a los distintos operadores implicados en cada una de ellas y se asigna el nivel de transparencia exigible.
b) En la segunda fase expondremos el sistema de supervisión que abarca desde la gobernanza pública y privada, hasta el seguimiento posterior a su comercialización alcanzando las actividades de fomento o apoyo a la innovación.
II. REGULACIÓN
Según acabamos de indicar, el sistema de regulación de la IA que veremos opera sobre la base de su respectivo nivel de riesgo. Es por ello por lo que nos parece pertinente recobrar la noción de riesgo del RIA como “la combinación de la probabilidad de que se produzca un perjuicio y la gravedad de dicho perjuicio” (art.3.2) y añadir la noción de riesgo sistémico, definido como “un riesgo específico de las capacidades de gran impacto de los modelos de IA de uso general, que tienen unas repercusiones considerables en el mercado de la Unión debido a su alcance o a los efectos negativos reales o razonablemente previsibles en la salud pública, la seguridad, la seguridad pública, los derechos fundamentales o la sociedad en su conjunto, que puede propagarse a gran escala a lo largo de toda la cadena de valor”.
De este modo, el RIA clasifica los sistemas de IA en varias categorías que podríamos tipificar en las tres siguientes: sistemas de IA de riesgo inadmisible y, por lo tanto, prohibidos; sistemas de IA de alto riesgo y, por lo tanto, rodeados de especiales garantías; y sistemas de IA de riesgo normal sujetos a medidas de transparencia.
A) Sistemas de IA de riesgo inadmisible: Prácticas prohibidas
Las prácticas de IA prohibidas se describen en el artículo 5 del RIA -único constitutivo de su Capítulo II- que opera mediante un triple mecanismo de regla general de prohibición, excepción de prácticas permitidas y autorización pública -judicial o administrativa- de prácticas inicialmente prohibidas. A continuación, ofrecemos algunos ejemplos de cada fase:
a) Regla general de prohibición
Esta regla general de prohibición opera sobre la base de describir las diferentes prácticas de IA prohibidas en función de sus causas y sus efectos según podemos comprobar cuando el art.5 del RIA dispone que quedan prohibidas las prácticas de IA consistentes en la introducción en el mercado, la puesta en servicio o la utilización de un sistema de IA que:
a.1) Se sirva de técnicas subliminales que trasciendan la conciencia de una persona o de técnicas deliberadamente manipuladoras o engañosas con el objetivo o el efecto de alterar de manera sustancial el comportamiento de una persona o un colectivo de personas, mermando de manera apreciable su capacidad para tomar una decisión informada y haciendo que tomen una decisión que de otro modo no habrían tomado, de un modo que provoque, o sea razonablemente probable que provoque, perjuicios considerables a esa persona, a otra persona o a un colectivo de personas (art.5.1.a).
a.2) Explote alguna de las vulnerabilidades de una persona física o un determinado colectivo de personas derivadas de su edad o discapacidad, o de una situación social o económica específica, con la finalidad o el efecto de alterar de manera sustancial el comportamiento de dicha persona o de una persona que pertenezca a dicho colectivo de un modo que provoque, o sea razonablemente probable que provoque, perjuicios considerables a esa persona o a otra (art.5.1.b).
a.3) Para evaluar o clasificar a personas físicas o a colectivos de personas durante un período determinado de tiempo atendiendo a su comportamiento social o a características personales o de su personalidad conocidas, inferidas o predichas, de forma que la puntuación ciudadana resultante provoque una o varias de las situaciones siguientes: un trato perjudicial o desfavorable hacia determinadas personas físicas o colectivos de personas en contextos sociales que no guarden relación con los contextos donde se generaron o recabaron los datos originalmente (…) (art.5.1.c).
b) Excepción de prácticas permitidas
En algunos supuestos, conviven las descripciones de las prohibiciones con sus inmediatas excepciones como ocurre con la introducción en el mercado, la puesta en servicio para este fin específico o el uso de un sistema de IA para:
b.1) Realizar evaluaciones de riesgos de personas físicas con el fin de valorar o predecir el riesgo de que una persona física cometa un delito basándose únicamente en la elaboración del perfil de una persona física o en la evaluación de los rasgos y características de su personalidad; prohibición esta que no se aplicará a los sistemas de IA utilizados para apoyar la valoración humana de la implicación de una persona en una actividad delictiva que ya se base en hechos objetivos y verificables directamente relacionados con una actividad delictiva (art.5.1.d).
b.2) Inferir las emociones de una persona física en los lugares de trabajo y en los centros educativos, excepto cuando el sistema de IA esté destinado a ser instalado o introducido en el mercado por motivos médicos o de seguridad (art.5.1.f)
b.3) De categorización biométrica que clasifiquen individualmente a las personas físicas sobre la base de sus datos biométricos para deducir o inferir su raza, opiniones políticas, afiliación sindical, convicciones religiosas o filosóficas, vida sexual u orientación sexual; prohibición esta que no incluye el etiquetado o filtrado de conjuntos de datos biométricos adquiridos lícitamente, como imágenes, basado en datos biométricos ni la categorización de datos biométricos en el ámbito de la garantía del cumplimiento del Derecho (art.5.1.g).
b.4) De identificación biométrica remota «en tiempo real» en espacios de acceso público con fines de garantía del cumplimiento del Derecho, salvo y en la medida en que dicho uso sea estrictamente necesario para alcanzar uno o varios de los objetivos siguientes: (…) (art.5.1.h).
c) Autorización pública -judicial o administrativa- de prácticas inicialmente prohibidas
La eventual autorización pública -judicial o administrativa- de prácticas inicialmente prohibidas se contempla por el RIA en dos hipótesis:
c.1) En la hipótesis prevista de que el uso de un sistema de identificación biométrica remota «en tiempo real» en espacios de acceso público con fines de garantía del cumplimiento del Derecho estará supeditado a la concesión de una autorización previa por parte de una autoridad judicial o una autoridad administrativa independiente cuya decisión sea vinculante del Estado miembro en el que vaya a utilizarse dicho sistema, que se expedirá previa solicitud motivada y de conformidad con las normas detalladas del Derecho nacional (art.5.3).
c.2) En la hipótesis previsible de que los Estados miembros contemplen la posibilidad de autorizar, ya sea total o parcialmente, el uso de sistemas de identificación biométrica remota «en tiempo real» en espacios de acceso público con fines de garantía del cumplimiento del Derecho dentro de los límites y en las condiciones que se indican en el apartado 1, párrafo primero, letra h), y los apartados 2 y 3. En este caso, los Estados miembros de que se trate deberán establecer en sus respectivos Derechos nacionales las normas detalladas necesarias aplicables a la solicitud, la concesión y el ejercicio de las autorizaciones a que se refiere el apartado 3, así como a la supervisión y la presentación de informes relacionadas con estas (art.5.5).
B) Riesgo alto: sistemas de IA de alto riesgo
La regulación de los sistemas de IA de alto riesgo constituye el “corazón” del RIA que les dedica su capítulo III que desarrolla los aspectos siguientes:
a) Clasificación
Las “reglas de clasificación de los sistemas de IA de alto riesgo” resultan extremadamente complejas porque operan por remisión a determinados Anexos del RIA, de modo tal que contemplan dos categorías de este tipo de sistemas de IA que son:
a.1) Los sistemas de IA de alto riesgo por estar integrados en determinados productos
Se trata de los productos comprendidos en el ámbito de aplicación de los actos legislativos de armonización de la Unión enumerados la lista de 20 normas del Anexo I que los divide, a su vez, en dos secciones referidas a los actos legislativos de armonización de la Unión basados en el nuevo marco legislativo que comprende 12 disposiciones que se abren con la Directiva 2006/42/CE del Parlamento Europeo y del Consejo, de 17 de mayo de 2006, relativa a las máquinas y por la que se modifica la Directiva 95/16/CE (Sección A) y a otros actos legislativos de armonización de la Unión que comprende las 8 disposiciones restantes que se abren con el Reglamento (CE) n.o 300/2008 del Parlamento Europeo y del Consejo, de 11 de marzo de 2008, sobre normas comunes para la seguridad de la aviación civil y por el que se deroga el Reglamento (CE) n.o 2320/2002 (Sección B). Esta calificación del sistema de IA se producirá con independencia de si se ha introducido en el mercado o se ha puesto en servicio sin estar integrado componente de seguridad de un producto (art.6.1).
a.2) Los sistemas de IA de alto riesgo por impactar en determinados ámbitos
Se trata de los sistemas de IA de alto riesgo así calificados por referencia sustancial a los siguientes 8 ámbitos contemplados en el Anexo III del RIA (art.6.2):
a.2.1) Biometría, en la medida en que su uso esté permitido por el Derecho de la Unión o nacional aplicable.
a.2.2) Infraestructuras críticas, que abarca los sistemas de IA destinados a ser utilizados como componentes de seguridad en la gestión y el funcionamiento de las infraestructuras digitales críticas, del tráfico rodado o del suministro de agua, gas, calefacción o electricidad.
a.2.3) Educación y formación profesional.
a.2.4) Empleo, gestión de los trabajadores y acceso al autoempleo.
a.2.5) Acceso a servicios privados esenciales y a servicios y prestaciones públicos esenciales y disfrute de estos servicios y prestaciones. Dado el sesgo financiero de este blog, debemos prestar especial atención a dos tipos de sistemas incluidos en esta categoría que son:
a.2.5.1) Los sistemas de IA destinados a ser utilizados para evaluar la solvencia de personas físicas o establecer su calificación crediticia, salvo los sistemas de IA utilizados al objeto de detectar fraudes financieros.
a.2.5.2) Los sistemas de IA destinados a ser utilizados para la evaluación de riesgos y la fijación de precios en relación con las personas físicas en el caso de los seguros de vida y de salud.
a.2.6) Garantía del cumplimiento del Derecho, en la medida en que su uso esté permitido por el Derecho de la Unión o nacional aplicable.
a.2.7) Migración, asilo y gestión del control fronterizo, en la medida en que su uso esté permitido por el Derecho de la Unión o nacional aplicable.
a.2.8) Administración de justicia y procesos democráticos.
Procede advertir sobre la importancia de las eventuales modificaciones de este Anexo III previstas en el artículo 7 que contempla que la Comisión estará facultada para adoptar actos delegados con arreglo al artículo 97 al objeto de modificar el anexo III mediante la adición, modificación o supresión de casos de uso de sistemas de IA de alto riesgo.
b) Requisitos
En términos generales, los sistemas de IA de alto riesgo deberán cumplir los requisitos establecidos en la sección 2 (arts.8 a 15) del capítulo III del RIA que se refieren al sistema de gestión de riesgos, a los datos y gobernanza de datos, a la documentación técnica, a la conservación de registros, a la transparencia y comunicación de información a los responsables del despliegue, a la supervisión humana y a sus propiedades de precisión, solidez y ciberseguridad.
De entre ellos procede destacar el sistema de gestión de riesgos, que deberá establecerse, implantarse, documentarse y mantenerse. Este sistema de gestión de riesgos se entenderá como un proceso iterativo continuo planificado y ejecutado durante todo el ciclo de vida de un sistema de IA de alto riesgo, que requerirá revisiones y actualizaciones sistemáticas periódicas y constará de las etapas de determinación y análisis de los riesgos conocidos y previsibles que el sistema de IA de alto riesgo pueda plantear para la salud, la seguridad o los derechos fundamentales cuando el sistema de IA de alto riesgo se utilice de conformidad con su finalidad prevista; estimación y evaluación de los riesgos que podrían surgir cuando el sistema de IA de alto riesgo se utilice de conformidad con su finalidad prevista y cuando se le dé un uso indebido razonablemente previsible; evaluación de otros riesgos que podrían surgir, a partir del análisis de los datos recogidos con el sistema de vigilancia poscomercialización a que se refiere el artículo 72; y adopción de medidas adecuadas y específicas de gestión de riesgos diseñadas para hacer frente a los riesgos detectados (art.9).
c) Obligaciones de los operadores
La gestión de los sistemas de IA de alto riesgo se completa imponiendo a los sujetos que operan en su entrono un conjunto de obligaciones que se refieren a cada uno de los grupos de tal modo que:
c.1) Los proveedores de sistemas de IA de alto riesgo velarán por que sus sistemas de IA de alto riesgo cumplan los requisitos definidos en la sección 2 del RIA; indicarán en el sistema de IA de alto riesgo o, cuando no sea posible, en el embalaje del sistema o en la documentación que lo acompañe, según proceda, su nombre, su nombre comercial registrado o marca registrada y su dirección de contacto; contarán con un sistema de gestión de la calidad que cumpla lo dispuesto en el artículo 17 del RIA; conservarán la documentación a que se refiere el artículo 18 del RIA; cuando estén bajo su control, conservarán los archivos de registro generados automáticamente por sus sistemas de IA de alto riesgo a que se refiere el artículo 19 del RIA; se asegurarán de que los sistemas de IA de alto riesgo sean sometidos al procedimiento pertinente de evaluación de la conformidad a que se refiere el artículo 43 del RIA antes de su introducción en el mercado o puesta en servicio; elaborarán una declaración UE de conformidad en virtud de lo dispuesto en el artículo 47 del RIA; colocará el marcado CE en el sistema de IA de alto riesgo o, cuando no sea posible, en su embalaje o en la documentación que lo acompañe, para indicar la conformidad con el RIA de acuerdo con lo dispuesto en su artículo 48; cumplirán las obligaciones de registro a que se refiere el artículo 49.1 del RIA; adoptarán las medidas correctoras necesarias y facilitarán la información exigida en el artículo 20 del RIA; demostrarán, previa solicitud motivada de la autoridad nacional competente, la conformidad del sistema de IA de alto riesgo con los requisitos exigibles; y velarán por que el sistema de IA de alto riesgo cumpla requisitos de accesibilidad de conformidad con las Directivas (UE) 2016/2102 y (UE) 2019/882 (art.16).
c.2) Los representantes autorizados de los proveedores de sistemas de IA de alto riesgo cumplirán los deberes que establece el artículo 23 del RIA.
c.3) Los importadores, antes de introducir un sistema de IA de alto riesgo en el mercado, deberán asegurarse de que el sistema sea conforme con el RIA, verificando los extremos enumerados en su artículo 23.
c.4) Los distribuidores, antes de comercializar un sistema de IA de alto riesgo, verificarán que este lleve el marcado CE exigido, que vaya acompañado de una copia de la declaración UE de conformidad y de las instrucciones de uso, y que el proveedor y el importador de dicho sistema, según corresponda, hayan cumplido sus obligaciones (art.24).
c.5) Los responsables del despliegue de sistemas de IA de alto riesgo adoptarán medidas técnicas y organizativas adecuadas para garantizar que utilizan dichos sistemas con arreglo a las instrucciones de uso que los acompañen (art.26).
d) Supervisión pública
La supervisión pública sistemas de IA de alto riesgo se asienta sobre procedimientos necesarios para su evaluación, designación y notificación de los organismos de evaluación de la conformidad, así como de su supervisión. Para ello, cada Estado miembro nombrará o constituirá al menos una autoridad notificante que será responsable de establecer y llevar a cabo dichos procedimientos, que se desarrollarán por medio de la cooperación entre las autoridades notificantes de todos los Estados miembros (art.28).
A estos efectos el RIA establece las disposiciones pertinentes sobre las autoridades notificantes, la solicitud de notificación por parte de un organismo de evaluación de la conformidad, el procedimiento de notificación, los requisitos relativos a los organismos notificados, la presunción de conformidad con los requisitos relativos a los organismos notificados, las filiales de organismos notificados y subcontratación, las obligaciones operativas de los organismos notificados, los números de identificación y listas de organismos notificados, los cambios en las notificaciones, el cuestionamiento de la competencia de los organismos notificados, la coordinación de los organismos notificados, los organismos de evaluación de la conformidad de terceros países, las normas, evaluación de la conformidad, certificados, registro, las normas armonizadas y documentos de normalización, las especificaciones comunes, la presunción de conformidad con determinados requisitos, la evaluación de la conformidad, los certificados, las obligaciones de información de los organismos notificados y la exención del procedimiento de evaluación de la conformidad (arts.29 a 46).
En este sistema tiene especial importancia la Declaración UE de conformidad que el proveedor deberá redactar escrito en un formato legible por máquina, con firma electrónica o manuscrita, para cada sistema de IA de alto riesgo. Declaración UE de conformidad que mantendrá a disposición de las autoridades nacionales competentes durante un período de diez años a contar desde la introducción del sistema de IA de alto riesgo en el mercado o su puesta en servicio y en la que se especificará el sistema de IA de alto riesgo para el que ha sido redactada. Entregándose una copia a las autoridades nacionales competentes pertinentes que lo soliciten (art.47).