Esta es la segunda de la serie de tres entradas que estamos dedicando al Documento de preguntas y respuestas sobre la Ley Europea de Inteligencia Artificial (LEIA) que publicó la Comisión Europea el pasado 1 de agosto de 2024 (ref.: QANDA/21/1683. Inteligencia artificial Preguntas y respuestas Actualizado el 01/08/2024. Brussels, 1 de agosto de 2024).
(…)
E.3) Riesgo medio: sistemas de IA de medio riesgo que integren modelos de IA de uso general que generan riesgos sistémicos
E.3.1) Noción
El Documento de la Comisión nos dice que “además, la Ley de IA tiene en cuenta los riesgos sistémicos que podrían derivarse de los modelos de IA de uso general, incluidos los grandes modelos de IA generativa. Estos pueden utilizarse para diversas tareas y se están convirtiendo en la base de muchos sistemas de IA en la UE. Algunos de estos modelos podrían entrañar riesgos sistémicos si son muy capaces o se utilizan ampliamente. Por ejemplo, modelos potentes podrían provocar accidentes graves o utilizarse indebidamente para ciberataques de gran alcance. Muchas personas podrían verse afectadas si un modelo propaga sesgos nocivos en muchas aplicaciones”.
A este respecto, el Documento de la Comisión precisa: “En la actualidad, se considera que los modelos de IA de uso general que hayan sido entrenados utilizando una potencia informática total de más de 10 to 25 FLOP plantean riesgos sistémicos. La Comisión podrá actualizar o completar este umbral a la luz de los avances tecnológicos y también podrá designar otros modelos como que plantean riesgos sistémicos sobre la base de otros criterios (por ejemplo, el número de usuarios o el grado de autonomía del modelo) (…)”.
Más adelante, el documento de la Comisión se pregunta: “¿Por qué 10 de 25 FLOP son un umbral adecuado para la GAAP con riesgos sistémicos?” y responde “FLOP es un indicador de las capacidades del modelo, y la Comisión puede actualizar al alza o a la baja el umbral exacto de FLOP, por ejemplo, a la luz de los avances en la medición objetiva de las capacidades de los modelos y de la evolución de la potencia de cálculo necesaria para un determinado nivel de rendimiento. Las capacidades de los modelos por encima de este umbral aún no se comprenden suficientemente. Podrían plantear riesgos sistémicos, por lo que es razonable someter a sus proveedores al conjunto de obligaciones adicionales”.
E.3.2) Obligaciones de los proveedores de modelos con riesgos sistémicos
El Documento de la Comisión añade que “los proveedores de modelos con riesgos sistémicos están obligados a evaluar y mitigar los riesgos, notificar incidentes graves, realizar pruebas de última generación y evaluaciones de modelos y garantizar la ciberseguridad de sus modelos. Se invita a los proveedores a colaborar con la Oficina de IA y otras partes interesadas para elaborar un código de buenas prácticas en el que se detallen las normas y, de este modo, se garantice el desarrollo seguro y responsable de sus modelos. Este Código debe representar una herramienta central para que los proveedores de modelos de IA de uso general demuestren el cumplimiento”.
E.4) Riesgo mínimo: Sistemas de IA de mínimo riesgo permitidos y controlados genéricamente y modelos de IA de uso general que no generan riesgos sistémicos
E.4.1) Nociones
El documento señala respecto de estos sistemas de IA de mínimo riesgo lo siguiente: “La mayoría de los sistemas de IA pueden desarrollarse y utilizarse con sujeción a la legislación vigente sin obligaciones jurídicas adicionales. De forma voluntaria, los proveedores de estos sistemas pueden optar por aplicar los requisitos de una IA digna de confianza y adherirse a códigos de conducta voluntarios”
Más adelante, el Documento de la Comisión se pregunta: “¿Cómo se regulan los modelos de IA de uso general?”, ofreciendo la respuesta siguiente: “Los modelos de IA de uso general, incluidos los grandes modelos de IA generativa, pueden utilizarse para diversas tareas. Los modelos individuales pueden integrarse en un gran número de sistemas de IA.
E.4.2) Obligaciones de los proveedores de sistemas de IA que integren modelos de IA de uso general
El documento de la Comisión completa la anterior respuesta diciendo: “Es fundamental que un proveedor de un sistema de IA que integre un modelo de IA de uso general tenga acceso a toda la información necesaria para garantizar que el sistema sea seguro y conforme con la Ley de IA. Por lo tanto, la Ley de IA obliga a los proveedores de dichos modelos a revelar determinada información a los proveedores de sistemas posteriores. Esta transparencia permite comprender mejor estos modelos. Además, los proveedores de modelos deben contar con políticas que garanticen que respetan la legislación en materia de derechos de autor a la hora de formar sus modelos. Además, algunos de estos modelos podrían plantear riesgos sistémicos, ya que son muy capaces o ampliamente utilizados”.
F) Transparencia, etiquetados y marcas. Contenidos producidos por la IA generativa
F.1) La información de salida de los sistemas de la IA generativa
El documento de la Comisión se pregunta: “¿Cuáles son las obligaciones relativas al marcado de agua y el etiquetado de la información de salida de IA establecidas en la Ley de IA?” y responde: “La Ley de IA establece normas de transparencia para los contenidos producidos por la IA generativa a fin de abordar el riesgo de manipulación, engaño y desinformación. Obliga a los proveedores de sistemas de IA generativos a marcar la información de salida de la IA en un formato legible por máquina y a garantizar que sean detectables como generados o manipulados artificialmente. Las soluciones técnicas deben ser eficaces, interoperables, sólidas y fiables en la medida en que ello sea técnicamente viable, teniendo en cuenta las especificidades y limitaciones de los diversos tipos de contenidos, los costes de aplicación y el estado de la técnica generalmente reconocido, tal como puedan reflejarse en las normas técnicas pertinentes”.
F.2) Obligaciones de los implementadores de sistemas de IA generativos
El Documento de la Comisión añade que “los implementadores de sistemas de IA generativos que generen o manipulen contenidos de imagen, audio o vídeo que constituyan ultrafalsificaciones deben revelar visiblemente que el contenido se ha generado o manipulado artificialmente. Los implementadores de un sistema de IA que genere o manipule textos publicados con el fin de informar al público sobre asuntos de interés público también deben revelar que el texto se ha generado o manipulado artificialmente. Esta obligación no se aplicará cuando el contenido generado por IA haya sido sometido a un proceso de revisión humana o control editorial y cuando una persona física o jurídica sea responsable editorial de la publicación del contenido”.
En este sentido, el Documento añade que “la Oficina de IA publicará directrices para proporcionar orientaciones adicionales a los proveedores e implementadores sobre las obligaciones establecidas en el artículo 50, que serán aplicables dos años después de la entrada en vigor de la Ley de IA (el 2 de agosto de 2026). La Oficina de IA también fomentará y facilitará el desarrollo de códigos de buenas prácticas a escala de la Unión para racionalizar la aplicación efectiva de las obligaciones relacionadas con la detección y el etiquetado de contenidos generados artificialmente o manipulados”.
G) La identificación biométrica
El Documento de la Comisión Europea presta una particular atención a este aspecto cuando se pregunta: “¿Cómo regula la Ley de IA la identificación biométrica?” y da una respuesta cumplida diciendo: “Queda prohibido el uso de la identificación biométrica remota en tiempo real en espacios de acceso público (es decir, el reconocimiento facial mediante CCTV) con fines policiales. Los Estados miembros pueden introducir excepciones por ley que permitan el uso de la identificación biométrica remota en tiempo real en los siguientes casos: Actividades policiales relacionadas con 16 delitos muy graves especificados; Búsqueda selectiva de víctimas específicas, secuestro, trata y explotación sexual de seres humanos y personas desaparecidas; o la prevención de amenazas para la vida o la seguridad física de las personas o la respuesta a la amenaza actual o previsible de un ataque terrorista”.
El Documento de la Comisión añade: “Cualquier uso excepcional estará sujeto a la autorización previa de una autoridad judicial o administrativa independiente cuya decisión sea vinculante. En caso de urgencia, la aprobación podrá concederse en un plazo de 24 horas; si se rechaza la autorización, deben suprimirse todos los datos y el resultado. Tendría que ir precedida de una evaluación de impacto previa en materia de derechos fundamentales y debería notificarse a la autoridad de vigilancia del mercado pertinente y a la autoridad de protección de datos. En caso de urgencia, el uso del sistema podrá iniciarse sin registro. El uso de sistemas de IA para la identificación biométrica remota (identificación de personas en material previamente recogido) de personas investigadas requiere la autorización previa de una autoridad judicial o una autoridad administrativa independiente, así como la notificación a la autoridad pertinente de protección de datos y vigilancia del mercado”.
La importancia de este aspecto lleva al documento de la Comisión a preguntarse: “¿Por qué son necesarias normas específicas sobre la identificación biométrica remota?” y responder que: “La identificación biométrica puede adoptar distintas formas. La autenticación y verificación biométricas, es decir, el desbloqueo de un teléfono inteligente o la verificación/autenticación en los pasos fronterizos para comprobar la identidad de una persona con sus documentos de viaje (correspondencia individual) siguen sin estar reguladas, ya que no suponen un riesgo significativo para los derechos fundamentales. Por el contrario, la identificación biométrica también puede utilizarse a distancia, por ejemplo, para identificar a personas en una multitud que puede afectar significativamente a la privacidad en el espacio público. La precisión de los sistemas de reconocimiento facial puede verse influida significativamente por una amplia gama de factores, como la calidad de la cámara, la luz, la distancia, la base de datos, el algoritmo y la etnia, la edad o el género del sujeto. Lo mismo se aplica a los sistemas de reconocimiento vocal y de la forma de andar y otros sistemas biométricos. Unos sistemas muy avanzados están reduciendo sin cesar sus tasas de falsa aceptación. Si bien un índice de precisión del 99 % puede parecer bueno en general, es considerablemente arriesgado cuando el resultado puede dar lugar a la sospecha de una persona inocente. Incluso una tasa de error del 0,1 % puede tener un impacto significativo cuando se aplica a grandes poblaciones, por ejemplo en las estaciones de tren”.
H) La protección por la LEIA de los derechos fundamentales
H.1) Los riesgos de las «cajas negras»
El Documento de la Comisión también presta una particular atención a este aspecto crítico cuando se pregunta: “¿Cómo protegen las normas los derechos fundamentales?” y responde diciendo: “Ya existe una sólida protección de los derechos fundamentales y de la no discriminación a escala de la UE y de los Estados miembros, pero la complejidad y la opacidad de determinadas aplicaciones de IA («cajas negras») pueden plantear problemas. Un planteamiento centrado en el ser humano en materia de IA supone velar por que las aplicaciones de IA cumplan la legislación en materia de derechos fundamentales. Mediante la integración de los requisitos de rendición de cuentas y transparencia en el desarrollo de sistemas de IA de alto riesgo y la mejora de las capacidades de ejecución, podemos garantizar que estos sistemas se diseñen teniendo en cuenta desde el principio el cumplimiento legal. En caso de infracción, los requisitos permitirán a las autoridades nacionales acceder a la información necesaria para investigar si el uso de la IA cumple el Derecho de la UE. Además, la Ley de IA exige que determinados implementadores de sistemas de IA de alto riesgo lleven a cabo una evaluación de impacto sobre los derechos fundamentales”.
H.2) Las evaluaciones de impacto de los sistemas de IA de alto riesgo sobre los derechos fundamentales
El Documento de la Comisión continúa su referencia a los derechos fundamentales preguntando: “¿Qué es una evaluación de impacto sobre los derechos fundamentales? ¿Quién debe llevar a cabo dicha evaluación y cuándo?” y respondiendo que “Los proveedores de sistemas de IA de alto riesgo deben llevar a cabo una evaluación de riesgos y diseñar el sistema de manera que se minimicen los riesgos para la salud, la seguridad y los derechos fundamentales. Sin embargo, algunos riesgos para los derechos fundamentales solo pueden identificarse plenamente teniendo en cuenta el contexto de uso del sistema de IA de alto riesgo. Cuando se utilicen sistemas de IA de alto riesgo en ámbitos especialmente sensibles de posible asimetría de potencia, es necesario tener en cuenta estos riesgos adicionales. Por consiguiente, los implementadores que sean organismos de Derecho público u operadores privados que presten servicios públicos, así como los operadores que suministren sistemas de IA de alto riesgo que lleven a cabo evaluaciones de solvencia crediticia o evaluaciones de precios y riesgos en los seguros de vida y de enfermedad, llevarán a cabo una evaluación del impacto en los derechos fundamentales y notificarán a la autoridad nacional los resultados”.
El Documento de la Comisión añade que “en la práctica, muchos implementadores también tendrán que llevar a cabo una evaluación de impacto relativa a la protección de datos. Para evitar solapamientos sustanciales en tales casos, la evaluación de impacto sobre los derechos fundamentales se llevará a cabo junto con dicha evaluación de impacto relativa a la protección de datos”.
H.3) La prevención de los sesgos raciales y de género de los sistemas de IA
Dentro del apartado dedicado a las referencias que hace el Documento de la Comisión a los derechos fundamentales podemos incluir su pregunta retórica sobre “¿Cómo hace frente este Reglamento a los sesgos raciales y de género en la IA?” y su respuesta cuando señala: “Es muy importante subrayar que los sistemas de IA no crean ni reproducen sesgos. Más bien, cuando se diseñan y utilizan adecuadamente, los sistemas de IA pueden contribuir a reducir los sesgos y la discriminación estructural existente y, por tanto, dar lugar a decisiones más equitativas y no discriminatorias (por ejemplo, en la contratación). Los nuevos requisitos obligatorios aplicables a todos los sistemas de IA de alto riesgo servirán para este fin. Los sistemas de IA deben ser técnicamente sólidos para garantizar que son adecuados para su finalidad y no producen resultados sesgados, como falsos positivos o negativos, que afecten de manera desproporcionada a los grupos marginados, incluidos los basados en el origen racial o étnico, el sexo, la edad y otras características protegidas”.
En especial, el Documento de la Comisión precisa que “los sistemas de alto riesgo también tendrán que formarse y probarse con conjuntos de datos suficientemente representativos para minimizar el riesgo de sesgos injustos integrados en el modelo y garantizar que puedan abordarse mediante la detección de sesgos adecuados, la corrección y otras medidas de mitigación. También deben ser trazables y auditables, garantizando que se conserve la documentación adecuada, incluidos los datos utilizados para entrenar el algoritmo que sería clave en las investigaciones ex post. El sistema de cumplimiento antes y después de su comercialización habrá de garantizar que estos sistemas sean objeto de un seguimiento periódico y que se solventen rápidamente los riesgos potenciales”.
I) La protección del medio ambiente y la sostenibilidad por la LEIA
El Documento de la Comisión se refiere a la otra megatendencia regulatoria en el Derecho de la UE y universal -junto a la digitalización donde se ubica directamente la LEIA- cuando se pregunta: “¿Contiene la Ley de Inteligencia Artificial disposiciones relativas a la protección del medio ambiente y la sostenibilidad?” y responde: “El objetivo de la propuesta sobre IA es abordar los riesgos para la seguridad y los derechos fundamentales, incluido el derecho fundamental a una protección medioambiental de alto nivel. El medio ambiente es también uno de los intereses jurídicos explícitamente mencionados y protegidos. Se pide a la Comisión que pida a las organizaciones europeas de normalización que elaboren un documento de normalización sobre los procesos de notificación y documentación para mejorar el rendimiento de los recursos de los sistemas de IA, como la reducción del consumo de energía y otros recursos del sistema de IA de alto riesgo durante su ciclo de vida, y sobre el desarrollo eficiente desde el punto de vista energético de modelos de IA de uso general. Además, a más tardar dos años después de la fecha de aplicación del Reglamento y posteriormente cada cuatro años, se pide a la Comisión que presente un informe sobre la revisión de los avances en la elaboración de documentos de normalización sobre el desarrollo eficiente desde el punto de vista energético de modelos de uso general y evalúe la necesidad de nuevas medidas o acciones, incluidas medidas o acciones vinculantes”.
El Documento de la Comisión añade que “los proveedores de modelos de IA de uso general, formados en grandes cantidades de datos y, por tanto, propensos a un elevado consumo de energía, están obligados a revelar el consumo de energía. En el caso de los modelos de IA de uso general con riesgos sistémicos, también debe evaluarse la eficiencia energética. La Comisión está facultada para desarrollar una metodología de medición adecuada y comparable para estas obligaciones de divulgación”.