En la entrada de este blog del pasado lunes día 25 anunciaba que el jueves, día 28 de enero de 2021 de 17,00 a 18,30 horas impartiría una webinar -de asistencia libre- en la Escuela de Práctica Jurídica (EPJ) en la que expondría como operan los tres elementos que integran el “triángulo virtuoso» de la regulación de la inteligencia artificial y que son: el riesgo, la responsabilidad y el seguro.
Afortunada e irremediablemente la fecha llegó y pude impartir la conferencia y, siguiendo la costumbre de este blog, resumo a continuación su contenido.
Antes de abordar la síntesis de mi conferencia no quiero dejar de destacar que fue presentada y moderada por mi gran amigo y compañero. Mariano Yzquierdo Tolsada, catedrático -verdadero- de Derecho Civil de la UCM, máxima autoridad en materia de responsabilidad civil en general y autor de la obra “clásica” sobre «Responsabilidad Civil Extracontractual” editada por Dykinson y cuya sexta edición vio la luz el pasado año 2020.
Tampoco quiero dejar de reiterar mi agradecimiento a los asistentes a quienes- evidentemente, no veía- pero cuyo afecto pude percibir extrasensorialmente en esta especie de sesión de espiritismo en que se ha convertido cualquier conferencia telemática. Especialmente a los amigos de Argentina y Colombia que nos acompañaron allende los mares y -lo que es mas importante por meritorio- allende las franjas horarias.
Comencemos con un ejemplo: el algoritmo de reconocimiento facial con sesgo discriminatorio, el daño patrimonial causado, la responsabilidad civil exigida y su cobertura por el seguro contratado
Inicié mi exposición planteando un ejemplo de cómo puede funcionar el “triángulo virtuoso” de la regulación de la Inteligencia artificial.
Un individuo entra en un edificio de oficinas en Nueva York para celebrar una entrevista de trabajo. En la puerta de acceso está implantada una cámara de reconocimiento facial que forma parte de un sistema complejo de IA que, a través de un sistema de algoritmos, califica a los sujetos que reconoce otorgándoles una calificación facial que, unida a otra serie de factores, permiten hacer un “rating” humano que viene ahorrando ingentes cantidades de dinero en términos de recursos humanos a la empresa de selección de personal a la que se dirige nuestro protagonista.
Existe, sin embargo, un inconveniente mínimo que consiste en que el matemático creador del algoritmo, tiene un cierto -casi imperceptible- sesgo racial en contra de las minorías étnicas, entre las que están las hispanas. De modo tal que, cuanto nuestro protagonista entra en las oficinas, su aspecto hispano rebaja ligerísimamente su calificación facial y, en consecuencia su rating facial lo que conduce, finalmente, que su solicitud de empleo sea rechazada.
El sujeto jamás conocería la razón por la cual no fue contratado ya que ignora por completo la utilización por la empresa de un sistema complejo de IA y, aun cuando lo supiera, no podría desentrañar el subsistema de algoritmos de calificación facial ni como interactúa con el resto de subsistemas de calificación. A esos efectos, nuestro protagonista obra como la inmensa mayoría de la población que consiente felizmente a ciegas el mercadeo de sus datos más íntimos por los gigantes digitales mediante la firma compulsiva de los ok a condicionados ilegibles de consentimiento que son requisitos «sine qua non» para acceder a plataformas oligopolísitcas.
El problema para la empresa comienza cuando la casualidad hace que el candidato rechazado coincida con varios amigos hispanos que antes intentaron ser contratados y que, cumpliendo cuantos requisitos técnicos se requerían, fueron rechazados. Y, entonces, un grupo de afectados acaban interponiendo una demanda colectiva contra la empresa por discriminación racial y daños morales, que resulta estimada y la empresa condenada.
Y aquí es donde se plantea la diferencia entre el “camino del pecado” y el “camino de la virtud”, entre el “triángulo vicioso” y el “triángulo virtuoso” en la de la regulación de la Inteligencia artificial porque:
a) Nos encontraremos ante un “triángulo vicioso” de la inteligencia artificial cuando los gestores de la empresa de recursos humanos no valoraron el riesgo de discriminación por sesgo racial del algoritmo utilizado y, por ello, no contemplaron la hipótesis de convertir den deudores de una indemnización por responsabilidad civil. Y, finalmente, estas imprevisiones, les condujeron a no plantearse tan siquiera la contratación de un seguro de responsabilidad civil. Con el resultado final de que la empresa y sus directivos debieron hacer frente a las cuantiosas indemnizaciones y, a la postre, a la ruina.
b) Por el contrario, nos encontraremos ante un “triángulo virtuoso” de la inteligencia artificial, cuando los gestores de de la empresa de recursos humanos valoraron el riesgo de discriminación por sesgo racial del algoritmo utilizado y, en consecuencia, contemplaron la hipótesis de convertirse en deudores de una indemnización por responsabilidad civil. Y, finalmente, estas previsiones adecuadas les condujeron a contratar un seguro de responsabilidad civil con una entidad aseguradora seria que abarcara la cobertura material y temporal del riesgo. Con el resultado final de que la aseguradora hizo frente al siniestro e indemnizó al grupo de afectados y la empresa de recursos humanos cubrió su riesgo a costo parcial en forma de pago de la prima del seguro adecuadamente calculada.
Este caso no es mero fruto artificioso de nuestra imaginación, sino que se inspira, “mutatis mutandi”, en algún caso reciente de acción colectiva de reclamación de daños acaecida en los EEUU. Así, Clearview AI, Inc. fue demandada en una acción colectiva por el uso de tecnología de reconocimiento facial para recopilar, generar y vender información biométrica de los consumidores sin su consentimiento. En concreto, Clearview eliminó ilegalmente cientos o miles de sitios web, incluidos Facebook, Twitter y Google, para almacenamiento en su base de datos. La demanda alegaba que Clearview usó su software de reconocimiento facial para generar impresiones faciales, hacer coincidir a las personas con información identificable y vender el acceso a las huellas de los consumidores a empresas privadas con fines de lucro. El problema es que los consumidores no recibieron notificación alguna de esta violación de sus derechos de privacidad y evidentemente no lo han consentido, por escrito (Ver Erin Shaak, Clearview AI Hit with Class Action, Lawsuit Over Controversial Data, Collection Practices, ClassAction.org, in Newly Filed / Newly Settled, February 28, 2020, Last Updated on April 16, 2020).
Tampoco parece descabellado el ejemplo a la vista del reportaje que, en enero del año 2018, recogía el suplemento dominical de un diario español de información general. El reportaje daba cuenta de cómo, en una ciudad de la milenaria China de nombre Rongcheng, se ha realizado un experimento de implantación de un moderno sistema de castas de ciudadanos mediante su clasificación en varias categorías alfanuméricas que van de lo óptimo (AAA) a lo pésimo (D). Este sistema se basa en el aprovechamiento eficiente de los datos de los ciudadanos clasificados que obran en internet con la ayuda inestimable –que nunca desinteresada- de las principales y millonarias plataformas de aplicaciones de pago en la red y del sistema de cámaras de reconocimiento facial instaladas en calles, aeropuertos y estaciones de ferrocarril. Sobre la base de la cantidad de datos ingentes almacenados (“big data”) y con la ayuda de una metodología de algoritmos, se ubica a cada persona en la categoría adecuada en función de su dedicación laboral, su probidad personal, su entrega familiar y otra multiplicidad de factores. De modo tal que pueden transitar –como en la Divina Comedia- del cielo de la máxima calificación al infierno de la pésima. Y, lo que es más importante, una buena calificación facilitará el acceso a puestos de trabajo, a la suscripción de seguros o a la concesión de préstamos bancarios (el lector interesado puede ver la entrada de Javier Fernandez Alén publicada en este blog el 5 de enero de 2018 sobre “Rating humano, partidos políticos, bancos y aeguradoras: ¿Un mundo feliz?”).
Por último, este ejemplo nos recuerda el cuarto de los principios regulatorios de la IA ética y responsable que identificamos en su día (en nuestro “Decálogo de la inteligencia artificial ética y responsable en la Unión Europea” publicado en La Ley Unión Europea n.º 87, Sección Doctrina y en el Diario La Ley de 30 de diciembre de 2020) como el de igualdad y prevención de la discriminación automatizada que se manifiesta en varios apartados de la RIAE cuando el PE se refiere a una regulación “sin sesgo y sin discriminación” (apartado 27 y ss.).y “recuerda que la inteligencia artificial, dependiendo de su desarrollo y de su uso, puede crear y reforzar sesgos, también a través de sesgos inherentes a los conjuntos de datos subyacentes, y, por lo tanto, crear diversas formas de discriminación automatizada, incluida la discriminación indirecta, en particular en relación con grupos de personas con características similares”.
LOS TRES VÉRTICES DEL “TRIÁNGULO VIRTUOSO” DE LA REGULACIÓN DE LA IA: RIESGO, RESPONSABILIDAD Y SEGURO
Inferimos este triángulo virtuoso de las dos Resoluciones sobre la Inteligencia Artificial que aprobó, el 20 de octubre de 2020, el Parlamento Europeo (PE): La Resolución del Parlamento Europeo, de 20 de octubre de 2020, con recomendaciones destinadas a la Comisión sobre un marco de los aspectos éticos de la inteligencia artificial, la robótica y las tecnologías conexas (2020/2012(INL)) que lleva por título “Marco de los aspectos éticos de la inteligencia artificial, la robótica y las tecnologías conexas” (p9_ta-prov(2020)0275) (Resolución sobre la Inteligencia Artificial Ética, RIAE). Y la Resolución del Parlamento Europeo, de 20 de octubre de 2020, con recomendaciones destinadas a la Comisión sobre un régimen de responsabilidad civil en materia de inteligencia artificial (2020/2014(INL)) que lleva por título “Régimen de responsabilidad civil en materia de inteligencia artificial” (P9_TA-PROV(2020)0276).n (Resolución sobre la Inteligencia Artificial Responsable, RIAR).
PRIMER VÉRTICE: LOS RIESGOS TÍPICOS DERIVADOS DEL USO DE LOS SISTEMAS DE INTELIGENCIA ARTIFICIAL (IA)
Este primer vértice nos ofrece los siguientes aspectos:
El control de riesgos típicos generados por los sistemas de IA
El riesgo es una noción común y transversal al ámbito financiero que, por ejemplo, resulta determinante en el mercado asegurador y que podemos definir como “la posibilidad de que suceda un evento dañoso que haga nacer la necesidad pecuniaria cubierta por el seguro y que se mueve en grados de probabilidad entre los extremos de la imposibilidad y la certeza” (ver nuestra Guía del Contrato de Seguro, Ed. Thomson/Reuters Aranzadi, Madrid 2018, pág.26).
El control de riesgos es el primero de los principios regulatorios de la IA ética y responsable que hemos identificado porque el PE “hace hincapié en que toda futura regulación ha de seguir un enfoque basado en el riesgo y orientado al futuro para regular la inteligencia artificial, la robótica y las tecnologías conexas, con normas tecnológicamente aplicables a todos los sectores y con normas sectoriales cuando proceda”.
En este último aspecto el PE destaca que -para “garantizar la aplicación uniforme del sistema de evaluación de riesgos y el respeto de las obligaciones jurídicas conexas y para asegurar la igualdad de condiciones entre los Estados miembros y prevenir la fragmentación del mercado interior”- hay que diferenciar dos grandes sectores de la IA atendiendo el criterio del riesgo que producen para sus usuarios (apartado 12 y ss.):
a) Los sectores de alto riesgo, que serán determinados por inclusión mediante la elaboración de una lista exhaustiva y acumulativa de sectores de alto riesgo y de usos o fines de alto riesgo; lista debe someterse a una reevaluación periódica. A tal efecto, el PE considera que, para determinar si la inteligencia artificial, la robótica y las tecnologías conexas deben considerarse de alto riesgo, es necesario basarse siempre en una evaluación ex ante imparcial, regulada y externa apoyada en criterios concretos y definidos. De tal manera que la inteligencia artificial, la robótica y las tecnologías conexas deben considerarse de alto riesgo cuando su desarrollo, despliegue y uso entrañen un riesgo significativo de causar lesiones o daños a particulares o a la sociedad, vulnerando los derechos fundamentales y las normas de seguridad establecidas en el Derecho de la Unión. En concreto, para evaluar si las tecnologías de inteligencia artificial entrañan un riesgo de ese tipo, el PE considera que deben tenerse en cuenta el sector en el que se desarrollan, despliegan o utilizan, su uso o finalidad específicos y la gravedad de la lesión o daño que cabe esperar que se produzca de forma acumulativa.
b) Los sectores que no son de alto riesgo, determinados por exclusión lógica respecto de los anteriores.
La distinción entre los fallos intencionados o y los fallos casuales de los sistemas de inteligencia artificial y aprendizaje automático
Las investigaciones sistemáticas en la materia han mostrado que los fallos de los sistemas de inteligencia artificial y aprendizaje automático pueden ser de dos tipos: intencionados o casuales.
a) En los fallos intencionados (“intentional failures”), un agente contrario intenta subvertir el sistema de IA para lograr sus objetivos de inferir datos de entrenamiento privados, robar el algoritmo subyacente u obtener cualquier resultado deseado del sistema de IA. Por ejemplo, cuando Tumblr anunció su decisión de dejar de alojar contenido pornográfico, los usuarios pasaron por alto el filtro coloreando las imágenes corporales de verde y agregando una imagen de un búho. Se trata de ejemplo de un «ataque de perturbación».
b) En los fallos casuales o no intencionados (“unintentional failures”), los sistemas de AI fallan por sí mismos, sin ningún tipo de manipulación adversa. Por ejemplo, OpenAI enseñó a un sistema de aprendizaje automático a jugar un juego de navegación recompensando sus acciones de obtener una puntuación más alta. Sin embargo, el sistema ML fue en un círculo alcanzando los mismos objetivos, acumulando más puntos, en lugar de terminar la carrera. De tal manera que una causa principal de fallos no intencionales son las suposiciones erróneas de los desarrolladores de ML que producen un resultado formalmente correcto, pero prácticamente inseguro.
Estos fallos de seguridad obedecieron a dos clases de razones:
a) Una técnica, debido a que los modos de fallos de la IA son todavía un área de investigación activa y en evolución, no es posible proporcionar mitigaciones tecnológicas prescriptivas. Por ejemplo, recientemente los investigadores demostraron cómo 13 ejemplos de defensas que se publicaron en las principales revistas académicas son ineficaces.
b) Una jurídica, ya que los estatutos vigentes de derechos de autor, responsabilidad del producto y «anti-piratería» (“anti-hacking”) no permiten cubrir todos los modos de ataques a los sistemas de AI y ML.
La simetría entre riesgo y responsabilidad
Para enlazar este primer vértice del “triángulo virtuoso” de la regulación de la Inteligencia artificial con el siguiente procede traer a colación un principio regulatorio específico de una Inteligencia Artificial Responsable (IAR) cual es el de la adecuación del régimen de responsabilidad civil a los sistemas de IA de alto riesgo y de riesgo normal. En este sentido, la RIAR, al referirse a las “normas en materia de responsabilidad civil diferentes para riesgos diferentes”, comienza recordando que el tipo de sistema de IA sobre el que el operador ejerce control es un factor determinante en lo que respecta a la responsabilidad Y de ahí deduce una la necesidad de asumir una distinción básica entre dos tipos de sistemas de IA: los de alto riesgo y los de riesgo normal.
La distinción básica mencionada obedece a que un sistema de IA que conlleve un alto riesgo inherente y actúe de manera autónoma pone en peligro potencial en mucha mayor medida al público en general. De lo que el PE infiere “habida cuenta de los retos jurídicos que plantean los sistemas de IA para los regímenes de responsabilidad civil existentes, parece razonable establecer un régimen común de responsabilidad objetiva para los sistemas de IA autónomos de alto riesgo” (apartado 14 y ss.).
SEGUNDO VÉRTICE: LA RESPONSABILIDAD CIVIL DERIVADA DEL USO DE LA INTELIGENCIA ARTIFICIAL
La responsabilidad por el uso de los sistemas de IA se manifiesta en dos formas: En primer lugar, en una forma genérica de responsabilidad social y, en segundo término, en una forma específica de responsabilidad civil, donde las entidades que emplean los sistemas de IA -en especial, las entidades financieras- deben garantizar la cobertura por los daños que puedan causar a su clientela a resultas del empleo de la inteligencia artificial (por ejemplo, los daños exigibles a un banco por ejecución errónea de servicios de pagos digitales).
La exigencia de responsabilidad civil por el uso de sistemas de IA requiere que el sujeto que la reclame acredite la concurrencia de los tres requisitos clásicos que son: el acto incorrecto del deudor, el daño causado al acreedor y la relación de causalidad eficiente entre ambos (el lector interesado puede ver nuestro estudio sobre “La responsabilidad civil derivada del uso de la inteligencia artificial y su aseguramiento” publicado en la Revista de la Asociación Española de Abogados Especializados en Responsabilidad Civil y Seguro n.º 76 (2020), pp. 79 a 104).
En consecuencia, el presupuesto inicial es la imputabilidad que se establece en la RIAR con un doble alcance:
a) Imputabilidad general a un agente: la lucha contra indefensión en la que se encuentran los consumidores
En primer lugar, como imputabilidad general a un agente que prevenga la indefensión en la que se encuentran los consumidores que usan de ingenios basados en la IA. Así, en su parte introductoria, la RIAR advierte de la indefensión en la que se encuentran los consumidores que usan de ingenios basados en la IA para exigir responsabilidad a las entidades que operan con ellos (por ejemplo, las entidades financieras cuando prestan servicios de pago digitalizados). Después, la RIAR, el referirse a la “responsabilidad civil del operador” insiste en la idea de la indefensión en la que se encuentran los consumidores que usan de ingenios basados en la IA (apartado 11).
b) Imputabilidad específica al operador de la inteligencia artificial: operador inicial, operador final y ejercicio de control
En segundo término, se expresa como imputabilidad específica que identifique de forma unívoca al agente de la IA causante del daño y responsable de indemnizarlo cuando el PE considera adecuado que establecer una noción amplia de “operador” que abarque tanto al operador final como al operador inicial. En ambos casos, estas identificaciones deben basarse en el concepto de “ejercicio del control” abarcando todo el desarrollo del proceso de aplicación de la inteligencia artificial. Después, la RIAR matiza este principio de imputabilidad específica en situaciones complejas en las que haya más de un operador, por ejemplo, un operador final y un operador inicial. Porque, entonces, la protección de la víctima perjudicada exige que todos los operadores deban ser responsables civiles solidarios. Lo que, a su vez, plantea el derecho a reclamar en la vía de regreso unos de otros de forma proporcional conforme a los porcentajes de responsabilidad determinados por los respectivos niveles de control que tengan los operadores sobre el riesgo relacionado con la operación y el funcionamiento del sistema de IA, lo que exige, a su vez, garantizar la trazabilidad de los productos con el fin de identificar mejor a los que intervienen en las distintas fases (apartado 12 y ss.)
TERCER VÉRTICE: EL SEGURO DE LA RESPONSABILIDAD CIVIL DERIVADA DEL USO DE LA INTELIGENCIA ARTIFICIAL
El tercer principio regulatorio específico de una Inteligencia Artificial Responsable (IAR) -que consiste en la cobertura preventiva– resulta especialmente relevante en materia de digitalización financiera por concurrir las dos circunstancias siguientes: Porque el alto riesgo de los sistemas de IA implicados en la digitalización financiera hace especialmente necesario prever la cobertura preventiva de la responsabilidad civil en que puedan incurrir los operadores financieros. Y porque los instrumentos de cobertura preventiva tienen carácter financiero, como el seguro de responsabilidad civil o las garantías bancarias.
En este punto, la RIAR -al referirse a los “seguros y sistemas de IA”- manifiesta que el PE “considera que la cobertura de la responsabilidad civil es uno de los factores clave que define el éxito de las nuevas tecnologías, productos y servicios; observa que una cobertura de la responsabilidad civil adecuada es también esencial para garantizar que el público pueda confiar en la nueva tecnología, a pesar de las posibilidades de sufrir un daño o de hacer frente a demandas judiciales por parte de las personas afectadas; observa, al mismo tiempo, que este sistema regulador se centra en la necesidad de explotar y potenciar las ventajas de los sistemas de IA, a la vez que se establecen sólidas salvaguardias” (apartado 23).
El principio de cobertura preventiva se manifiesta, específicamente, en forma de exigencia de un seguro obligatorio de responsabilidad civil para los operadores de sistemas de IA de alto riesgo. Y ello porque ta cobertura preventiva mediante un seguro de responsabilidad civil obligatorio parte de la consideración general de que la cobertura de la responsabilidad civil es uno de los factores clave que definirá el éxito de las nuevas tecnologías, productos y servicios y concreta esta idea general en otras dos derivadas:
a) La apreciación específica de la necesidad de establecer una cobertura preventiva de la responsabilidad civil por el uso de la IA mediante un seguro obligatorio para los sistemas de IA de alto riesgo que debe cubrir los importes y el alcance de la indemnización establecidos legalmente. De tal manera que todos los operadores de sistemas de IA de alto riesgo deberán ser titulares de un seguro de responsabilidad civil cutos perfiles resultan difíciles de precisar en la actualidad porque, en la actualidad, dicha tecnología es todavía muy inusual, ya que presupone un alto grado de toma de decisiones autónomas. En todo caso, el PE considera que la incertidumbre relacionada con los riesgos no debe hacer que las primas de seguro sean prohibitivamente elevadas y convertirse así en un obstáculo para la investigación y la innovación. En este sentido, el PE considera que la falta de datos sobre los riesgos asociados a los sistemas de IA, unida a la incertidumbre sobre su evolución en el futuro, dificulta al sector de los seguros elaborar productos de seguro nuevos o adaptados y que, por lo tanto, es probable que dejar el desarrollo de un seguro obligatorio plenamente al mercado resulte en un enfoque de «talla única» con primas desproporcionadamente elevadas y los incentivos equivocados, alentando a los operadores a optar por el seguro más barato en lugar de por la mejor cobertura, lo que podría convertirse en un obstáculo para la investigación y la innovación.
b) La estimación del PE de que “un mecanismo de indemnización a escala de la Unión, financiado con fondos públicos, no es la manera adecuada de colmar posibles lagunas en materia de seguros”.
Una vez establecida esta necesidad de un seguro obligatorio para los sistemas de IA de alto riesgo análogo al seguro de la responsabilidad civil que resulta de la circulación de vehículos automóviles; la RIAR apunta las dificultades que su implantación conllevará que pueden exponerse en forma de causa y efecto:
a) La causa será la falta de estadísticas de siniestralidad, porque esta ausencia de datos sobre los riesgos asociados a los sistemas de IA, unida a la incertidumbre sobre su evolución en el futuro, dificulta al sector de los seguros elaborar productos de seguro nuevos o adaptados.
b) El efecto consistirá en el riesgo de que el mercado asegurador diseñe un seguro obligatorio de “talla única” con primas desproporcionadamente elevadas y los incentivos equivocados, alentando a los operadores a optar por el seguro más barato en lugar de por la mejor cobertura, lo que podría convertirse en un obstáculo para la investigación y la innovación. De ahí infiere “que la Comisión debe colaborar estrechamente con el sector de los seguros para estudiar la forma de poder utilizar datos y modelos innovadores para crear pólizas de seguro que ofrezcan una cobertura adecuada a un precio asequible”.