Patricia Faraldo Cabana (Miño, 1969) es catedrática de Derecho Penal de la Universidad de A Coruña, donde ejerce como profesora desde el año 1996 y donde dirige el grupo de investigación Criminología, Psicología Jurídica y Justicia Penal en el siglo XXI. También es vocal del comité de dirección del Centro de Investigación en TIC de la universidad coruñesa, y una de sus áreas de especialización es la ciberseguridad y los desafíos ético-legales de la inteligencia artificial.
Actualmente estamos trabajando en varios financiados por la Comisión Europea. Uno de ellos es RITHMS —siglas en inglés de Investigación, Inteligencia y Tecnología para la Seguridad del Patrimonio y del Mercado—, un proyecto financiado con cinco millones de euros que dirige en estos momentos el Instituto Italiano di Tecnologia y con el que estamos tratando de crear una plataforma basada en inteligencia artificial para la detección de tráfico ilícito de patrimonio histórico. En esta iniciativa colaboramos con cinco policías europeas y varias empresas líderes en el sector.
Uno de ellos es EDINAF —Fundación Naval Digital Europea, por sus siglas en inglés—, financiado con 30 millones de euros en el marco del Fondo de Defensa Europeo. En este caso llevamos los aspectos éticos del proyecto, que consiste en crear la arquitectura digital necesaria para los nuevos buques de guerra. En él trabajan empresas punteras de ingeniería naval, junto a los ministerios de defensa de los países de la fachada del Atlántico norte europeo. Otro es PILLAR-Robots —financiado con 5 millones de euros por la Comisión Europea—, con el que se busca la creación de crear robots completamente autónomos que sean capaces de fijar sus propios objetivos y cómo alcanzarlos. Esto se está intentando probar para el trabajo en agricultura, en industria o incluso en entretenimiento y educación —por ejemplo, en guarderías—. Aquí abordamos cuestiones legales, más que éticas. Por otro lado, nos acaban de conceder otro proyecto, denominado Dulcinea, en el que trabajaremos con la Policía Nacional española y una empresa italiana.
Crear una base de datos de objetos de patrimonio histórico sustraídos o traficados para tratar de encontrarlos en internet e intentar rescatarlos. Imaginemos que ha desaparecido un objeto de una iglesia, pero contamos con una foto. Con ella, el programa se encarga de avisar si detecta que un objeto similar está a la venta en la web.
Funciona con web scraping, es decir, rastreando la red. Es una técnica muy empleada actualmente y con la que se accede a fuentes públicas, pero hay que tener en cuenta que en ellas puede haber datos privados que no está permitido utilizar. Compaginarlo todo resulta complicado. Tenemos que ser muy cuidadosos para que no se produzcan fugas de datos y para no afectar de manera indebida a personas inocentes, porque cualquier decisión que de adopte por parte de la policía puede tener un impacto enorme en la vida de personas que sean investigadas.
Sí, se conecta con las bases da datos policiales de los diferentes países. En este sentido hay que ser cuidadosos, porque esos datos —en parte— pueden estar sesgados y provocar discriminación y poner en peligro derechos fundamentales. Además, en estas aplicaciones no se anonimizan los datos porque, precisamente, lo que queremos es identificar a personas, por lo que tienen que existir medidas de seguridad extraordinarias para evitar fugas.
Hay que tener en cuenta que buena parte de los avances tecnológicos que se han producido se iniciaron en la esfera militar —que tiene unos requisitos éticos diferentes—. Se trata de tecnologías de doble uso que pasaron rápidamente al ámbito civil. En el proyecto RITHMS, por ejemplo, los riesgos éticos que hemos identificado son cuestiones relativas a la privacidad. Debemos pensar que estamos utilizando imágenes satelitales para comprobar si una zona arqueológica determinada ha sido objeto de expolio. Si vemos agujeros que no estaban ahí antes, podemos comparar el momento en el que aparecen con el análisis de los teléfonos móviles que se encontraban en la zona para saber quién estaba allí. De nuevo, volvemos a la protección de datos y a los sesgos. También hay que tener en cuenta la excesiva confianza que puede depositar un operador policial en lo que le indica la inteligencia artificial. Es importante insistir en que la IA trabaja con probabilidades. Tras analizar las redes sociales para tratar de identificar a intermediarios y responsables, la herramienta puede determinar que hay un 75 % de posibilidades de que cierta persona sea el jefe de la red, pero nunca lo va a poder asegurar al 100 %. Intentamos que este tipo de aplicaciones no destruyan las habilidades que ya tiene la policía, que no se relaje y empiece a aceptar sin más lo que le indica la inteligencia artificial. Tienen que ser mecanismos de apoyo a la toma de decisiones, no herramientas que tomen las decisiones. Esto, sin embargo, es difícil de conseguir y se requiere de mucho entrenamiento para contrarrestarlo. Además, pueden darse casos de mal uso, como que una herramienta centrada en el patrimonio histórico se emplee en ámbitos para los que no fue diseñada, o que accedan personas que no tienen autorización para hacerlo.
Es muy difícil escapar. Por ejemplo, utilizar herramientas de apoyo a las decisiones judiciales puede resultar problemático. Si nos dice que un sujeto es peligroso, concederle una suspensión supone asumir un riesgo, aunque la experiencia le indique al profesional que no es tan peligroso como la herramienta sugiere. Si finalmente opta por conceder la suspensión y la persona termina cometiendo un delito, habrá problemas por no haber hecho caso a la inteligencia artificial. Por eso es tan necesario el entrenamiento de los operadores y que la persona que va a manejar el sistema conozca sus límites. Hay que compatibilizar la ayuda que ofrece con la propia experiencia en la materia.
Sobre todo cuestiones relacionadas con la protección de datos. Hemos trabajado, por ejemplo, analizando los requisitos legales y técnicos para el almacenamiento de datos personales de carácter médico con el Instituto Tecnológico de Galicia. Se trata de elementos especialmente sensibles para los que hay que valorar qué tipo de medidas de seguridad necesitan, cuándo se pueden enviar al extranjero o si se puede utilizar una nube con servidores ubicados en Estados Unidos. Hacemos un análisis completo de los requisitos que necesitan cumplir. Con respecto a los profesionales, estamos observando un aumento en el número de condenas a personal médico que accede a las bases de datos sanitarias sin autorización. Está prohibido consultar datos de personas que no son sus pacientes. El castigo por delitos contra la intimidad no es pequeño: las penas van de uno a cuatro años de prisión.
Creo que en España todavía no tenemos asumida la importancia de los datos personales. En la universidad tampoco es posible ya consultar el expediente académico de alumnos que no son nuestros. Estamos avanzando, pero aún falta concienciación.
Vivimos en uno de los países más ciberseguros del mundo. Estamos a la cabeza de la Unión Europea, según el Índice de Ciberseguridad Global de la Unión Internacional de Telecomunicaciones de la ONU. No obstante, estos delitos suponen el 20% de la delincuencia conocida por la policía, y hay que tener en cuenta que, muchas veces, ni siquiera se denuncian. En ocasiones, porque la víctima no se da cuenta, y en otras, porque sabe que no va a haber una investigación por parte de la policía, que está desbordada.
Creo que vamos a ver una explosión de resultados a todos los niveles. Por ejemplo, en diagnóstico, el reconocimiento de imágenes va a alcanzar niveles de acierto muy superiores al ojo humano. También en cuanto al diseño de respuestas para las enfermedades, porque ya hemos visto a la inteligencia artificial ser capaz de diseñar moléculas que sirven para la curación de enfermedades raras. El futuro va a ser fabuloso en este terreno.
Por el momento, lo que nos dice la legislación en el ámbito penal es que las reglas no han cambiado. Por lo tanto, la IA no es más que un instrumento. Quien sigue siendo responsable por el uso, mal uso o desuso del instrumento es el operador humano. Por lo tanto, ante un error, un médico no podría alegar simplemente que la IA le dio un diagnóstico y que él no consideró otras posibilidades. El profesional sigue siendo el responsable de lo que hace con las opciones que le ofrece la inteligencia artificial. Es evidente que en el futuro necesitaremos nuevas reglas. En el proyecto para el desarrollo de robots autónomos en el que participamos estamos planteando qué tendría que cambiar en la legislación al introducir estas máquinas autónomas en el mercado. ¿En qué momento deja de ser responsable el fabricante o el usuario ante una decisión que el robot ha tomado y que ni siquiera su diseñador podría haber predicho? Para nosotros es una cuestión interesante pero muy difícil, porque primero tenemos que entender cómo van a funcionar estos robots. Con respecto a la responsabilidad, su grado de autonomía los convertirá en algo que se encuentra entre los animales —que se consideran instrumentos— y los humanos.
A nivel de la Unión Europea, el Reglamento de Inteligencia Artificial no prohíbe tecnologías, pero sí determinados usos de estas. E introduce reglas bastante estrictas porque preocupa mucho el uso potencialmente lesivo que la tecnología pueda tener para los derechos fundamentales. En mi opinión, en el caso de los robots autónomos, habría que crear nuevas reglas relativas al seguro, de manera que tengan que contar con uno basado en responsabilidad objetiva. Tendríamos que determinar quién responde, y yo creo que siempre es positivo hacer responsable al fabricante, porque de esta manera adoptan medidas de precaución. Si el daño causado no supone nada para el diseñador, no se preocupa demasiado. Es una forma de obligarles a reflexionar. Probablemente habría que crear también nuevas reglas de imputación penal como las que existen en el caso de delitos de imprenta, donde no se siguen las reglas normales y se establece una responsabilidad en cascada. Estamos reflexionando sobre todo ello.
Creo que es demasiado rígido en ciertos aspectos. Personalmente, no acabo de entender por qué la policía no puede utilizar reconocimiento facial en tiempo real, por ejemplo —excepto en casos muy concretos—. Esta posibilidad sería de gran ayuda en determinados contextos. Me sorprende la obsesión del Reglamento sobre la biometría y, en particular, sobre el reconocimiento facial, porque nuestra cara es algo que todo el mundo puede ver. ¿Cuál es el problema de que se grabe? Resultaría muy útil que la policía o empresas de seguridad pudieran utilizar esta tecnología para evitar la entrada de hooligans a estadios de fútbol cuando se les prohíbe el acceso. De otra forma, resulta muy complicado controlarlo. También hemos visto el caso de Mercadona, que intentó crear un sistema de reconocimiento biométrico para impedir la entrada de las personas condenadas por haber sustraído en sus supermercados y recibió una gran multa de la Agencia Española de Protección de Datos. Se indicó que el mero hecho de que el sistema grabara a todos los clientes —aunque la imagen se borrara inmediatamente tras comprobar que su cara no coincidía con ninguna de las pertenecientes a delincuentes que tenía almacenadas—, ya afectaba a los derechos fundamentales. Yo no entiendo la razón. Creo que es razonable reflexionar sobre la manera de hacerlo de forma efectiva y sensata, en lugar de prohibir el uso de la biometría facial en todos los niveles.
Quiero creer que no. La Unión Europea está haciendo una enorme inversión en proyectos basados en inteligencia artificial, aunque es cierto que también nos encontramos con problemas a la hora de desarrollarlos. En las aplicaciones que se están creando para la policía —que son muchísimas— resulta fundamental el uso de datos reales para entrenar a la IA, por eso se exige que en los consorcios participen al menos tres fuerzas policiales. Sin embargo, cuando se les solicitan los datos responden que no pueden darlos debido a la normativa de protección de datos. Esto provoca que la inteligencia artificial se acabe entrenando con datos sintéticos, creados con base en lo que se cree que puede tener la policía. Por lo tanto, estas aplicaciones terminan siendo poco útiles. Es la pescadilla que se muerde la cola: no se puede entrenar sin datos y estos no se pueden entregar debido a la normativa. La Unión Europea debería dar una autorización de algún tipo para poder emplearlos o crear un sandbox, un entorno aislado en el que poder compartir los datos con seguridad y probar los resultados. Creo que el Reglamento de Inteligencia Artificial avanza un poco en esa línea, pero todavía se está implantando, así que tendremos que esperar y ver qué pasa en los próximos cinco años.
Creo que la Unión Europea lo está haciendo bien en este sentido, porque empuja enérgicamente a los creadores a introducir requisitos éticos en el diseño. Lo hacen a regañadientes, porque para ellos supone una carga extra y necesitan pensar en los requisitos. Para eso nos tienen a quienes trabajamos en el ámbito ético-legal, que nos encargamos de indicar cómo trasladar esos requisitos a la práctica. Por ejemplo, en las aplicaciones policiales en las que estamos trabajando hay que establecer limitaciones de acceso para que solo puedan entrar ciertas categorías. Se trata de un trabajo sumamente interesante y creativo que exige de una colaboración interdisciplinar, porque nosotros no podemos realizar la implantación técnica, y los técnicos necesitan que les indiquemos cuáles son los requisitos para hacer la implantación. Creo que se están consiguiendo avances.
Está claro que la idea de la AESIA es buena, porque tiene que haber organismos supervisores, pero el problema es que el sistema de selección de los funcionarios para la agencia es el habitual. Por lo tanto, no van a venir profesionales que sepan de inteligencia artificial, sino personas que conocen bien la Constitución o la Ley de Procedimiento Administrativo. Una agencia tan especial como esta necesitaría un personal más formado. Creo que va a tener un comportamiento muy burocrático. Es importante, pero podría haber sido más interesante.
Se puede regular, por supuesto, pero la tecnología va por delante de la capacidad de los legisladores para adaptarse. En el terreno de los deepfakes sería perfectamente posible obligar a las empresas a que informaran de que se trata de una imagen generada por inteligencia artificial, aunque siempre habrá quien no respete esa obligación. En este sentido, algo que me llamó la atención en Argentina fue que los anuncios siempre indicaban cuándo se había retocado la foto de la modelo. Aquí eso no sucede, por lo que se generan expectativas de belleza irreales. En mi opinión, no se trata tanto de pensar en soluciones en el ámbito del Derecho Penal, sino en el de la técnica. Deben ser los especialistas los que nos digan cómo puede hacerse. La tecnología siempre llega primero, y después se intentan limitar los posibles usos negativos que trae consigo. Esto lleva tiempo, y el problema es que la técnica avanza muy rápido. El uso de la inteligencia artificial también es un desafío en el ámbito académico. Alguien puede presentar un artículo perfectamente escrito que despierte dudas sobre si realmente lo ha hecho el alumno o ha sido una IA, aunque ya hay programas que ayudan a detectarlo. Va a facilitar muchas tareas —como la traducción de documentos, que funciona muy bien— pero, como siempre, tenemos que intentar impedir o limitar los usos abusivos. No va a ser fácil.
Creo que Europa acabará regulando para impedir algoritmos que fomenten la desinformación, como los que se están utilizando actualmente en X, por ejemplo.
Una opción es prohibir el acceso. China es capaz de capar estas redes sociales y permite acceder solamente a ciertas plataformas, por lo que, técnicamente, seguro que en Europa también es posible. Otra posibilidad es advertir a las grandes tecnológicas de que pueden perder su negocio en Europa si el algoritmo no funciona de manera abierta para que cualquiera pueda analizarlo y comprobar que no actúa de manera sesgada a favor de la ultraderecha, como sucede actualmente. Todos los discursos deben estar al mismo nivel.
Se están desarrollando proyectos muy interesantes en inteligencia artificial y hay una gran cantidad de recursos que se destinan a ella. Por ejemplo, conseguir un proyecto europeo puede suponer para el equipo recibir 400.000 euros y contratar a una persona. Por lo tanto, por una parte permite consolidar el equipo de investigación y, por otra, salir de la zona de confort. Te das cuenta de que lo que haces puede tener una aplicación práctica, porque estás en contacto con las empresas. Este tipo de impacto en el mundo real resulta muy satisfactorio. Trabajar en este ámbito permite conocer a los grandes protagonistas del sector y ver qué problemas plantea el diseño de estas aplicaciones desde dentro. Es una materia que nos va a dar mucho trabajo en los próximos años.
