La Ley de IA en su tramo final: qué piden los consumidores europeos y qué podría cambiar

La esperada Ley de la Inteligencia Artificial (IA) europea y la primera gran regulación de la IA en el mundo se encuentra en el último tramo. Las negociaciones entre las instituciones europeas se suceden a buen ritmo: Consejo, Parlamento y Comisión se están reuniendo dos veces por semana para terminar de afinar los detalles de los puntos mejorables o polémicos de esta ley. El 25 de octubre, fecha del último trílogo, podría haber un acuerdo final, aunque expertos que siguen el tema, como Federico Oliveira da Silva, responsable jurídico de la Federación de Consumidores Europeos (BEUC), lo ven difícil y señalan el plan B, que será que finalmente se apruebe en diciembre, justo antes de que la presidencia española de la UE llegue a su fin. “Habrá presiones de España para que así sea”, dice Oliveira. 

El momento de las negociaciones: los trílogos

Los trílogos -o conversaciones a tres- son la última parte de este largo proceso en la creación de la ley, que comenzó hace dos años con la propuesta de la Comisión Europea. En ellos reúnen representantes de las tres instituciones clave europeas (Parlamento Europeo, Consejo de la UE y Comisión Europea) y tienen como fin llegar a un acuerdo provisional sobre esta versión de la ley de IA aprobada ya por el Parlamento Europeo. 

Una vez que se adopte, esta regulación sobre la IA pionera en el mundo entrará en vigor en 2025 y afectará a todos los servicios y empresas de este tipo utilizadas por usuarios en suelo de la UE.  

La irrupción de la IA generativa en el debate europeo

La explosión del uso de ChatGPT y chatbots similares, y la popularización de la IA generativa irrumpió en plenas negociaciones de los parlamentarios que venían preparando la propuesta legislativa desde hace tiempo. “Sin caer en la histeria de una IA que destruye a la humanidad, muchos riesgos han sido identificados en menos de un año”, ha dicho Ursula Pachl, directora adjunta de BEUC.

Desde que el Parlamento aprobara la propuesta enmendada en junio de la Ley de IA, organizaciones de consumidores de países europeos han hecho un llamamiento a las autoridades para investigar urgentemente a las IA generativas y a reforzar las leyes existentes de protección al consumidor. 

Se basaron en un informe presentado por uno de sus miembros, Forbrukerrådet, asociación noruega. El documento, llamado “Ghost in the machine: Addressing the consumer harms of generative AI”, es un estudio sobre los riesgos que presenta la IA generativa: problemas estructurales como la concentración de poder en manos de las Big Tech, manipulación y desinformación, discriminación, problemas de protección de datos, fraudes, impacto ambiental, en la propiedad intelectual y en el empleo.

Qué recomiendan cambiar en la Ley de IA las organizaciones de consumidores 

Las organizaciones de consumidores europeos están preocupadas por una serie de puntos que no están adecuadamente regulados para mitigar los riesgos que las IA comportan para el usuario, en sistemas de IA que cada vez están más integrados en todo tipo de aplicaciones. Mencionan especialmente las relacionadas con la salud mental y la seguridad, que pueden exacerbar los riesgos para usuarios vulnerables, como los de Replika.

Esta app de compañía, que ha sido comparada con la IA que protagoniza la película ‘Her’, de Spike Jonze, comenzó a lanzar mensajes de tipo sexual, lo que intimidó a muchos usuarios, y posteriormente contestó con frialdad a usuarios que flirteaban con ella, lo que provocó depresión y confusión en otros. La autoridad de datos italiana, el Garante, le impuso una limitación temporal por detectar graves riesgos para sus usuarios, especialmente niños y personas emocionalmente vulnerables. Este es uno de los casos en los que los consumidores son influenciados por la IA, aún cuando conocen perfectamente que están hablando con un chatbot, como aseguran investigadores europeos. 

La información incorrecta o falsa de una IA que tiene tendencia a alucinar puede tener consecuencias nocivas para los consumidores, que pueden ser engañados o manipulados, advierte Oliveira da Silva. 

Prohibición del reconocimiento facial en todos los espacios públicos

Lo que ha sido una recomendación de organizaciones de consumidores, y también de muchos expertos en derechos digitales y defensores de la privacidad, ha sido restringido en la Ley de IA, que propone prohibir la identificación biométrica en espacios públicos, pero sólo en tiempo real y de forma remota. Prohíbe también la identificación “post” (después de haber sido registrada), pero tiene excepciones relacionadas con la persecución de delitos graves, bajo autorización judicial.

Clasificar los sistemas de reconocimiento de emociones como de alto riesgo

El texto prohíbe los sistemas de reconocimiento de emociones en el ámbito de las fuerzas de seguridad, la gestión de fronteras, el lugar de trabajo y las instituciones educativas. 

Pero el resto se queda afuera. Las organizaciones de consumidores europeos señalan que en la Ley de IA no se prohíbe el reconocimiento de emociones cuando lo utilizan las empresas con los consumidores, como por ejemplo en videojuegos o en el Metaverso. 

Esto puede dar lugar a graves intrusiones en la intimidad de los usuarios y en su capacidad de tomar decisiones autónomas. Creen que esto envía una señal peligrosa a los consumidores cuando los Estados miembros se han mostrado dispuestos a prohibirlo en la misma Ley de IA.

Volver a la clasificación original de sistemas de alto riesgo

La Comisión Europea, en su propuesta original, clasificaba a un sistema automáticamente como alto riesgo si entraba en cualquiera de los sectores listados en su anexo III, en los que se encontraban: infraestructuras críticas como el transporte público, servicios esenciales (públicos o privados), la educación o formación profesional, la aplicación de la ley, la administración de justicia y los procesos democráticos, entre otros. 

Pero el Consejo y el Parlamento añadieron filtros que diluyen esa clasificación. En la versión final de la Ley que se está discutiendo, el Parlamento da a los desarrolladores la capacidad de decidir si su sistema debe ser considerado de alto riesgo o no. La federación de consumidores cree que las compañías inescrupulosas podrán saltarse esta medida, lo que hace que la Ley de IA genere inseguridad jurídica y fragmentación entre los estados miembros. 

Aplicar los principios de transparencia y equidad a todos los sistemas de IA generativa

Transparencia para todos, independientemente de su nivel de riesgo o del tamaño de la compañía. El Parlamento europeo incluyó requerimientos adicionales de transparencia para los proveedores de los modelos fundacionales, un desarrollo nuevo y en evolución en el campo de la IA, como GPT. Pero en el texto aprobado estos principios son voluntarios, lo que según BEUC limitará su utilidad real. 

“Los consumidores no deberían ser utilizados como conejillos de indias, sólo los productos seguros deberían estar en el mercado”, ha dicho Pachl, refiriéndose a los actuales sistemas de IA puestos a disposición de cualquier usuario. 

Desde BEUC recomiendan que se pida a una serie de requerimientos a los desarrolladores y proveedores de estos sistemas: una evaluación detallada de riesgos previa a su puesta en circulación en el mercado (no como sucede ahora, en la que muchas empresas ofrecen como única medida contra daños el “feedback” que piden a sus usuarios posteriormente); la monitorización, y rectificación cuando sea necesario, a través de toda la vida útil del sistema; el establecimiento de medidas para prevenir y mitigar los sesgos algorítmicos; y que la Ley de IA establezca derechos exigibles para los consumidores tales como el derecho a ser informado cuando están interactuando con un sistema de IA generativa y cómo funciona, y el derecho a borrar y rectificar información. 

Además, consideran que los datasets utilizados para entrenar a estos sistemas deben ajustarse a salvaguardas, y siempre se debería avisar al usuario que está interactuando con un sistema de IA generativa. 

Por qué el momento es importante

Estamos ante el primer intento de codificar el entendimiento que tenemos de la IA en una ley. No una recomendación o una ley nacional, o una directiva, que luego tiene que transponerse en las distintas leyes nacionales. La Ley de IA es una regulación de la Unión Europea, lo que quiere decir que es una normativa integral de aplicación obligatoria y directa en todos sus países miembros. Afectará a todos los sistemas, plataformas, empresas y responsables que utilicen y pongan a disposición IA utilizada por usuarios europeos en cualquiera de sus países miembros, tanto de manera comercial como no comercial. 

El momento es crucial porque debido a la máxima armonización que pide esta regulación, los estados miembros no podrán ir más allá de lo establecido en esta ley. Las asociaciones de consumidores consideran que salvo las IA consideradas de alto riesgo, el resto de sistemas de IA no se encuentran adecuadamente regulados por esta Ley de IA aprobada por el Parlamento europeo.