El Reglamento incluye, por un lado, las reglas para poner en marcha o mercado sistemas de IA en la Unión Europea y, por otro, prohíbe diversas prácticas de inteligencia artificial imponiendo requisitos a sistemas de IA de alto riesgo y obligaciones a los operadores relacionados con ese sistema, así como reglas de transparencia para ciertos sistemas de IA. A la vez, establece reglas para la monitorización y la vigilancia de mercado e introduce medidas para la innovación.
En el contenido del Reglamento se introduce un número importante de definiciones siendo estas de particular interés, tales como «sistemas de inteligencia artificial», «proveedor», «usuario».
Atención: se entiende por «sistema de inteligencia artificial», aquel que opera con elementos de autonomía y que, basándose en datos y entradas obtenidos de humanos o máquinas, infiere cómo alcanzar unos objetivos propuestos, usando para ello técnicas basadas en el aprendizaje-máquina o en lógica y conocimiento, y genera como salida contenidos, predicciones, recomendaciones o decisiones que influyen en el entorno con el que el sistema interactúa. Por «proveedor» el reglamento entiende a toda persona física o jurídica o entidad pública que desarrolla o para quien se desarrolla un sistema de IA y lo pone en servicio o lo comercializa bajo su nombre o marca, mediando un pago o no y, por «usuario» a toda persona física o jurídica, pública o privada, bajo cuya autoridad se utilice el sistema.
Ámbito de aplicación
El Reglamento se aplica a:
Proveedores que comercialicen o utilicen sistemas IA en la Unión, dondequiera que esos proveedores estén presentes.
Proveedores y usuarios de terceros países cuyos sistemas produzcan resultados que se utilicen en la Unión.
Usuarios físicamente presentes o establecidos en la UE.
Proveedores de estos sistemas y sus representantes autorizados, importadores y distribuidores
El reglamento no es aplicable a autoridades públicas de terceros países ni a organizaciones internacionales cuando unos utilicen sistemas IA en el ámbito de la cooperación policial o judicial con la UE o sus EEMM. Tampoco se aplica a los sistemas de uso militar o utilizados en el contexto de la seguridad nacional, ni a los utilizados con el solo propósito de la investigación y el desarrollo científico.
Sistemas de IA prohibidos
Se determinan determinados Sistemas de IA que quedan prohibidos y entre ellos, destacamos:
a) Los que desplieguen técnicas subliminales con el objetivo de distorsionar el comportamiento de una persona de manera que pueda causarle daños físicos o psicológicos a él o a otros.
b) Los que exploten vulnerabilidades de un grupo específico de personas por su edad, discapacidad o situación social o económica de forma que distorsionen el comportamiento de estas personas y probablemente les causen daños a ellas o a otras.
c) Sistemas de IA que elaboren perfiles de personas según su comportamiento, creando un «baremo social» que pueda resultar en que personas o grupos reciban un trato desproporcionadamente desfavorable al comportamiento observado, o en un trato desfavorable en un contexto que no es aquél donde ser recogieron los datos.
d) Se prohíbe el uso para aplicaciones policiales o de orden público de la identificación biométrica en tiempo real en lugares accesibles al público por parte de las fuerzas y cuerpos de seguridad, o en su nombre, con algunas salvedades.
Sistemas IA de propósito general
Igualmente es destacable que el Reglamento introduce los denominados «sistemas de IA de propósito general (GPAIS)» que son sistemas de IA que no tienen un propósito previsto inicial, pero que pueden ser entrenados o modificados para cumplir un propósito que podría convertirlos en sistemas de alto riesgo. Por tanto, deberán cumplir ciertos requisitos para que todos los actores de la cadena puedan cumplir a su vez con los requisitos del Reglamento.
Estos requisitos serán los que se aplican a los Sistemas de Inteligencia Artificial de Alto Riesgo, pero adaptados a los GPAIS mediante un acto de ejecución de la Comisión Europea que seguirá a la promulgación del Reglamento.
Los GPAIS quedarán libres de esos requisitos cuando el proveedor excluya explícitamente en su documentación todo uso de alto riesgo.
Si este proveedor detecta o es informado de mal uso, tendrá que tomar las medidas necesarias.
Sistemas de IA de Alto Riesgo (HRAIS)
El Reglamento establece una jerarquía de riesgos en función del uso de la IA y sobre las categorías detectadas, establece una serie de obligaciones.
El Reglamento dedica gran parte de su articulado a regular los sistemas de alto riesgo, que divide en dos grandes grupos: Por un lado, mediante un análisis de riesgos se ha identificado un conjunto de familias de sistemas de IA que pueden considerarse de alto riesgo si su salida es relevante respecto a una acción o decisión que pueda presentar un riesgo a la salud, la seguridad o los derechos fundamentales.
El Reglamento enumera y describe este conjunto, que incluye, entre otros, sistemas de identificación biométrica, de protección de infraestructuras críticas, de selección y promoción de personal, de utilización en fronteras, o los usados por las Fuerzas y Cuerpos de Seguridad del Estado o la Administración de Justicia. La Comisión puede actualizar esta lista mediante un acto delegado.
Por otro lado, existen productos que ya están regulados por normativa armonizada de la UE, y que bajo esa normativa están sujetos a evaluación de conformidad. Hay un conjunto limitado de familias de estos productos, que incluye entre otros los dispositivos médicos, los trenes o la maquinaria. Un sistema IA que constituya uno de estos productos, o constituya un componente de seguridad de uno de estos productos, estará sujeto a su correspondiente normativa armonizada.
Atención: los proveedores de sistemas de alto riesgo deben cumplir con una serie de exigencias:
– Se contará con un sistema de gestión de riesgos para el sistema de IA de alto riesgo, que contemple, en particular, los riesgos sobre la salud, seguridad y derechos fundamentales relacionados con su propósito.
– Se establecerá una gobernanza y gestión de los datos de entrenamiento y prueba, asegurando buenas prácticas en su diseño, recolección y preparación, asegurando su relevancia y corrección y sus apropiadas propiedades estadísticas, evitando sesgos que afecten negativamente a las personas.
– Los sistemas irán acompañados de documentación técnica actualizada, que demuestre que se cumplen los requisitos exigidos.
– Los sistemas tomarán automáticamente registros de actividad del sistema.
– Se aportará información a los usuarios sobre las capacidades del sistema, sus requisitos de equipamiento, su ámbito de aplicación, su nivel de precisión, las condiciones de utilización que pueden implicar riesgos, los sistemas para supervisión humana, etc.
– Los sistemas permitirán la supervisión por personas durante su uso para minimizar los riesgos a la salud, seguridad y derechos fundamentales, en particular de los riesgos residuales tras la aplicación de medidas de mitigación.
– Los sistemas proporcionaran un nivel adecuado de precisión, robustez y ciberseguridad, que se declarará en la documentación que los acompaña.
Entidades de supervisión
El Reglamento define varias entidades de supervisión:
Existirán al menos una autoridad nacional notificante y al menos una autoridad de supervisión de mercado como autoridades nacionales competentes para los propósitos del Reglamento.
Las autoridades de supervisión de mercado monitorizarán el correcto funcionamiento, ya en mercado, de sistemas de IA de alto riesgo, identificando riesgos sobrevenidos, incidentes u otras situaciones que exijan tomar medidas sobre los sistemas de IA de alto riesgo.
En el esquema de certificación de productos que propone el Reglamento, una autoridad notificante habilita a organismos de evaluación de conformidad para hacer las evaluaciones de conformidad en materia de IA a productos que quieran comercializar o poner en funcionamiento los proveedores.
Los sistemas de IA regulados por su propia normativa (segundo grupo de los antes descritos) estarán supervisados por la autoridad de supervisión designada en esa normativa.
Para el caso de sistemas de identificación biométrica utilizados para fuerzas y cuerpos de seguridad del estado, migración y administración de justicia, las autoridades de supervisión serán, o bien las autoridades nacionales de supervisar las actividades de seguridad, migración y asilo, o bien la agencia de protección de datos.
A nivel europeo, se constituirá un Comité Europeo de Inteligencia Artificial, donde participará un representante de cada Estado miembro. El Comité orientará sobre la implementación del reglamento, elaborará guías y establecerá las reglas básicas para elaborar sandboxes.
