Cuándo una IA que decide el itinerario de un alumno es de alto riesgo

Un motor observa los resultados de un alumno y cambia el contenido que verá a continuación. La función puede llamarse recomendador, tutor, ruta adaptativa o asistente. Ninguno de esos nombres decide su clasificación jurídica.

Tampoco basta con saber que hay un algoritmo. Un conjunto sencillo de reglas escritas por personas puede quedar fuera de la definición europea de sistema de inteligencia artificial. En cambio, un sistema que infiere una recomendación a partir de datos sí puede entrar en esa definición. Si la utiliza para evaluar resultados o dirigir el aprendizaje, puede encajar además en uno de los usos de alto riesgo del anexo III.

Por eso no empezaría preguntando si «la IA del LMS» es de alto riesgo. Empezaría reconstruyendo una función concreta de principio a fin:

1. qué datos recibe;
2. cómo obtiene su resultado;
3. para qué se ha diseñado;
4. quién o qué convierte el resultado en una intervención;
5. qué efecto produce sobre la persona que aprende.

Abrir la imagen a tamaño completo

Ese recorrido evita dos errores opuestos. El primero es declarar que cualquier automatización educativa es de alto riesgo. El segundo, dar por hecho que una función queda fuera porque el proveedor la llama «recomendación».

Primera comprobación: ¿es un sistema de IA?

El primer filtro suele omitirse. El Reglamento distingue los sistemas de IA del software tradicional más sencillo. Una regla del tipo «si falla dos veces, muestra el recurso de refuerzo» no se convierte automáticamente en IA por estar automatizada. Hay que comprobar si el sistema infiere cómo generar predicciones, contenidos, recomendaciones o decisiones a partir de la información que recibe.

La distinción no siempre se resuelve mirando la tecnología desde lejos. Los sistemas basados en aprendizaje automático suelen encajar con claridad. Algunas soluciones basadas en lógica o conocimiento también pueden hacerlo cuando razonan sobre relaciones y reglas codificadas. Una secuencia fija de condiciones definidas por personas puede quedar fuera.

Esto cambia la conversación técnica. No sirve un inventario con una columna que diga «lleva IA: sí o no». Hace falta describir la arquitectura y la función de cada componente. Dos productos que ofrecen una ruta adaptativa parecida pueden caer a lados distintos de este primer filtro porque obtienen el resultado de manera diferente.

Antes de clasificar el riesgo, hay que demostrar que la función analizada entra en la definición de sistema de IA. Automatización e inteligencia artificial no son sinónimos jurídicos.

Segunda comprobación: ¿qué finalidad tiene?

Si la función sí es un sistema de IA, el siguiente paso es su finalidad prevista. En educación y formación profesional, el anexo III recoge cuatro grupos:

• decidir el acceso, la admisión o la asignación de personas a instituciones;
• evaluar resultados de aprendizaje, también cuando esos resultados se usan para dirigir el proceso de aprendizaje;
• determinar el nivel educativo que una persona recibirá o al que podrá acceder;
• vigilar y detectar conductas prohibidas durante una prueba.

La segunda categoría es la que afecta de forma más directa a muchas funciones adaptativas. Un sistema puede no poner una nota y, aun así, evaluar resultados para decidir qué explicación, actividad o nivel mostrará después. El efecto sobre el itinerario importa más que la palabra utilizada en el catálogo.

El alcance tampoco se decide solo por el nombre del producto. Hay que comprobar el contexto de uso y la población afectada. También hay que confirmar que la institución educativa o de formación profesional está incluida en la norma. Un asistente general que resume un documento no cumple la misma finalidad que una función integrada en el recorrido académico. La segunda puede evaluar el desempeño de una persona y cambiar lo que recibirá después.

Tercera comprobación: ¿influye materialmente en la decisión?

Que un sistema aparezca en el anexo III no cierra por sí solo todo el análisis. El artículo 6 contempla una excepción cuando no existe un riesgo significativo para la salud, la seguridad o los derechos fundamentales. Entre sus condiciones está que el sistema no influya materialmente en el resultado de una decisión.

La excepción se vincula a cuatro tipos de tarea:

• ejecutar una operación de procedimiento acotada;
• mejorar el resultado de una actividad humana ya terminada;
• detectar patrones sin sustituir ni influir en una evaluación humana previa;
• preparar la evaluación relevante.

No basta con escoger una de esas etiquetas. Si el proveedor considera que su sistema del anexo III no es de alto riesgo, debe documentar el análisis. Tiene que hacerlo antes de ponerlo en el mercado o en servicio. Además, la excepción no se aplica cuando el sistema elabora perfiles de personas.

En una plataforma adaptativa, la pregunta útil es muy concreta: ¿el resultado informa a alguien que decide o modifica directamente lo que recibe el alumno? Cuanto más automático, individualizado y vinculante sea el efecto, más difícil resulta sostener que la función no influye materialmente.

Esto no convierte cualquier recomendación en una decisión automática, pero sí obliga a seguir su recorrido real. Una interfaz puede presentar el resultado como una sugerencia al docente y aplicarlo por defecto. Si revisar cuarenta casos resulta inviable, la existencia formal de una persona no demuestra una supervisión efectiva.

La supervisión humana se diseña

Una supervisión útil necesita cuatro condiciones: información suficiente, tiempo, autoridad y una forma operativa de cambiar el resultado. Si falta una, la persona puede estar presente en el proceso y no tener control sobre él.

La arquitectura debería separar al menos dos responsabilidades:

• la función que produce una señal, puntuación o recomendación;
• la política que convierte ese resultado en una intervención sobre el aprendizaje.

Separarlas no garantiza una clasificación más favorable. Sí permite demostrar qué ocurrió e introducir revisión humana donde tenga sentido. También permite cambiar la política pedagógica sin sustituir el componente que calcula la señal.

No existe una revisión humana efectiva solo porque se copie a una persona en un correo. La supervisión debe funcionar como un mecanismo comprobable dentro del flujo de decisión.

También conviene registrar cada paso. Para una intervención concreta, la plataforma debería poder reconstruir:

• los datos y la versión del contenido utilizados;
• la versión del modelo, las reglas y la configuración;
• el resultado producido y su grado de incertidumbre;
• la política que interpretó ese resultado;
• la acción humana, si la hubo;
• el cambio que finalmente recibió el alumno.

Una tabla que guarde solo el «nivel recomendado» no permite distinguir qué propuso el sistema, qué aprobó una persona y qué acabó aplicando la plataforma. Esa pérdida de procedencia es un problema técnico antes de convertirse en uno de cumplimiento.

Prohibido y de alto riesgo no significan lo mismo

Un sistema de alto riesgo puede utilizarse si cumple las obligaciones que le corresponden. Una práctica prohibida no dispone de esa vía.

En educación hay una diferencia especialmente relevante: usar datos biométricos de la cara o la voz para inferir emociones o intenciones —por ejemplo, frustración— en una institución educativa está prohibido, salvo por razones médicas o de seguridad. Medir la atención o la participación exige un análisis separado: solo entra en esta prohibición si el sistema las utiliza para inferir emociones o intenciones en el sentido del Reglamento.

Una institución puede tener tres situaciones dentro de la misma plataforma:

• una automatización que no sea un sistema de IA;
• una función de IA que exija analizar si es de alto riesgo;
• una función prohibida que deba retirarse.

Agruparlas bajo una sola etiqueta impide gobernarlas bien.

Qué exigir antes de comprar

La documentación comercial rara vez responde lo necesario. Pediría al proveedor un diagrama y respuestas por escrito a estas preguntas:

¿Qué función concreta habéis clasificado? La respuesta debe acotar versión, finalidad prevista, usuarios y contexto. «Nuestra plataforma cumple el Reglamento» no identifica ningún sistema.

¿Por qué entra en la definición de IA? Debe explicar qué mecanismo de inferencia utiliza y qué resultados produce. Si se trata de reglas fijas, también debe quedar documentado.

¿Qué resultado de aprendizaje evalúa y qué ocurre con el resultado del sistema? Hay que poder seguirlo hasta la intervención que recibe el alumno. Si el proveedor afirma que «solo recomienda», debe mostrar quién decide, con qué información y en qué interfaz.

¿El sistema elabora perfiles de personas? La respuesta necesita describir los datos personales tratados y las conclusiones que extrae sobre rendimiento, preferencias o comportamiento.

¿Qué versión produjo una intervención pasada? Sin trazas de modelos, reglas, contenidos y políticas no existe una explicación reproducible.

¿Quién puede detener o revertir la función? Una supervisión que depende de abrir una incidencia al proveedor no está disponible cuando ocurre el problema.

Estas preguntas no sustituyen la evaluación jurídica. Le dan la materia técnica que necesita. Un equipo jurídico no puede clasificar una caja negra y un equipo de arquitectura no debería interpretar la norma sin contrastar el caso.

El mismo criterio vale para los datos que la integración expone al sistema. Una herramienta puede consultar la lista de participantes mediante LTI, pero eso no significa que deba hacerlo. NRPS y privacidad del aula explica cómo limitar esa petición a una necesidad demostrable.

El calendario cambió en julio de 2026

Las fechas del Reglamento cambiaron al entrar en vigor la reforma conocida como AI Omnibus el 27 de julio de 2026. Las reglas específicas para los sistemas de alto riesgo del anexo III se aplicarán desde el 2 de diciembre de 2027. Entre ellas están las de los usos educativos. Las directrices de la Comisión sobre clasificación siguen siendo un borrador no vinculante. Está previsto que la versión final se adopte antes de terminar 2026.

El aplazamiento no convierte el análisis en prescindible. Da tiempo para inventariar funciones, corregir contratos, diseñar trazas y comprobar si la supervisión descrita en los documentos existe en la operación. Esperar a diciembre de 2027 dejaría para el final los cambios más lentos: separar responsabilidades, reconstruir la procedencia y renegociar aquello que el proveedor no puede demostrar.

El ejercicio que haría ahora

No empezaría redactando una política. Elegiría cada punto donde un resultado automático afecta al recorrido de una persona y lo resumiría en una fila:

Los «por determinar» son útiles. Señalan qué información falta y quién debe aportarla. Lo peligroso es rellenarlos con el nombre comercial de la función o con una afirmación del proveedor que nadie ha comprobado.

Para clasificar el sistema hay que documentar la cadena que une los datos de entrada, la inferencia, la finalidad prevista, la decisión y su efecto sobre la persona. Quien pueda reconstruir esa cadena estará en condiciones de gobernar el sistema. Quien no pueda hacerlo todavía no sabe qué ha desplegado.