El Informe PISA, ¿una fuente fiable?
Cuando hablamos del informe PISA, creemos que se trata de la mejor herramienta con la que contamos para conocer el éxito o fracaso de nuestros sistemas educativos. Pero, ¿podemos fiarnos de ella?
Numerosos académicos han criticado a PISA por tratarse de una prueba que sólo valora la calidad de los sistemas educativos en función de valores cuantitativos y, en su opinión, no sirve para valorar la calidad real de la educación de un país. Pero hay quien piensa que PISA tiene graves fallos no sólo en su planteamiento, sino también en su diseño y su aplicación.
​
La principal fortaleza de PISA reside en que está diseñado como un sistema “objetivo” de comparación entre países, pero muchos académicos dudan de esta supuesta imparcialidad. Aunque existen unos parámetros comunes, la OCDE diseña pruebas distintas para cada país en función de sus especificidades culturales y mediante un modelo estadístico procesa estos resultados para obtener una representación de lo que los alumnos han contestado.
Los técnicos de la OCDE utilizan un sistema basado en el modelo de Rasch, llamado así por su creador, el matemático danés George Rasch. El sirve para estandarizar las respuestas a un cuestionario dado: los autores de PISA buscan así elaborar una versión plausible de las puntuaciones que los estudiantes de cada país habrían sacado si hubieran respondido a las mismas preguntas.
​
Hay quien piensa que el modelo de Rasch no funciona para PISA ni para ninguna otra cosa, pues parte de un error matemático de base. De hecho, según uno de los discípulos del propio Rasch, el profesor Svend Kreiner, de la Universidad de Copenhague, el modelo se está empleando de forma incorrecta.
​
Según explicó Kreiner en la revista británica Times Education Supplement, para que el modelo de Rasch funcionara correctamente, las preguntas de PISA deberían funcionar de la misma manera en todos los países participantes, es decir, que deberían ser igual de difíciles. Y no es así. Esto se conoce en estadística como un “funcionamiento diferencial de los ítems” (DIF, por sus siglas en inglés) y es un error con el que el modelo de Rasch no puede lidiar.
“Esto significa que las comparaciones entre países no tienen sentido”, asegura Kreiner. “De hecho, no he sido capaz de encontrar dos ítems en los test de PISA que funcionen exactamente de la misma manera en países diferentes. No hay un sólo ítem que sea igual en los 56 países participantes. Por lo tanto, no se puede utilizar este modelo”.
La educación es, hoy más que nunca, uno de los principales indicadores del progreso de un país, y PISA se ha convertido en el ranking al que miran todos los políticos: si su país ha mejorado, el gobierno de turno se pavonea (aunque los éxitos pertenezcan en realidad a la anterior administración), si ha empeorado, echa la culpa al gobierno anterior. Pero ¿sirve PISA para mejorar las políticas educativas en el futuro?
La OCDE siempre ha argumentado que PISA ofrece un análisis mucho más completo de los sistemas educativos y no se limita sólo a ofrecer rankings sino también a ofrecer ideas para mejorar la educación. Pero lo cierto es que los listados acaparan toda la atención mediática: nadie se preocupa del resto del informe. ¿Deberíamos?
​
En 2007, un grupo de 20 investigadores analizó de forma discreta la metodología de PISA y publicó sus conclusiones en el libro PISA according to PISA (Transaction Publishers). Además de asegurar que los rankings que comparan los resultados entre países “están basados en tantos puntos débiles que deben ser abandonados de inmediato”, apuntaron que los productos asociados a PISA, como los análisis sobre cómo deben ser las buenas escuelas o las diferencias entre los distintos sistemas educativos, “van mucho más allá de lo que permite una aproximación cauta a estos datos. Son en su mayoría pura especulación”.
​
Todo esto no quiere decir que PISA no sirva para nada (aunque muchos académicos lo creen así), pero lo que es seguro es que sus conclusiones no deben ser tomadas como la única forma de conocer nuestros sistemas educativos. El informe, para más inri, sólo evalua los conocimientos y competencias de los alumnos de 15 años en matemáticas, ciencia y compresión lectora: ni realiza un seguimiento longitudinal de la evolución de los estudiantes ni se para analizar qué saben de otras materias o habilidades que van de la historia o la filosofía a la creatividad o el entusiasmo. PISA puede ser útil, pero en ningún caso debería tener la última palabra. Al menos según muchos y reconocidos matemáticos y pedagogos.