Lo que los resultados de PISA no pueden explicar

Mucho se ha escrito en los medios sobre los resultados de México en el Programa Internacional de Evaluación de Estudiantes (PISA). En general se habla de una catástrofe educativa, ya que los resultados indican que nuestro país se encuentra en el último lugar de los 35 países de la OCDE. Si bien la posición del país entre este grupo de países selectos es correcta, la pregunta que nos debemos formular es: ¿cómo se pueden explicar estos resultados?

Hay que recordar que dos de los grandes propósitos de PISA son: 1) con base en las pruebas de aprendizaje, informar a los países sobre las habilidades y conocimientos que logran adquirir los estudiantes de 15 años, y 2) con base en los cuestionarios, conocer algunas características de los sistemas educativos, centros escolares y estudiantes que ayuden a explicar los resultados de aprendizaje de cada país. Por lo general, algunos países, como México, se conforman con el primer objetivo de este estudio comparativo y dedican toda su atención a realizar comparaciones de la posición que ocupa la nación con relación a otros países y con este ordenamiento simple llegan a conclusiones catastróficas.

Sin embargo, la idea central de PISA no es hacer escarnio social con los resultados que proporciona. Su ambición va más allá de esta consecuencia negativa, que parece inevitable. Por ello, además de proporcionar información sobre el logro educativo en asignaturas básicas, proporciona piezas de información sobre los estudiantes y las escuelas que, de acuerdo con la literatura científica, impactan sobre los resultados de aprendizaje. Entre ellas, destaco las cuatro siguientes: 1) nivel socioeconómico de las familias de los estudiantes, 2) características de los centros escolares (infraestructura y equipamiento), 3) oportunidades de aprendizaje de los estudiantes para adquirir una diversidad de habilidades y conocimientos y 4) interés y motivación de los estudiantes hacia las asignaturas que se evalúan. En una fórmula muy sencilla podríamos establecer que el aprendizaje será mayor en la medida en que sean mejores estos cuatro factores.

Por desgracia, la información que proporciona PISA de estos cuatro indicadores no es suficientemente consistente con la literatura científica. Aunque los resultados de aprendizaje se relacionan positivamente con el estatus socioeconómico de los estudiantes, así como con la infraestructura y equipamiento de las escuelas, no pasa lo mismo con las dos variables que deberían estar mayormente ligadas con el logro educativo: las experiencias u oportunidades de aprendizaje que los estudiantes tienen en sus aulas, a través de las prácticas docentes, y el grado de motivación e interés de los alumnos por aprender.

En un estudio realizado con información de PISA 2012, cuyo foco de atención fueron las Matemáticas, los estudiantes mexicanos que tuvieron mayores oportunidades para aprender Razonamiento matemático puro y Razonamiento matemático aplicado obtuvieron menores puntuaciones en PISA que aquéllos que no tuvieron dichas experiencias. Asimismo, la información de PISA 2015, cuyo foco de atención fueron las Ciencias, señala que los estudiantes mexicanos mostraron tener un mayor grado de interés, gusto y motivación por estudiar temas relacionados con las Ciencias, respecto a los alumnos de los países de la OCDE; sin embargo, como ya se mencionó, los resultados de aprendizaje de México fueron los más bajos entre esos países.

Como se puede apreciar, estos resultados de PISA son contraintuitivos y no apoyan la evidencia científica al respecto. ¿Cómo explicar que quienes tengan mayores oportunidades de aprendizaje y mayor motivación por el estudio sean quienes tengan menores niveles de logro escolar? Por supuesto, estas contradicciones no las explica la OCDE; no sólo porque lo tendría que hacer para cada uno de los 72 países que participaron en el estudio de 2015, sino porque no se tienen, por ahora, los argumentos suficientes para hacerlo.

A manera de hipótesis, me atrevo a plantear que los instrumentos de medición que utiliza PISA para evaluar variables no cognitivas, tales como las prácticas de enseñanza de los docentes, no tienen el rigor técnico suficiente que aseguren la validez y confiabilidad de los resultados que producen. En consecuencia, por el momento, no pueden explicar los resultados de logro educativo de los estudiantes.