La prueba de lectura del Benchmark Assessment System es muy utilizada y a menudo errónea

Havah Kelley notó primero que su hijo tenía problemas con el alfabeto. Horas y horas la madre de San Francisco repasaba las letras con él, recitando sus nombres y trazando sus formas, pero él no podía escribir la mayoría de ellas por sí mismo. Invertía las letras o garabateaba formas incoherentes. A mitad de curso, su profesora le dijo que seguía sin reconocer algunas letras a primera vista.

Pero la profesora tranquilizó a Kelley y le dijo que le había hecho al niño la prueba de lectura más utilizada del Distrito Escolar Unificado de San Francisco: el Sistema de Evaluación Benchmark. Según la prueba, su nivel de lectura estaba dentro del rango esperado para su edad. La maestra dijo que probablemente solo era una cuestión de tiempo para que se pusiera al día.

Kelley, una madre soltera que vive en Bayview, uno de los barrios más pobres de San Francisco, sabía que algo le pasaba a su hijo. Ese año, en 2017, solicitó a la escuela que examinara a su hijo para ver si tenía problemas de aprendizaje. Pero dice que la escuela le dio evasivas, ya que su prueba de lectura indicaba que su hijo estaba bien.

Hacia el final del primer grado, el colegio finalmente accedió a efectuar una evaluación más completa. Los resultados mostraron que su hijo estaba muy atrasado con respecto a sus compañeros en lectura y escritura, lo que indicaba que encajaba en el perfil de quien tiene dislexia. El Sistema de Evaluación Benchmark se había equivocado -y no sería la última vez- sobre su capacidad de lectura.

El Sistema de Evaluación Benchmark (BAS, por sus siglas en inglés para Benchmark Assessment System) es una de las medidas más populares de la capacidad lectora temprana en las escuelas primarias estadounidenses. Los profesores deben utilizarlo para controlar el progreso de los alumnos a lo largo del año. Sin embargo, los investigadores han descubierto que el BAS se equivoca con demasiada frecuencia para ser fiable. Además, es más caro y exige más tiempo a los profesores que otras pruebas de lectura. Un profesor que analizó el BAS dijo que era peor para identificar a los lectores con dificultades que jamás había visto. Esto significa que los lectores con dificultades podrían no recibir la ayuda que necesitan a tiempo, lo que podría provocar que se queden aún más rezagados con respecto a sus compañeros.

«Cuanto más me pongo a investigar, más me doy cuenta de que es problemático», afirma Kelley. «La evaluación en sí es defectuosa. Y la historia de mi hijo es prueba de ello».

(Kelley pidió que se mantuviera en el anonimato su hijo para poder hablar con franqueza de su rendimiento académico y su historial médico, protegiendo así su privacidad).

Kelley lleva seis años luchando para que su hijo, que ahora tiene 13 años, reciba una educación que necesita en lectura. Ha intentado convencer al distrito de que abandone la prueba que no tiene en cuenta sus dificultades de lectura.

Esta primavera, el Distrito Escolar Unificado de San Francisco, que durante años defendía el BAS, finalmente admitió que el examen es demasiado inexacto. Se une así a otros distritos escolares de todo el país, como los de Fort Worth (Texas), Baltimore County (Maryland) y Nashua (New Hampshire), que han abandonado el BAS como evaluación para todo el distrito.

En una reunión de la junta escolar celebrada en marzo, los principales administradores de San Francisco presentaron datos internos que mostraban que la prueba era un buen indicador de los resultados de los alumnos de preescolar y primer grado en la prueba estandarizada estatal. El superintendente Matt Wayne dijo que está buscando una nueva prueba que «garantice que los niños estén alfabetizados».

Sin embargo, los estudios que mostraban los problemas del BAS estaban disponibles desde hacía más de una década. Además, ya hacía aún más décadas que las evidencias científicas desmintieron un principio clave de la teoría de la enseñanza de la lectura en la que se basa parte de la prueba.

Heinemann, la empresa que publica el BAS, se negó a responder a preguntas para este artículo o para el pódcast Sold a Story, en el que colaboré y que exploraba los problemas con varios de los productos educativos de Heinemann. Un portavoz de la empresa escribió en un correo electrónico que «no hay confianza en que cuando proporcionamos información esta sea correcta y justamente representada». Un abogado que representa a Heinemann también envió a APM Reports una carta que cuestionaba la validez de la investigación que identificaba problemas con el BAS.

Kelley afirma que los estudiantes como su hijo no deberían pasar a la escuela media sin saber leer bien. Los investigadores han descubierto que los profesores pueden ayudar a la mayoría de los niños a superar las dificultades de lectura, pero necesitan buenas evaluaciones para detectarlas pronto.

«¿Cómo puedes arreglar algo si no sabes cuán dañado está?», preguntó.
 

Las pruebas no detectan a la mayoría de los lectores con dificultades, según los estudios

El Sistema de Evaluación Benchmark fue creado por dos de las autoridades más influyentes de Estados Unidos en materia de enseñanza de la lectura: Irene Fountas, profesora de la Universidad Lesley en Massachusetts, y Gay Su Pinnell, profesora jubilada de la Universidad Estatal de Ohio. Sus libros son de los más asignados en los programas de formación de profesores y sus materiales didácticos son ampliamente utilizados por los distritos escolares.

En la década de los 90, Fountas y Pinnell empezaron a desarrollar un sistema para ayudar a los profesores a encontrar «los libros adecuados» para cada alumno. El objetivo era encontrar un texto que fuera ni demasiado fácil ni demasiado difícil, como en el cuento de Ricitos de Oro. Sostenían que asignar a un alumno el libro adecuado le permitiría centrarse en el significado de la historia.

En 2007, Fountas y Pinnell junto con su editorial, Heinemann, lanzaron el BAS. La prueba busca medir las habilidades lectoras de los niños a través de un conjunto de historias clasificadas en niveles de lectura cada vez más difíciles. Se supone que esos «libros nivelados» representan cada fase en el desarrollo de la destreza lectora, desde el Nivel A hasta el Nivel Z.

Para aplicar el Sistema de Evaluación Benchmark, el profesor hace que el niño lea en voz alta una serie de esos libros nivelados. El proceso dura entre 20 y 30 minutos por alumno, y puede ser más largo en los cursos superiores. Fountas y Pinnell recomiendan contratar a un sustituto para uno o dos días para que el profesor tenga tiempo suficiente para evaluar a toda la clase.

Los productos de Fountas y Pinnell han generado decenas de millones de dólares en ingresos anuales para Henemann, según una revisión de los archivos de la empresa. En 2012, Heinemann facturó unos 123 millones de dólares, de los cuales la mitad correspondieron a los productos de Fountas y Pinnell, de acuerdo con un informe financiero de su empresa matriz. Heinemann batió récords de ventas todos los años hasta que la pandemia de COVID-19 interrumpió su racha de crecimiento en 2020.

La evaluación BAS se aplica en aproximadamente una de cada seis escuelas primarias estadounidenses, según encuestas recientes a educadores. San Francisco ha utilizado el BAS durante casi una década. En 2020, el municipio pagó más de 175.000 dólares por la edición más reciente de la evaluación. Y al menos otros 60 distritos escolares de California, incluidos Long Beach, Palo Alto y Santa Mónica-Malibú, compraron el BAS en los últimos tres años, según GovSpend, una base de datos de contratación gubernamental.

En todo el país, los profesores organizan grupos de lectura a partir de las conclusiones del BAS. Las principales editoriales de literatura infantil, como Penguin Random House, Simon & Schuster y Candlewick Press, han publicado libros que se alinean con el sistema de niveles del BAS.

Fountas y Pinnell han publicado apenas un estudio para respaldar la precisión del Sistema de Evaluación Benchmark. Sin embargo, incluso su propio estudio plantea dudas sobre la fiabilidad de la prueba. El estudio demostró que un alumno que leyera dos libros clasificados en el mismo nivel obtendría, con frecuencia, resultados diferentes en la evaluación. En concreto, solo el 43 % de los alumnos de preescolar hasta segundo de primaria obtuvieron el mismo nivel en ambos libros.

Estudios independientes que comparan el BAS con otras evaluaciones han detectado problemas aún más graves.

Matthew Burns, profesor de educación especial de la Universidad de Florida que llevó a cabo el primer estudio revisado por pares sobre el BAS, dijo que hasta que él puso la evaluación a prueba, nunca se había sido validado de forma independiente para verificar cuánto coincidían sus resultados con los de otras evaluaciones de lectura temprana.

Uno de sus estudios halló que el BAS solo era capaz de distinguir entre lectores competentes y con dificultades, con un acierto del 50 %. Es decir, las probabilidades de una clasificación correcta eran poco mejores que el azar.

«Podría comprar este test, formar a mis profesores para que lo administren y tardar unos 30 minutos por niño», dijo Burns. «Pero, en realidad, basta con que un profesor juegue a cara o cruz con cada niño y acertará con la misma frecuencia».

Cuando se trataba de identificar a los lectores con mayores dificultades, el BAS funcionaba aún peor. No detectó a la mayoría de los alumnos que necesitaban ayuda intensiva, como el hijo de Kelley. Solo detectó al 31 % de esos estudiantes. Burns calificó ese nivel de precisión de «chocante», y dijo que era «literalmente el más bajo que jamás he visto».

En ese caso, dijo Burns, «sería mejor jugar a cara o cruz».

(Un estudio posterior realizado por otro equipo de investigadores encontró que el BAS tenía un índice de precisión superior para los alumnos de tercer grado, del 73 %. Sin embargo, el estudio también señaló que el test seguía siendo impreciso a la hora de identificar a los lectores con dificultades, ya que solo captaba al 46 % ellos).

Burns ha encontrado que otras pruebas, que están disponibles gratuitamente en línea y se aplican en solo tres minutos, eran más precisas que el BAS, que puede costar cerca de 500 dólares por aula y requiere de mucho más tiempo.

Un estudio reciente mostró que el BAS es la prueba que ofrece los resultados menos precisos y, por mucho, el más caro de las tres pruebas más utilizadas. El BAS tarda tanto en administrarse que, teniendo en cuenta el tiempo del personal, su costo es el doble o el triple que el de las otras pruebas. Los investigadores desaconsejaron su uso para identificar a los lectores con dificultades.

El problema, según la hipótesis de Burns, es que los propios libros nivelados no son una buena medida de la capacidad lectora de los alumnos.

En otro estudio, Burns pidió a alumnos de segundo y tercer grado que leyeran en voz alta dos libros en sendos niveles. Midió el número de palabras que los niños leían correctamente por minuto en cada libro. Burns esperaba que las puntuaciones fueran muy similares. Pero, al igual que observaron Fountas y Pinnell en su propio estudio de casi una década antes, descubrió que, como mucho, la correlación entre las puntuaciones de los dos libros era apenas moderadamente correlacionada.

«No hay mucha coherencia», señala Burns. «Los niños leen esos dos libros con un nivel de destreza muy diferente. Esto sugiere que hay más factores que contribuyen a la lectura que el nivel de lectura previsto». Burns deduce que el vocabulario y los conocimientos previos de un niño sobre un tema son más importantes. Por ejemplo, un niño obsesionado con los tiburones podría leer una historia ambientada en un acuario muy por encima de su nivel de lectura previsto.

Del mismo modo, un examen puede no ser capaz de distinguir entre un alumno que tiene dificultades para leer palabras y otro que tiene dificultades para comprender un tema desconocido con su nuevo vocabulario. Esto sería similar a pedirle a un profesor de literatura que resuma un manual de reparación de automóviles. Es probable que esto no indique mucho sobre su capacidad de lectura en general.

Fountas y Pinnell rechazaron múltiples solicitudes de entrevista.

John Cuti, abogado neoyorquino que representa a su editorial, Heinemann, escribió en una carta que este artículo parece «redoblar declaraciones y caracterizaciones erróneas». Cuti también desestimó la investigación de Burns.

«Ese estudio de hace ocho años es limitado y defectuoso en varios aspectos importantes, y no es un indicador fiable de la eficacia del BAS», escribió. No dio más detalles sobre los supuestos defectos.

Burns publicó su investigación en 2015, cuando el hijo de Kelley aún estaba en preescolar. Creyó que su estudio incitaría a los distritos a revisar sus evaluaciones, pero ahora admite que fue ingenuo pensar que un estudio podría ser más persuasivo que el equipo de ventas de una editorial. «Es casi injusto el nivel de marketing», dice.

En una de las principales conferencias sobre lectura, las editoriales educativas llenaron una sala de exposiciones con puestos de productos a la venta, dijo Burns. Bajo una enorme pancarta de «Fountas & Pinnell» que ocupaba media pared, Heinemann había colocado testimonios de profesores con «anécdotas increíbles» de alumnos que habían tenido éxito con sus productos, recordó.

«El entusiasmo y la emoción son difíciles de resistir. Por eso, cuando salen estudios que dicen que algo no funciona, ya es demasiado tarde. Ya estás convencido».

Dislexia no detectada

Kelley no sabía nada sobre evaluaciones de lectura cuando dejó a su hijo en la guardería. Lo único que quería era encontrar un buen colegio para su hijo. Un accidente de coche la dejó incapacitada para trabajar, por lo que tuvo que abandonar su puesto como coordinadora de servicios sociales. Desde entonces, ella y su hijo sobreviven gracias a su pensión de invalidez. Kelley a menudo deseaba poder ofrecerle más a su hijo, pero se consoló pensando que estar en casa le daría más tiempo para ayudarle con sus estudios.

«Más o menos le prometí que le amaría el doble para compensarle», dice. «Y que me aseguraría de participar activamente en sus estudios. Así, aunque no tuviéramos mucho, él tendría la posibilidad de prosperar».

Cada dos semanas, Kelley y su hijo iban juntos a la biblioteca para buscar todos los libros que podían cargar, cuenta Kelley. Kelley le sacó su propia tarjeta de la biblioteca para poder sacar el doble de libros, un máximo de 60. Kelley también compraba libros donde podía, en ventas de garaje y tiendas de segunda mano, y llenaba las estanterías de su apartamento.  

En la guardería, Kelley preguntó a la profesora qué tipo de libros debería leer su hijo en casa. Quería algo que se ajustara al nivel de BAS, del que tanto había oído hablar. La maestra le recomendó que dejara que su hijo eligiera los libros.

El niño siempre prefería los libros que tenía desde los tres años, los que había memorizado casi palabra por palabra. Cuando Kelley le pedía que probara los nuevos libros de la biblioteca, miraba las ilustraciones para tratar de adivinar lo que decían las frases. Kelley intentaba ayudarle a pronunciar las palabras, pero él se enfadaba. Insistía en que su madre estaba equivocada: no era así que debía leer, le decía.

Kelley dijo que la escritura de su hijo era lo que más le preocupaba. Cuando acudió a las reuniones de padres y profesores de primer grado, abrió el cuaderno de escritura de su hijo. «Hojeé sus cuadernos y solo vi una fecha. No había nada más: ni escritura, ni entradas, cero. Miré los cuadernos de los otros alumnos de la clase y vi que tenían párrafos u oraciones. Y el de él no tenía nada», dijo. «Estaba en blanco».

Kelley convenció a la escuela para que evaluaran a su hijo, y resultó ser disléxico. Sin embargo, al final de ese año escolar, el BAS indicó otra vez que estaba dentro del rango esperado. Kelley no se lo creyó. No dejaba de pensar: «Estoy perdiendo tiempo, estoy perdiendo tiempo».

Una teoría desmentida

No es de extrañar que el hijo de Kelley utilizara imágenes para adivinar lo que decían las palabras de la página. Fountas y Pinnell y otros currículos populares enseñan estrategias similares, a pesar de que investigaciones que se remontan a la década de 1970 han demostrado que ese enfoque es ineficaz y potencialmente perjudicial para el progreso de la lectura de los niños.

Los libros utilizados para puntuar el BAS suelen premiar esas estrategias problemáticas. Especialmente en los niveles más bajos, los libros utilizan patrones de frases repetitivas acompañadas de ilustraciones que facilitan la adivinación de las palabras, lo que permite a los alumnos «leerlos» incluso si no pueden pronunciar las palabras de las frases.

Mientras un niño lee en la prueba del BAS, el profesor anota cada palabra que el niño omite y decide cuál de las tres fuentes de información -a veces llamadas pistas- puede haberle despistado: ¿La palabra incorrecta tenía sentido en el contexto de la historia? ¿Encajaba gramaticalmente? ¿Coincidía con alguna letra de la palabra correcta? El objetivo de los resultados es revelar un patrón que indique las estrategias que emplean los alumnos al leer el texto.

En un foro celebrado en noviembre de 2021, Lisa Levin, administradora del Distrito Escolar de San Francisco Unified, explicó a los padres que los profesores del distrito utilizaban el BAS para comprender «lo que hacen los lectores en momentos de dificultad», es decir, qué pistas utilizan para descifrar las palabras, así como las pistas que les despistan.

Levin continuó explicando que los profesores pueden adaptar su enseñanza a las estrategias de lectura de los alumnos. Si un alumno se basa demasiado en las imágenes, el profesor puede llamar su atención sobre las letras. Si un alumno se basa demasiado en la fonética, «como si lo único que estuviera haciendo fuera juntar las letras para pronunciarla, de modo que su fluidez es un poco tosca y no fluida», podrían recomendarle a un lector muy joven que mire la imagen.

Levin puso el ejemplo de un niño de 5 años que se encuentra con la palabra «umbrella», inglés para paraguas. En lugar de «tener que detenerse e intentar pronunciar esas palabras largas», deberían limitarse a mirar el dibujo, dijo.

Pero décadas de investigación de científicos cognitivos indica que animar a los alumnos a utilizar esas pistas para leer puede ser perjudicial para su progreso en la lectura y su educación en general.

«Esa no es la forma en que queremos que los niños lean las palabras», afirma Mark Seidenberg, científico cognitivo de la Universidad de Wisconsin que ha realizado numerosas investigaciones sobre cómo el cerebro procesa el lenguaje. «La idea de que el niño debe utilizar todo tipo de información todo el tiempo para leer palabras es fundamentalmente errónea».

Seidenberg dijo que Fountas y Pinnell lo tienen «al revés». Sus materiales animan a los alumnos a utilizar patrones, imágenes y contexto para adivinar las palabras. En lugar de enseñar a leer, ofrecen a los alumnos «estrategias para hacer frente a sus fracasos». Y el BAS mide lo bien que utilizan todas esas estrategias defectuosas.

Rebecca Fedorko, una profesora de educación especial que trabajó con niños con dificultades de lectura, como el hijo de Kelley, en las escuelas de San Francisco, dijo a los administradores en el foro de 2021 que los materiales de Fountas y Pinnell solo dificultaban su trabajo. Afirmó que tenía que deshacer los malos hábitos que el sistema enseñó a los lectores con dificultades.

«Les enseña a adivinar las palabras, en lugar de centrarse en pronunciarlas», explica Fedorko, que ahora trabaja en otra escuela. «Paso aproximadamente uno o dos meses al principio de cada curso intentando que mis alumnos dejen de adivinar. Contradice directamente lo que hacemos en educación especial».

Tras años de resistirse a las críticas, Fountas y Pinnell parecen estar revisando el BAS y su plan de estudios. El año pasado, su editorial ofreció a los profesores tarjetas de regalo de 25 dólares de Amazon para que revisaran una versión propuesta del examen que restaba importancia al uso de pistas, según un correo electrónico que uno de los participantes compartió con APM Reports.

El daño ya está hecho

El verano después del diagnóstico de dislexia de su hijo, Kelley consiguió una beca para que su hijo asistiera a clases particulares de Lindamood-Bell, una empresa especializada en la enseñanza intensiva de la lectura. Y por primera vez vio una forma diferente de enseñar a leer, que parecía mucho más eficaz que la que había utilizado el colegio de su hijo.

Los tutores de Lindamood-Bell ayudaron a su hijo a dividir las palabras en sonidos individuales y le mostraron cómo esos sonidos se correspondían con las letras. Kelley recuerda haber notado que era muy diferente de lo que hacían los profesores en los colegios de San Francisco. Dice que su hijo aceleró como «un rayo tras otro» con las lecciones.

Pero cuando empezó el año lectivo, los profesores seguían presionándole para que utilizara imágenes y el contexto para adivinar las palabras, no para que las pronunciara. Kelley se dio cuenta de lo que le estaba pasando a su hijo. Sabía que iba retrasado y se sentía frustrado. Se quejaba de terribles dolores de cabeza y cuando llegaba la hora de leer, a veces se dirigía a la enfermería con dolor de estómago. «No lo soporta más», dice Kelley.

A medida que el hijo de Kelley avanzaba por segundo, tercero y cuarto grado, seguía subiendo de nivel en nivel del BAS. En un momento dado, sus puntuaciones eran tan altas que el director sugirió que suspendieran los servicios de educación especial.

En el quinto grado, cuando su hijo recibió una reevaluación completa de su problema de aprendizaje, tal como exige la ley federal de educación especial. Los resultados mostraron que había progresado poco en algunas medidas de lectura, en comparación con sus compañeros. En otras, incluso había retrocedido. El evaluador dijo que, en algunos aspectos, el hijo de Kelley seguía leyendo a un nivel de primer grado.

Kelley dijo que recibir información tan inexacta del BAS fue desorientador. La escuela siempre le decía que su hijo estaba cumpliendo sus objetivos basándose en las medidas de Fountas y Pinnell. Pero cada evaluación externa le había dado resultados diferentes, casi «completamente lo opuesto a lo que había estado escuchando», dijo. A principios de 2022, a mitad del quinto grado, Kelley trasladó a su hijo a una escuela especializada para niños con discapacidades.

Aproximadamente la mitad de los alumnos de tercer grado de San Francisco tienen dificultades en lectura. En el examen estatal del año pasado, el 49 % obtuvo resultados por debajo del nivel de su grado. Esta cifra es especialmente preocupante para los alumnos de color, ya que solo el 23 % de los alumnos negros de tercer grado y el 24 % de los hispanos de tercer grado alcanzaron el nivel exigido en lectura.

Un portavoz de San Francisco Unified rechazó los repetidos pedidos de APM Reports para entrevistar a funcionarios del distrito.

Los funcionarios del Distrito Escolar Unificado de San Francisco están empezando a admitir que el BAS distorsionó su visión de las capacidades lectoras tempranas de los alumnos. Han leído la investigación que les enviaron los padres intercesores, que demuestra que es probable que otros niños del distrito, como el hijo de Kelley, no han sido detectados por la prueba.

«¿Puede un alumno tener éxito en [el Sistema de Evaluación Benchmark] y no estar alfabetizado?», preguntó retóricamente el superintendente Wayne en la reunión de la junta escolar de marzo. «Ese es el meollo del asunto: Sí».

Wayne dijo que los profesores deben seguir escuchando a los niños leer en voz alta, pero que el distrito necesita una prueba de lectura temprana que sea más precisa a la hora de medir las habilidades fundamentales, como la pronunciación de las palabras. «Y esa es la pieza que falta», dijo Wayne.

Kelley se ha puesto a colaborar con el distrito. Se ha reunido con los administradores para seleccionar un nuevo plan de estudios de lengua y literatura y las evaluaciones correspondientes. Dice que está abogando por otros lectores con dificultades de San Francisco, pero que los cambios llegan demasiado tarde para su familia.

Su hijo se encuentra en séptimo grado y sigue teniendo problemas con la lectura, «atinando palabras» cuando se atasca.

«El daño ya está hecho, y será difícil de reparar. Va a llevar mucho tiempo para que mi hijo logre un nivel básico», dijo Kelley. «Y todavía no sé si vamos a estar bien».

Contribuciones adicionales por Emily Hanford y Will Callan.