Un marco de referencia para unaevaluación fiable de la lectoescritura

Scott G. Paris, Robert C. Calfee, Nikola Filby, El-frieda H. Hiebert, P. David Pearson, Sheila W. Va-lencia y Keneth P. Wolf

La evaluación del conocimiento y, especialmente, la de unproceso tan integrado en la cultura como la lectoescritura nodeberían abordarse sólo desde y por los educadores, puesto que lafuncionalidad de la lectoescritura se extiende más allá de lastareas escolares. Este artículo presenta un modelo experimentadode «lectoescritura global» y su evaluación, tanto por el ágilsistema de carpeta del educador como por sistemas másconvencionales.

La evaluación es fundamental para la mejora de la educación; ofrece medi-das de éxito para el aprendizaje de los alumnos, para el liderazgo de los ense-ñantes y para evaluaciones continuas de los programas educativos. Muchosinvestigadores y educadores han argumentado que las pruebas psicoeducativastradicionales ya no son adecuadas para esta diversidad de objetivos de evalua-ción (por ejemplo, Resnick y Resnick, 1990; Valencia y Pearson, 1987). Entrelas propuestas presentadas para mejorar la evaluación de la lectoescritura, se in-cluyen una gran variedad de sugerencias, desde nuevas pruebas nacionales ba-sadas en medidas de rendimiento hasta evaluaciones individuales en clase basadasen carpetas de muestras de trabajo. Aunque es improbable que una sola pruebao alternativa de evaluación satisfaga las necesidades de todos los interesados,para nosotros es evidente que estos esfuerzos están fomentando muchos enfo-ques nuevos y útiles para la evaluación.

El objetivo de este artículo es describir un marco de referencia para la eva-luación de la lectoescritura que se pueda adaptar a las necesidades de evalua-ción de escuelas y distritos concretos. Este marco de referencia implica una tomade decisiones en cinco fases que los administradores deberían tener en cuentaal revisar prácticas de evaluación. Como las decisiones sobre qué resultados va-lorar, cómo evaluar los logros en lectura y escritura y cómo utilizar los datos

Comunicación, Lenguaje y Educación, 1993, 18, 15-29

16afectan directamente a enseñantes, padres y alumnos, creemos que esta tomade decisiones debería ser compartida por todas las partes interesadas. De estamanera, todos los participantes están informados sobre los objetivos y los crite-rios de la evaluación y se sienten motivados para participar plenamente en ella.Aunque en este artículo se describe un proceso de toma de decisiones sobreevaluaciones fiables de la lectoescritura que fue creado por los autores para laevaluación de un programa externo, instamos a los enseñantes a emular este pro-ceso en escuelas y distritos porque puede establecer un consenso con conoci-miento de causa entre las partes interesadas locales sobre los resultados y losprocesos de la lectura y la escritura que serán evaluados y valorados en cadacomunidad.

Nuestro equipo se constituyó como grupo asesor para el Far West Laboratoryfor Educational Research and Development, con la misión de diseñar un marcode referencia para la evaluación de la lectoescritura en el Kamehameha Elemen-tary Education Project (KEEP). La evaluación global, dirigida por el SouthwestRegional Educational Laboratory, forma parte de un proyecto estadounidense consubvención federal diseñado para evaluar la eficacia del currículo sobre lecturay escritura K-3 KEEP y comparar el éxito de los alumnos de KEEP al finaldel tercer curso con alumnos similares de otras escuelas de Hawai. Lo que em-pezó como una evaluación programática de un currículo de «lectoescritura glo-bal» creció hasta convertirse en la creación de evaluaciones alternativas de lalectoescritura a causa de las limitaciones de las pruebas estandarizadas para captaraspectos críticos de los objetivos curriculares de los currículos de KEEP y delHawaii Department of Education (DOE) (Giuli, 1991). Esta situación ofrecía unaoportunidad única para que nuestro equipo trabajara conjuntamente en un pro-blema práctico específico. Creemos que tanto el proceso como su resultado pue-den servir como modelos para que otros puedan diseñar evaluaciones fiablesde la lectoescritura.

EL CONTEXTO HAWAIANO DE KEEP

KEEP empezó en 1972 como proyecto experimental en la Kamehameha Schoolpara fomentar la lectoescritura entre estudiantes hawaianos nativos (Tharp y Ga-llimore, 1988). En la actualidad se ha extendido a ocho escuelas de todas lasislas de Hawai y sirve a unos 3.000 estudiantes al ario en cursos K-3. Reciente-mente, el currículo ha sido ampliado a algunas clases de 4• 0, 5.0 y 6.° curso. Elcurrículo KEEP ha sido revisado varias veces y la mejor manera de describirloes como un conjunto de directrices para el currículo, la enseñanza y la evalua-ción de carácter más dinámico que estático. Por ejemplo, el Literacy CurriculumGuide de KEEP (Au, Blake, Herman, Oshiro y Scheu, 1990) describe una ins-trucción que incluye experiencias de lenguaje y actividades de lectoescritura glo-bal pertinentes para niños hawaianos nativos.

Esta guía también describe un sistema de evaluación en forma de carpetade observaciones y listas de comprobación que los enseñantes pueden utilizarpara evaluar el progreso de los alumnos comparándolo con pruebas de desarro-llo. Las listas de comprobación resumen la lectoescritura de los niños en cuatrograndes áreas: dominio y lectura voluntaria, comprensión de la lectura, proce-sos de escritura y lectoescritura emergente (Au, Scheu, Kawakami y Herman,1990). Aunque la guía nos ofrece una valiosa información sobre los objetivosdel currículo y la evaluación de KEEP, nuestras propuestas para unas evaluacio-

17nes fiables no estuvieron limitadas por prácticas existentes. El sistema de carpe-ta descrito por Au et al. es utilizado principalmente por auxiliaresparaprofesionales con fines de diagnóstico, aunque los enseñantes están apren-diendo gradualmente este sistema para poder registrar observaciones similares.En cambio, el sistema de evaluación que se nos encargó crear sólo será utilizadopor evaluadores externos para realizar comparaciones cuantitativas entre los lo-gros de alumnos de KEEP y de alumnos ajenos a él.

El Language Arts Program Guide (Departamento de Educación de Hawai,1988), describe un currículo integral de materias lingüísticas similar al marcode referencia de KEEP pero menos orientado a una instrucción global del len-guaje y a los antecedentes socioculturales de los niños nativos hawaianos. Losresultados de los alumnos en cada curso y en cada dominio del lenguaje se espe-cifican con más detalle que en las pruebas de KEEP, aunque los objetivos deambos currículos son globalmente congruentes. Es importante tener en cuentaque utilizamos los objetivos y las actividades curriculares tanto de KEEP comodel Departament of Education (DOE) para determinar qué aspectos de la lec-toescritura se recalcan en la enseñanza diaria y qué resultados se valoran.

Los problemas de evaluación en Hawai son similares a los que se encuentranla mayoría de los distritos escolares, es decir, cómo crear evaluaciones que a)midan características críticas del currículo, b) sean coherentes con las prácticaseducativas, c) motiven a los estudiantes y d) ofrezcan medidas de responsabili-dad (Winograd, Paris y Bridge, 1991). En Hawai, la práctica tradicional ha con-sistido en examinar cada primavera a todos los estudiantes de tercer curso enadelante mediante el Stanford Achievement Test, que no mide muchos de los ob-jetivos de los currículos de KEEP y del Hawaii DOE. Muchos enseñantes sepasan meses preparando a sus alumnos para esta prueba con materiales y activi-dades que no son coherenes con su currículo regular. De la misma manera, mu-chos alumnos consideran que el Stanford es el objetivo del aprendizaje de lalectoescritura y la cima del curso escolar. Los administradores informan de un«efecto de retroceso» que produce baja motivación durante el último mes decurso, después del Stanford. Los resultados del Stanford se han venido utilizan-do históricamente para evaluar el programa KEEP sin tener en cuenta el tiempovariable que han dedicado enseñantes y alumnos a participar en clases realesde KEEP ni la falta de correspondencia entre el Stanford y el currículo.

Ante estos problemas, no es sorprendente que las evaluaciones de KEEPque utilizan puntuaciones del Stanford y del Metropolitan Achievement Test (Yap,Estes y Nickel, 1988) revelen un rendimiento bajo de los alumnos de KEEPy frustración en el personal de este programa. Existía una manifiesta y urgentenecesidad de diseñar evaluaciones alternativas para medir el desarrollo de lalectoescritura en las clases de KEER Estas evaluaciones necesitaban medir lacapacidad para leer y escribir además del dominio, los hábitos, las actitudes ylas estrategias de la lectoescritura de los alumnos de una manera que reflejarala naturaleza interactiva, colaboradora y constructiva del aprendizaje en las aulashawaianas. Este es el problema con que nos enfrentamos.

NEGOCIACION DE UN MARCO DE REFERENCIA PARA UNAEVALUACION ALTERNATIVA

Empezamos a reunirnos como grupo en enero de 1991, nos fuimos reunien-do periódicamente durante el año, recopilamos datos piloto y nos escribimos

18regularmente acerca del marco de referencia. Como ocurre con muchos proyec-tos nuevos, sólo nos dimos cuenta de la forma de la tarea y de las solucionestras haber estado inmersos en ellos durante muchos meses. Al final, podemosidentificar cinco fases discretas en nuestra toma de decisiones que pueden serorientativas para otros.

Fase I: Identificar las dimensiones de la lectoescritura

Nuestras discusiones sobre evaluaciones alternativas giraban en torno a te-mas del currículo y la enseñanza porque todos estábamos de acuerdo en queuna «evaluación fiable» debe reflejar las prácticas y los objetivos cotidianos dela clase. Por tanto, la tarea inicial consistió en decidir qué aspectos del desarro-llo de la lectoescritura en los alumnos es importante medir en las escuelas ha-waianas y, en consecuencia, qué aspectos no son evaluados por los procedimientosactuales. Empezamos por considerar diversas taxonomías que incluían elemen-tos como conocimientos, aptitudes y actitudes, o leer, escribir, escuchar y ha-blar. Ninguna de ellas era satisfactoria porque no capturaban la interconexióny las características psicológicas de la lectoescritura motivada que eran funda-mentales para los currículos. A partir de discusiones con educadores de KEEPy de DOE, además de nuestras observaciones y conocimientos de KEEP, reco-pilamos una lista de 5-10 dimensiones que fueron la base para posteriores discu-siones.

Posteriormente identificamos siete dimensiones críticas de la lectoescritu-ra, descritas en la Tabla I, que consideramos se encuentran en el núcleo de am-bos currículos. Estas dimensiones encarnan un punto de vista de la lectoescrituraque es interactivo, social, constructivo, metacognitivo e integrado con usos fun-cionales del lenguaje. La evaluación de estas dimensiones trasciende las puntua-ciones de S tanford y los énfasis tradicionales en aptitudes básicas de lectura.

TABLA

Dimensiones y atributos críticos de la lectoescritura

1. Implicación en el texto mediante la lectura

Un aspecto crítico de la lectoescritura es el grado en que los lectores y los escritores interactúan con las ideas ex-presadas en el texto. Necesitan relacionar su conocimiento y sus experiencias previos con la nueva informa-ción textual e integrar las ideas. Una implicación meditada con el texto comporta que los lectores construyansignificados de una manera razonable, que empleen estrategias mientras leen y que reflexionen sobre el signi-ficado y el estilo del texto. La comprensión es un elemento clave de la implicación, aunque esta dimensión tam-bién incluye la demostración de estrategias de pensamiento y de respuestas personales al texto que amplían suinterpretación básica.

2. Implicación con el texto mediante la escritura

La escritura es una expresión constructiva de ideas que se comunica de una manera coherente y precisa. Laimplicación de los alumnos con la escritura y la lectura debería ofrecer un soporte mutuo para unas estrate-gias de lectura, unos hábitos y una motivación eficaces. La escritura debería incorporarse a actividades coti-dianas y debería basarse en genuinos fines de comunicación. Debería permitir a los alumnos componer susideas acerca de una variedad de temas con diferentes géneros y estilos. La escritura de los alumnos deberíaincluir sus opiniones personales, sus reflexiones y sus elaboraciones de textos que hayan leído. El mensajey la expresión deberían ser claros. Los aspectos técnicos de la escritura como la ortografía, la elección depalabras, la puntuación, la gramática y la organización deberían ser adecuados para el curso del alumno.

3. Conocimientos de lectoescritura

Los alumnos deben comprender que el lenguaje se puede expresar mediante la lectura y la escritura según lasconvenciones sobre lectoescritura y que la observación de estas convenciones ayuda a la gente a comprenderse

19mutuamente mediante la comunicación escrita. Por ejemplo, los lectores y escritores eficaces comprenden losdistintos fines y estructuras de diversos géneros literarios y saben que pueden utilizarse estrategias al leer y es-cribir. Su conocimiento de la lectoescritura también incluye su comprensión metalingüística de los matices dellenguaje como la ambigüedad y el lenguaje figurativo, además de su comprensión de las conexiones entreleer, escribir, escuchar y hablar.

4. Orientación hacia la lectoescrituraLa lectura y la escritura requieren más que la implicación con el texto y la construcción de significados. Tam-bién requieren motivación para que los niños puedan leer, escribir y aprender de una manera independiente.Los alumnos deben establecer objetivos adecuados para la lectoescritura y perseverar ante las dificultades.Los lectores motivados buscan retos en lo que leen de la misma manera que los escritores motivados se pro-longan a sí mismos para componer más texto, para escribir en diversos géneros o para escribir creativamente.Una orientación positiva hacia la lectoescritura también incluye sentimientos de confianza, optimismo, dis-frute y control de manera que los niños consideren sus logros con orgullo y satisfacción.

5. Dominio de la lectoescrituraLos buenos lectores desarrollan hábitos independientes de lectura, identifican sus temas y libros favoritosy supervisan sus propios avances y logros. En este sentido, desarrollan un «dominio» de su lectura que reflejasu orgullo en relación a sus logros y su disfrute en lecturas recreativas. De la misma manera, los buenos escri-tores escriben de una manera independiente, leen sus propias composiciones y desarrollan preferencias paraescribir acerca de ciertos temas o en géneros determinados. Este sentido de dominio fomenta unos hábitosde lectoescritura que duran toda la vida y se hace patente en las preferencias de los niños en cuanto a lecturay escritura, en su independencia y en su iniciativa en leer y escribir.

6. ColaboraciónLa lectura y la escritura no siempre son actividades privadas; con frecuencia implican discusión y coopera-ción para que el significado pueda ser negociado entre los participantes. La construcción social del significa-do es especialmente importante en la escuela, donde las actividades educativas pueden implicar lecturas yescrituras compartidas, aprendizaje en colaboración y tutoría mutua por parte de los niños. Los lectores ylos escritores eficaces pueden trabajar con otros en «comunidades de estudio» para crear significados, revisarcomposiciones, presentar y compartir sus ideas y solucionar problemas mientras leen y escriben. Una fre-cuente participación con otros alumnos en la escuela es una señal de colaboración; el respeto social por losdemás y los mutuos beneficios del aprendizaje también son consecuencias deseables de la colaboración.

7. Conexión con el currículoLa lectura y la escritura son actividades generales en la escuela y son fundamentales para el aprendizaje de todoel currículo escolar. Por tanto, es importante que los niños lean y escriban para aprender materias como humani-dades, ciencias y matemáticas, y que las aptitudes, la motivación y la colaboración evidentes en la enseñanza dela lectoescritura se refuercen en las asignaturas. También es importante que los niños comprendan las conexio-nes existentes entre leer, escribir, escuchar y hablar para que consideren las áreas del lenguaje como algo inte-grado, pragmático y con un fin. La lectoescritura también debe conectarse entre la escuela y el hogar para que lasfamilias puedan apoyar las aptitudes y hábitos de lectoescritura basados en la escuela y para que los enseñantespuedan ser sensibles a los antecedentes y los talentos exclusivos de cada niño.

Los resultados de esta fase de la toma de decisiones incluyen tanto un pro-ducto como un proceso. El proceso de examinar los currículos, observar la ins-trucción en clase y hacer operativos los objetivos de la «lectoescritura global»ocupó varios meses e implicó sesiones de brainstorming clarificar valores y lo-grar el consenso entre los integrantes de nuestro equipo. También discutimosnuestras propuestas de evaluación con Kathy Au y Chuck Giuli, de KEEP, ycon Betsy Brandt, de DOE. Fue especialmente revelador negociar la correspon-dencia entre el currículo y la evaluación, y todos nos quedamos sorprendidospor el valor que este proceso puede tener para enseñantes y administradores.Efectivamente, los estudiantes que comprenden las conexiones existentes entrelas actividades cotidianas para el aprendizaje y la evaluación también puedenllegar a estar más informados sobre los fines de la evaluación y los criterios parael éxito. Saber qué es lo que cuenta en el rendimiento en lectoescritura en clasepuede ayudar a crear una visión compartida de la enseñanza y el aprendizaje.

20Fase 2: Identificar los atributos de las dimensiones de la lectoescritura

A medida que identificábamos dimensiones potenciales también discutía-mos los tipos de rendimiento en lectoescritura que distinguen a los alumnos ap-tos de los menos aptos en cada dimensión. Estos atributos podían describirsea niveles generales o específicos. Por ejemplo, en la dimensión «Implicación enel texto mediante la lectura», discutíamos que los buenos lectores son construc-tivos, estratégicos, reflexivos y evaluadores. Para cada uno de estos atributosgenerales, generamos tres indicadores específicos de lectoescritura que podíanverificarse empíricamente a partir del rendimiento de los alumnos, como utili-zar estrategias adecuadas para supervisar la comprensión o establecer inferen-cias. Cada uno de estos indicadores se describe en la Tabla II y ofrece un puntode referencia tangible para evaluar la lectoescritura de los alumnos. Aunque es-tos indicadores forman una continuidad, se ofrecen descripciones concretas úni-camente para los extremos superior e inferior. Pueden generarse normas y criteriosde puntuación más detallados para cada indicador.

Una virtud de esta actividad para los educadores en general es que los parti-cipantes comparten entre sí sus teorías sobre la lectoescritura, con lo que lasideas sobre el desarrollo de la lectoescritura son reconsideradas dentro de estecontexto de colaboración. Creemos que este ejercicio es extremadamente valio-so para grupos de enseñantes, administradores y padres que diseñen una evalua-ción. Una segunda virtud de identificar atributos específicos de la lectoescrituraes que nos fuerza a considerar conjuntamente las preguntas «e:Qué es importan-te?» y «¿Cómo podemos medirlo?». Aunque la facilidad y la economía de la me-dición son importantes, necesitamos asegurar que las nuevas formas de evaluaciónse orienten a aspectos críticos del aprendizaje y el desarrollo de los alumnosy no sólo a las aptitudes que se someten a prueba de manera inmediata. Natu-ralmente, las dimensiones, los atributos y los indicadores están relacionados en-tre sí, por lo que deben acordarse conjuntamente. Solíamos ampliar o reducirlas listas que producíamos porque parecía darse un desequilibrio en el nivel dedetalle o de énfasis. No podemos insistir demasiado en la importancia que tieneel proceso de negociar lo que es importante evaluar porque permite que las par-tes interesadas locales creen un conjunto compartido de valores y conceptos so-bre el desarrollo de la lectoescritura.

EVALUACION DEL RENDIMIENTO EN LECTOESCRITURA

Las siguientes tres fases en el diseño de evaluaciones alternativas traducenlos valores y los atributos específicos identificados en las fases 1 y 2 en procedi-mientos de evaluación. Para quienes realizan la toma de decisiones existen va-rias opciones disponibles en este punto para recopilar evidencias sobre elaprendizaje de los alumnos, incluyendo pruebas convencionales, listas de com-probación, lecciones estructuradas, observaciones, etc. Optamos por analizar losproductos y las actividades de lectoescritura ordinarios de los alumnos en vezde sus respuestas a enseñanzas específicas o contenidos uniformes por tres ra-zones. En primer lugar, deseábamos que la evaluación de la lectoescritura refle-jara auténticas actividades de clase, incluyendo la variedad y la cualidad de lasexperiencias de lectoescritura de los alumnos. En segundo lugar, deseábamosdiseñar un modelo prototípico de evaluación basado en muestras de trabajo delos alumnos que se pudiera utilizar de manera flexible y pudiera ser adaptado

21por otros educadores. En tercer lugar, el plan global de evaluación de KEEPincluye varias otras evaluaciones del desarrollo de la lectoescritura en los niñosque no están basadas en el rendimiento cotidiano de los alumnos.

Fase 3: Métodos para recopilar evidencias sobre la capacidad en lectoescritura

El trabajo que los alumnos producen en clase cada día revela su aprendizajey su motivación normales. Estas muestras de trabajo son auténticas medidasde rendimiento que reflejan las oportunidades educativas ofrecidas en clase ade-más del logro de los alumnos. Por tanto, las muestras de trabajo ordinario noson puras medidas de aptitud sino que puede ofrecer evidencias reveladoras so-bre el mejor trabajo y el trabajo típico de los alumnos en clase. A la inversa,una escasez de muestras de trabajo destacadas pueden indicar una falta de opor-tunidades en clase, un «déficit educativo», en vez de algún tipo de déficit delalumno. Puede obtenerse información adicional sobre los éxitos de los alum-nos, incluyendo sus percepciones, su comprensión y autoevaluación, cuando seles dan oportunidades para reflexionar sobre sus puntos fuertes y débiles y so-bre sus avances. El método de las entrevistas reflexivas sobre muestras de traba-jo es coherente con los métodos basados en carpetas, pero constituye unaevaluación igualmente adecuada en clases donde no se utilizan sistemas basa-dos en carpetas.

El método que ideamos consistió en recopilar todas las muestras de trabajoen lectoescritura producidas durante una semana por niños que representabanuna gama de niveles de éxito en cada clase. Estos productos incluían cuadernosde lectura, apuntes de diarios, cartas, ensayos, listas de ortografía, ejercicios einformes sobre libros. En el proyecto piloto, los enseñantes recopilaron mues-tras de trabajo de cuatro alumnos de cada clase que luego fueron entrevistadosacerca de su trabajo y de sus hábitos y actitudes ante la lectura y la escritura.En nuestro proyecto piloto con cuatro enseñantes y 16 alumnos de tercer curso,hubo abundancia de materiales diversos que reflejaban las unidades curricula-res y las actividades de lectoescritura que se daban en cada aula.

Al final de la semana, un entrevistador examinaba los materiales individual-mente con cada alumno durante 20-30 minutos. Se reunieron cerca de 20 pre-guntas en una entrevista estructurada aunque coloquial que se describe completaen Wolf et al. (1991), y que fue diseñada para que diera información sobre losatributos y los indicadores de cada dimensión para poder asignar una puntua-ción. Por ejemplo", a los alumnos se les planteaban preguntas como las siguientes:

• Aquí tenemos una muestra de lo que has escrito durante esta semana. ¿Yalo has acabado? ¿Qué es lo que te gusta de esta pieza? ¿Qué cambiaríaspara mejorarla? ¿Te han ayudado otros alumnos de la clase a escribirla orepasarla?

• ¿Qué libro has leído durante esta semana? Explícame algo sobre él. ¿Quéte ha hecho sentir? ¿Había en el libro algo que te sorprendiera?

• ¿Crees que lees y escribes bien? ¿Qué hace que alguien sea un lector real-mente bueno? Cuando piensas en ti como lector, ¿qué te gustaría hacerde manera distinta o en qué te gustaría mejorar?

Las entrevistas se grababan en cinta magnetofónica y más adelante se trans-cribían para que nosotros pudiéramos discutir las respuestas de los alumnos amedida que creábamos el sistema de puntuación. En el futuro, prevemos que

22entrevistadores adiestrados podrán puntuar las reflexiones y las muestras de tra-bajo de los alumnos durante la entrevista para que el proceso sea rápido y eficaz.

Fase 4: Puntuar las muestras de trabajo de los alumnos

La siguiente fase de nuestro proyecto consistió en puntuar los datos pilotoprocedentes de los 16 alumnos para determinar si el sistema podía ofrecer medi-das fiables e informativas de las diferencias existentes entre los alumnos. Reu-nimos los datos en mayo y discutimos si los datos debían puntuarse en el nivelde los indicadores (los 42 ítems «a, b, c» de la Tabla II) o en el nivel de losatributos (las 14 subcategorías de la Tabla II, por ejemplo, «Implicación en eltexto mediante la lectura»). Optamos por un nivel intermedio de atributos co-mo el más adecuado para los juicios holísticos y cuantitativos que deseábamosrealizar. Sin embargo, los enseñantes que utilizan un sistema similar pueden elegiruna evaluación más holística u optar por registrar comentarios narrativos en vezde puntuaciones cuantitativas.

El procedimiento de puntuación comportaba leer la transcripción de la en-trevista al alumno, examinar las muestras de trabajo y asignar una puntuaciónde 1 a 4 a cada atributo. Esta escala de cuatro valores estaba anclada en ambosextremos con descripciones de los atributos (por ejemplo, «Integra nuevas ideascon conocimientos y experiencias anteriores»; véase la Tabla II) que contribuíanconsiderablemente a los juicios porque eran ejemplos tangibles del conocimien-to, las actitudes o el comportamiento de los alumnos para cada atributo. Laspuntuaciones se pueden agregar para los dos atributos por dimensión (los valo-res oscilan entre 2 y 8) y para las siete dimensiones (los valores van de 14 a56) para obtener puntuaciones resumen del rendimiento en lectoescritura de ca-da alumno. A medida que evaluábamos las muestras de trabajo de distintos alum-nos, íbamos alcanzando un consenso mayor en relación a las puntuaciones.Aunque las evaluaciones fueron llevadas a cabo por nuestro equipo, somos opti-mistas y creemos que enseñantes entrenados y con conocimientos pueden utili-zar este procedimiento de puntuación holístico para obtener evaluaciones dignasde confianza del desarrollo de la lectoescritura en sus alumnos.

Un ejemplo podría ayudar a ilustrar los procedimientos de puntuación. Larecopilación de trabajos de Alice incluía cerca de 20 páginas escritas por ellaincluyendo poemas, un diario de respuestas y una larga historia titulada «Papáfantasma». Durante su entrevista, Alice explicó cómo le gustaba elegir sus pro-pios temas para el diario y cómo escogió sus mejores poemas para incluirlos enuna carpeta. También identificó sus libros favoritos y describió cómo disfruta-ba leyendo con frecuencia. Estas manifestaciones, junto con la evidencia tangi-ble, le otorgaron una puntuación de tres sobre cuatro puntos en el atributo«Intereses y hábitos» dentro de la dimensión «Dominio» (véase la Tabla II). Elotro atributo de esta dimensión, «Autoevaluación», sólo recibió dos puntos por-que Alice dijo que su objetivo en escritura era escribir más rápido, una partede evidencia negativa que fue moderadamente contrarrestada por su explica-ción sobre elegir su mejor poema. De una manera similar, los comentarios y lasreflexiones de Alice, junto con una revisión de sus muestras de trabajo, se utili-zaron para determinar puntuaciones para cada uno de los 14 atributos.

Como se trataba de un proyecto piloto y el sistema de puntuación era gene-rado y refinado a medida que examinábamos el trabajo de los alumnos, no dis-ponemos de índices numéricos sobre la validez y la fiabilidad de las evaluaciones

23TABLA II

Indicadores de rendimiento para cada atributo y dimensión de la lectoescritura

IMPLICACION EN EL TEXTO MEDIANTE LA ESCRITURA

Poca implicación Mucha implicación

La lectura es constructiva

a. No se basa en conocimientos anteriores.

b. Pocas inferencias o elaboraciones; repetición lite-ral del texto.

c. Se centra en datos aislados; no conecta entre síelementos de texto.

La lectura e

a. No utiliza conocimientos y experiencias perso-nales como marco de referencia para interpretarel texto.

b. Es insensible al estilo, los presupuestos, la pers-pectiva y las pretensiones del autor.

c. No examina las ideas del texto ni va más allá deun informe literal de las mismas.

a. Integra nuevas ideas con conocimientos y expe-riencias anteriores.

b. Exhibe inferencias relativas el texto y que lo so-brepasan.

c. Identifica y elabora tramas, temas y conceptos.

s evaluadora

a. Utiliza conocimientos y experiencias anteriores pa-ra construir significados.

b. Es sensible al estilo, los presupuestos, la perspecti-va y las pretensiones del autor, y hasta puede lle-gar a cuestionar estos aspectos.

c. Expresa opiniones, juicios o intuiciones acerca delos contenidos del texto.

IMPLICACION EN EL TEXTO MEDIANTE LA ESCRITURA

Poca implicación

Mucha implicación

La escritura es constructiva

Escribe palabras o frases inconexas con pocascaracterísticas identificables de algún género.

No usa conocimientos personales como basepara componer textos.

Poca evidencia de expresión, estilo personalu originalidad.

a. Escribe textos bien construidos, temáticos y cohe-sivos que son adecuados al género.

b. Se basa en conocimientos y experiencias persona-les al componer textos.

c. Su escritura creativa revela un fuerte sentido deexpresión, estilo personal y originalidad.

La escritura es técnicamente adecuada

Su escritura incluye numerosas violaciones delas convenciones sobre ortografía, puntuacióny uso.

Empleo inadecuado o inflexible de estructurasgramaticales.

Vocabulario limitado y contextualmenteinadecuado.

Muestra un empleo evolutivamente adecuado delas convenciones sobre ortografía, puntuacióny USO.

Su escritura exhibe estructuras gramaticales ade-cuadas para los fines y el género.

Vocabulario rico, variado y adecuado.

CONOCIMIENTO DE LA LECTOE SCRITURA

Poco conocimiento

Mucho conocimiento

Conocimiento de las convenciones y estructuras de la lectoescritura

a. Ignora las funciones de las convenciones de im- a. Comprende las funciones de las convenciones depresión y de la puntuación en la comunicación

impresión y de la puntuación en la comunicación

escrita. escrita.

b. Ignora géneros y estructuras de texto. b. Puede identificar y utilizar varios géneros y es-tructuras de texto específicos.

c. Ignora las sutilezas del uso del lenguaje; no c. Comprende que las palabras tienen múltiples sig-comprende ni utiliza significados connotativos, nificados; puede utilizar y comprender ambigüe-ambigüedades ni lenguaje figurativo. dades y lenguaje figurativo.

24TABLA II (continuación)

Poco conocimiento

Mucho conocimiento

Conocimiento de estrategias

a. Ignora estrategias que se puedan aplicar al leer a.y escribir.

b. Comprensión limitada de cómo se pueden aplicar b.estrategias al leer y escribir.

c. Conoce poco el valor de las estrategias; no utili- c.za estrategias selectivamente.

Conoce estrategias que se pueden aplicar antes,durante y después de leer y escribir.

Puede explicar cómo se aplican estrategias o cómose podrían utilizar.

Comprende cómo y cuándo se pueden utilizar es-trategias y por qué son útiles.

ORIENTACION HACIA LA LECTOESCRITURA

Baja orientación Alta orientación

Motivación para la lectura y la escritura

a. Los objetivos de la lectoescritura son acabar a. Los objetivos son intrínsecos y orientados hacia el

las tareas y obtener recompensas extrínsecas. dominio de la lectura y la escritura.

b. Abandona con facilidad ante las dificultades. b. Persiste cuando se enfrenta a obstáculos o difi-cultades.

c. Elige tareas donde el éxito o el fracaso son c. Elige tareas retadoras al límite de su capacidadseguros. actual.

Actitudes hacia la lectura y la escritura

a. Actitudes negativas hacia la lectura y la escritura. a. Exhibe entusiasmo para leer y escribir.

b. Exhibe desconcierto y pasividad y carece de

b. Exhibe orgullo y confianza en sí mismo como lec-

seguridad en sí mismo como lector o escritor. tor o escritor.

c. Considera que la lectoescritura está sometida a c. Se considera responsable de su propia lectoescritu-control ajeno. ra y cree que los demás respetan sus aportaciones.

DOMINIO DE LA LECTOESCRITURA

Poco dominio Mucho dominio

Intereses y hábitos

a. Expresa poca o ninguna diferencia respecto a te- a. Exhibe claras preferencias respecto a temas, géne-mas, géneros y autores distintos, ros y autores.

b. Evita leer y escribir como actividades de opción b. Selecciona voluntariamente la lectura y la escritu-libre. ra como actividades de opción libre.

c. No elige adecuadamente textos para leer ni temas c. Elige adecuadamente textos para leer y temas so-sobre los que escribir. bre los que escribir.

Autoevaluación de la lectura y la escritura

a. Raramente evalúa su propio trabajo, su apren-dizaje o sus progresos.

b. Muestra poca iniciativa para evaluar su propiotrabajo.

c. Utiliza criterios únicos, vagos o poco claros paraevaluar su propio trabajo.

a. Evalúa frecuentemente su propio trabajo, suaprendizaje y sus progresos.

b. Toma la iniciativa para revisar y supervisar su pro-pio trabajo.

c. Emplea criterios adecuados para evaluar lo que seha leído o escrito.

25TABLA II (continuación)

COLABORACION

Poca colaboración Mucha colaboración

Cooperación con los compañeros

a. Poca participación con otros; emprende activida- a. Frecuentemente colabora en actividades de lec-des solitarias. toescritura.

b. No se muestra dispuesto a colaborar en la cons- b. Inicia discusiones, diálogos o debates sobre signi-trucción de significados. ficados de textos.

c. Es reticente a dar o prestar ayuda; no estimula el c. Ofrece apoyo positivo, afecto y soporte educativodesarrollo de la lectoescritura en sus compañeros. a sus compañeros.

Comunidad de estudio

a. No comparte objetivos, valores ni prácticas con a.

otros.

b. No participa en la comunidad de estudio o sólo b.desempeña en ella una gama limitada de roles.

c. Ignora las aportaciones que otros pueden hacer c.al desarrollo de su propia lectoescritura.

Comparte objetivos, valores y prácticas con otros.

Desempeña una variedad de roles (intérprete,auditorio, líder, seguidor) en la comunidad deestudio.

Valora las aportaciones de los demás; respeta lasopiniones y la ayuda ajenas.

CONEXION DEL CURRICULO

Baja conexión

Alta conexión

Dentro de la escuela

a. Contempla la lectura y la escritura como acti- a. Comprende que la lectura y la escritura son ins-vidades descontextualizadas. trumentos para aprender y para conocerse a sí

mismo.

b. Contempla la lectura, la escritura, el habla y la b. Contempla la lectura, la escritura, el habla y la es-escucha como independientes entre sí. cucha como actividades que se apoyan mu-

tuamente.

c. Ve poca relación entre la lectura y la escritura, c. Entiende que lo que se aprende al leer y escribiry otras materias. es útil en otras asignaturas.

Fuera de la escuela

a. Raramente emprende actividades de lectura y es- a. La lectura y la escritura forman parte de sus acti-critura fuera de la escuela. vidades rutinarias cotidianas.

b. Considera que el currículo escolar de lecto- b. Conecta las actividades escolares de lectoescrituraescritura no tiene relación con su propia vida. con la lectura y la escritura en la vida de cada

día.

c. Se siente desanimado y falto de apoyo para leer c. Se siente animado y apoyado para leer y escribiry escribir fuera de la escuela. fuera de la escuela.

del rendimiento. Sin embargo, creemos que este modelo ofrece datos auténticosy dignos de confianza porque las muestras de trabajo se derivan de actividadescurriculares cotidianas y son interpretadas por los alumnos (véase Valencia, 1990).Las nociones tradicionales de fiabilidad, basadas en la similitud de puntuacio-nes entre prueba y contraprueba, ya no pueden aplicarse a evaluaciones de ren-dimiento que ofrecen oportunidades para la reflexión y el aprendizaje. En

26realidad, una baja fiabilidad entre prueba y contraprueba puede ser deseablesi los alumnos se benefician del proceso de evaluar su propia lectoescritura.

Las evaluaciones basadas en el rendimiento pueden ofrecer descripcionesdinámicas de los ritmos de aprendizaje y los grados de cambio de los alumnos.Además, Linn, Baker y Dunbar (1991) han propuesto que las evaluaciones basa-das en el rendimiento sean juzgadas mediante nociones de la validez más am-plias que incluyan conceptos como las consecuencias de la evaluación, laimparcialidad de tareas y puntuaciones, la posibilidad de generalizar resultadosy la cualidad y complejidad de los contenidos de las evaluaciones. Creemos queevaluaciones de muestras de trabajo de los alumnos como las realizadas por no-sotros animarán a enseñantes y alumnos a producir colecciones de trabajos com-plejas, de gran calidad, variadas y buenas. Las consecuencias de esta evaluaciónestimularán un aprendizaje motivado por parte de los alumnos, además de fo-mentar una enseñanza eficaz por parte de los enseñantes que se correspondacon los objetivos curriculares.

Estos breves comentarios sobre la fiabilidad y la validez ilustran la necesi-dad de ampliar las definiciones psicométricas tradicionales. Creemos que va-rios modelos de evaluación, como el diseñado por nosotros para KEEP, deberíanexaminarse contrastándolos con normas de validez y fiabilidad, pero tambiénreconocemos que estos constructos psicométricos están siendo redefinidos a me-dida que se crean nuevo_s tipos de evaluación. Como las revisiones de las evalua-ciones y los criterios para valorar las evaluaciones están entrelazados, instamosa los investigadores a comprobar la utilidad de nuevos procedimientos de eva-luación contrastándolos con una amplia variedad de criterios.

Fase 5: Interpretación y empleo de los datos

Todavía no hemos tenido la oportunidad de poner en práctica este sistemay utilizar los datos derivados de las entrevistas y las muestras de trabajo. Sinembargo, el marco de referencia que creamos fue guiado por determinados em-pleos previstos para los datos, y creemos firmemente que las partes interesadasdeben considerar los empleos y las consecuencias de la evaluación antes de crearmedidas alternativas. Los datos derivados de las entrevistas y los productos pue-den presentarse de varias maneras. Una opción consiste en presentar las pun-tuaciones para cada atributo o dimensión. Estas puntuaciones pueden compararsedirectamente entre alumnos, clases o programas. Otra opción consiste en pre-sentar el porcentaje de alumnos que cumplen con algún criterio (por ejemplo,una «Alta orientación», véase la Tabla II) en cada dimensión. Otra opción con-siste en agregar los datos entre dimensiones y presentar puntuaciones únicaspara cada alumno, aunque con esto se mezclan evaluaciones de dimensiones muydistintas de la lectoescritura. Una cuarta opción consiste en registrar los logrosde los alumnos mediante comentarios narrativos en vez de puntuaciones numé-ricas, destacando áreas de especial talento o debilidad.

Independientemente del formato de los datos, los resultados de evaluacio-nes fiables pueden servir a una variedad de fines que pueden mejorar las opor-tunidades de los alumnos para aprender. En primer lugar, las evaluacionesalternativas pueden ofrecer una información diagnóstica más rica sobre el desa-rrollo de los alumnos porque las evaluaciones se vinculan directamente a los ob-jetivos curriculares y a los procedimientos y fines educativos en el aula (Calfeey Hiebert, 1990). En este modelo, la evaluación y la enseñanza se convierten

27en actividades superpuestas y simbióticas. Otro uso de los datos es informara los padres acerca de los avances de sus hijos además de los objetivos del currí-culo y las prácticas educativas. Creemos que los padres pueden llegar a partici-par más en la lectoescritura de sus hijos cuando comprenden cómo pueden apoyary ampliar los esfuerzos educativos de la escuela. En tercer lugar, las evaluacio-nes fiables ayudan a los alumnos a participar en la supervisión y la evaluaciónde su propio trabajo, a reflexionar sobre sus esfuerzos y logros y a comprenderlos procesos de aprendizaje que les ayudarán en tareas futuras (Tierney, Cartery Desai, 1991). Por último, creemos que las evaluaciones fiables pueden ofrecerdatos resumidos para administradores que deben ofrecer indicadores cuantitati-vos de responsabilidad. Estas funciones múltiples pueden ser servidas por lasevaluaciones fiables cuando están diseñadas pensando en estos objetivos.

MODIFICACION Y APLICACION DEL MARCO DE REFERENCIA

La fuerza de este marco de referencia de cinco pasos reside en que puedeactuar como un sistema dinámico y flexible para cualquier distrito o estado querevise o cree evaluaciones alternativas del progreso educativo. Nuestro proyectoilustra la factibilidad de este marco de referencia para evaluaciones de lectoes-critura a gran escala. Consideramos que la coherencia, la flexibilidad y el con-trol local son puntos fuertes del proceso. Por ejemplo, un distrito podríaidentificar dimensiones de la lectoescritura distintas a las identificadas por no-sotros, pero el proceso de identificar lo que se valora en un currículo y de con-seguir el consenso entre las partes interesadas clarifica qué es lo que debe serevaluado. La especificación de características y atributos de la lectoescritura tam-bién se puede negociar para reflejar el nivel de especificidad deseado para dis-tintos fines. Los enseñantes que deseen evaluaciones muy detalladas parautilizarlas con fines diagnósticos pueden utilizar la evidencia de manera distin-ta a los administradores, que sólo pueden necesitar descripciones generales; sinembargo, los mismos tipos de dimensiones y de evidencias subyacen a ambasevaluaciones. Por ejemplo, un enseñante que revise el trabajo de un alumno enuna entrevista puede darse cuenta de que el alumno no es consciente de las es-tructuras del texto, del género y de las estrategias específicas de comprensiónadecuadas para un texto expositivo. El enseñante puede diseñar proyectos espe-cíficos en los que intervengan aptitudes de búsqueda en documentos y bibliote-cas para mejorar el conocimiento en lectoescritura del alumno. Un administradorque observe puntuaciones bajas en esta dimensión entre muchos alumnos pue-de buscar unas puntuaciones bajas concomitantes en lectura de ciencias y estu-dios sociales y puede proponer estrategias educativas para la lectura de materias.

También existe flexibilidad en las maneras de recopilar y puntuar las evi-dencias. Creemos que hace falta una amplia gama de evidencias para aumentarlas puntuaciones de las pruebas tradicionales, evidencias que deberían incluirmuestras de trabajo cotidiano de los alumnos recogidas periódicamente duranteel curso. La recogida de evidencias no necesita ser transtornadora ni socavarel currículo si la evaluación, la enseñanza y los currículos se apoyan mutuamen-te. Los que toman decisiones en el ámbito local pueden elegir entre puntuarel trabajo de los alumnos de una manera cuantitativa o cualitativa. En nuestroproyecto existía una necesidad de datos cuantitativos para establecer compara-ciones anuales entre programas de modo que los datos pudieran servir para ob-

28tener evaluaciones resumidas. Si los datos se utilizan principalmente con finesformativos, las descripciones cualitativas pueden bastar.

Aunque consideramos que el control y la puesta en práctica en el ámbitolocal de una reforma de la evaluación es esencial, al mismo tiempo vemos enlos distritos la necesidad de generar marcos de referencia coherentes para guiarsu toma de decisiones. A medida que los distritos evitan el empleo de pruebascomercializadas de lectoescritura «de uso general», necesitan clarificar lo quevaloran, lo que miden, qué normas se van a utilizar para la evaluación, cómorecopilarán las evidencias y cómo se utilizarán los datos. Nuestro marco de refe-rencia para la creación de evaluaciones alternativas de lectoescritura ofrece unpunto de partida que se puede ampliar y revisar para que encaje con las necesi-dades de cualquier distrito. Somos muy optimistas en relación a las oportunida-des que existen hoy día para diseñar nuevos tipos de evaluaciones educativas,no simplemente nuevas pruebas sino sistemas nuevos y completos para evaluarla enseñanza y el aprendizaje en las escuelas. Las soluciones creativas a los pro-blemas ya antiguos de la evaluación ofrecen grandes promesas para potenciarel aprendizaje, la motivación y el éxito de los estudiantes.

ReferenciasAL). K.; BLAKE, K.; HERMAN, P.; OSIIIRO, M., y ScuEu. J. (1990). Literacy curriculum guide. Honolulu,

HI: Center for the Development'of Early Education, Kamehameha Schools.Au, K. H.; SCHEU, J. A.; KAWAKAMI, A. J., y HERMAN, P. A. (1990). Assessment and accountability

in a whole language curriculum. The Reading Teachen 43, 574-578.CALFEE, R., y HIEBERT, E. (1990). Classroom assessment of reading. En R. Barr, M. Kamil, P. Mo-

senthal y P. D. Pearson (Eds.), Handbook of reading research (2.a Ed.) (pp. 281-309). Nueva York:Longman.

Giuu, C. (1991). Developing a summative measure of whole language instruction: A sonata in risk-taking. The Kamehameha Journal of Education, 2, 57-65.

HAWAII DEPARTMENT OF EDUCATION (1988). Language arts program guide. Honolulu, HI: Office of Ins-tructional Services.

LINN, R. L.; BAKER, E. L., y DUNBAR, S. B. (1991). Complex, performance based assessment: Ex-pectations and validation criteria. Educational Researcher, 20, 15-21.

RESNICK, L., y RESNICK, D. (1990). Tests as standards of achievement in school. The uses of standa-rized tests in American education (pp. 63-80). Princenton, NJ: Educational Testing Service.

TIIARP, R. G., y GALLIMORE, R. (1988). Rousing minds to life: Teaching, learning, and schooling in so-cial context. Nueva York: Cambridge University Presa.

TIERNEY, R. J.; CARTER, M. A., y DESAI, L. E. (1991). Portfolio assessment in the reading-writing class-room. Norwood, MA: Christopher-Gordon.

VALENCIA, S. W. (1990). Alternative assessment: Separating the wheat from the chaff. The Rea-ding Teacher; 44, 60-61.

VALENCIA, S., y PEARSON, P. D. (1987). Reading assessment: A time for change. The Reading Tea-cher, 40, 726-733.

WINOGRAD, P.; PARIS, S., y BRIDGE, C. (1991). Improving the assessment of reading. The Reading Tea-cher; 45, 108-116.

WOLF, K.; FILF3Y, N.; PARIS, S.; VALENCIA, S.; PEARSON, D.; HIEBERT, E., y CALFEE, R. (1991). KEEP li-teracy assessment system. Informe final del Far West Laboratory for Educational Research andDevelopment.

YAR K. O.; ESTES, G. D., y NICKEL, P. R. (1988, septiembre). A summative evaluation of the Kame-hameha elementary education program as disseminated in Hawaii public schools. Northwest Re-gional Educational Laboratory, Evaluation and Assessment Program.

29

Un marco de referencia para una evaluaciónfiable de la lectoescrituraScott G. Paris, Robert C. Calfee, Nikola Filby,Elfrieda H. Hiebert, P David Pearson,Sheila W Valencia, Keneth P WolfCL&E, 1993, 18, pp. 15-29

Datos sobre los autores: S. G. Paris es profesor de Psicología y Educación en la Universi-dad de Michigan; R. C. Calfee es profesor de Educación y Psicología en la Universidadde Stanford; N. Filby es investigador del Far West Laboratory for Educational Researchand Development; E. H. Hiebert es profesora de Educación en la Universidad de Colora-do; P. D. Pearson es decano del College of Education de la Universidad de Illinois; S. W.Valencia es profesora adjunta de Currículo e Instrucción en la Universidad de Washing-ton; K. P. Wolf es profesor adjunto de Educación en la Universidad de Northern Colorado.

Artículo original: A Framework for authentic literacy assessment, en The Reading TeacherVol. 46, N.° 2, October 1992, pp. 88-98. Traducción de Genís Sánchez. Reproducido conautorización de Scott G. Paris et al. y de la International Reading Association. (La I. R.A. no se responsabiliza de la adecuación de la traducción).

Agradecimientos: Este informe se basa en una investigación apoyada por el United StatesDepartment of Education (USDOE) de acuerdo con la Ley Pública 100-297, mediante fondosfederales otorgados a Kamehameha Schools/Bishop State (KS/BE) por la Beca Número5208A90001. Los puntos de vista expresados son responsabilidad del autor y no son nece-sariamente compartidos por USDOE o por KS/BE. Apreciamos el estímulo intelectual ylas oportunidades de diálogo ofrecidos por nuestros colegas de KS/BE, con un agradeci-miento especial para Chuck Giuli y Kathy Au.

O De todos los artículos deberá solicitarse por escrito autorización de CL&E y de los autorespara el uso en forma de facsímil, fotocopia o cualquier otro medio de reproducción impre-sa. CL&E se reserva el derecho de interponer las acciones legales necesarias en aquelloscasos en que se contravenga la ley de derechos de autor.