Documento-base-BRASILIA-2011.pdf

7/26/2019 Documento-base-BRASILIA-2011.pdf

1/33

Cmo devolver los resultados de las

evaluaciones a las escuelas para lograr la mejoraeducativa?

Documento base

10 y 11 de noviembre de 2011Brasilia

Seminario organizado por:

Con el apoyo del


2/33

2

NDICE

1. PRESENTACIN .................................................................................................. 3

2. INTRODUCCIN ................................................................................................. 3

3. EJES DEL DEBATE ............................................................................................... 6

Por Gustavo Iaies y Alejandra De Los Santos3.1. Evaluaciones censales y evaluaciones muestrales ............................................ 6

3.2. La devolucin personalizada de los resultados ................................................. 7

3.3. El lenguaje escolar y el lenguaje de los tcnicos ............................................... 8 3.4. El recorte de la enseanza ................................................................................. 9

3.5. El impacto del enfoque didctico sobre el aprendizaje ................................... 10

3.6. El anlisis de los resultados y la reflexin institucional ................................... 11

3.7. Los supuestos didcticos y los distractores ..................................................... 13

3.8. Los instrumentos complementarios ................................................................ 13

3.9. Heterogeneidad y dispersin en los resultados .............................................. 14

3.10. Informacin comparativa con grupos similares ........................................... 15

3.11. Las estrategias discretas ........................................................................... 15

3.12. Las bateras de ejercicios y el estrechamiento curricular ............................ 16

4. COMPARACIN DE SISTEMAS DE COMUNICACIN DE RESULTADOS................. 17

Por Pedro Montt Leiva4.1. Consideraciones previas .................................................................................. 17

4.2. Algunos factores comunes y posibles tendencias ........................................... 17

4.3. Evaluaciones v/s sistemas de aseguramiento de la calidad ............................ 19

4.4. Matriz comparativa difusin de resultados. Alumnos ..................................... 22 5. EN SNTESIS ..................................................................................................... 32


3/33

3

1. PRESENTACIN

En el marco de la Escuela Iberoamericana de Gobierno Educativo (EIGE), los das 10 y11 de noviembre de 2011 se llevar a cabo el seminario Cmo devolver losresultados de las evaluaciones para lograr la mejora educativa? . El encuentro reunirpor segunda vez al Grupo Regional de Responsables de las Polticas de Evaluacin de laCalidad Educativa.

En esta oportunidad, se trabajar sobre modalidades de devolucin de resultados delas evaluaciones que facilitan a los actores escolares accionar sobre la mejorainstitucional. A quin hay que devolverle la informacin? Qu tipo de informacin?En qu tiempos? Para qu? Cmo lograr que los actores escolares se apropien delos resultados?

El presente documento se divide en dos apartados. En primer lugar, se planteanalgunos ejes de debate que se consideran claves en la temtica, y que intentanfuncionar como disparadores de la discusin que se desarrollar en el seminario. En unsegundo apartado, se presenta una comparacin de cinco sistemas de comunicacinde resultados de las evaluaciones de la calidad educativa, entendida sta como losresultados de aprendizaje de los estudiantes. Se tomaron en consideracin pases de laregin, as como dos de otros continentes cuya caracterstica es un robusto desarrolloeducativo.

2. INTRODUCCIN

En las ltimas dcadas, se observa un cambio en los modos de pensar las polticaseducativas en Amrica Latina. A partir de la dcada de los Noventa, la evaluacin seintrodujo en los debates acadmicos y educativos como herramienta central del diseode las polticas pblicas en general, y de las polticas educativas en particular. As,diferentes herramientas de evaluacin de aprendizajes (nacionales, regionales,internacionales) entraron en escena para abrir el debate en torno al tipo dereactivos, la relacin de las pruebas con las prcticas de enseanza, los modos deprocesamiento de los resultados, etctera.

Inicialmente, la tendencia general en la regin fue hacia la elaboracin de evaluaciones

muestrales, con el objetivo de proveer informacin sobre el sistema educativo a losequipos ministeriales, como feed back para la toma de decisiones de poltica. No
http://www.eige.org.ar/http://www.eige.org.ar/http://www.eige.org.ar/http://www.eige.org.ar/


4/33

4

obstante, tambin hubo casos en los que se pensaban los dispositivos con el objetivoque sus resultados, al ser comunicados a la sociedad, generaran presin social sobre

las escuelas para presionar sobre la mejora.Durante estos primeros tiempos de aplicacin de las evaluaciones de la calidadeducativa en la regin, se dio un proceso de sofisticacin tcnica, plasmada en losinstrumentos, los modos de procesar los resultados, los dispositivos decomparabilidad, la profesionalizacin de los equipos tcnicos que las diseaban, etc.Esos procesos alejaron, en cierta medida, la conversacin de los equipos de losministerios y los de las escuelas. La tendencia general fue a la implementacin depruebas muestrales que pudieran dar cuenta de los aprendizajes de los alumnos conun creciente nivel de precisin y desagregacin en materia curricular, de modo deenriquecer el debate pedaggico de los tomadores de decisiones. Si bien este procesopermiti dar cuenta de cuestiones muy especficas de los aprendizajes de los alumnos,las dificultades en la resolucin de problemas diversos, el trabajo con textos no-literarios, la falta de apropiacin por parte de las escuelas de los nuevos diseoscurriculares, no tuvo una utilidad simtrica para los actores escolares que debantransformar esas prcticas.

Comenz a generarse mucha informacin, pero la misma quedaba en las oficinasministeriales, y la atencin estaba ms puesta en la sofisticacin en los modos deproducir dicha informacin que en la forma de devolucin y trabajo con los resultadosen las escuelas. De hecho, se observ una tendencia al amesetamiento de losresultados, que concentraban los aciertos y errores de los alumnos en los mismosaprendizajes, que reiteradamente aparecan no logrados.

En definitiva, los dispositivos de evaluacin implementados durante la dcada de losNoventa fueron ms eficientes para detectar tendencias en materia de calidad yequidad en los resultados, que para convertirse en herramientas de mejoramientoefectivo de las prcticas escolares.

Del mismo modo, resulta pertinente afirmar que el supuesto que sostena que lacomunicacin de los resultados de las evaluaciones sera capaz de alimentar lademanda para presionar sobre la oferta escolar, no ocurri en la prctica. La opininpblica no utiliz los resultados como herramienta de demanda, ni lograron enmuchos casos, asimilar los informes a sus categoras para pensar la calidad educativa.El nuevo milenio asiste a un viraje en el modo de pensar la poltica educativa, y en esemarco un nuevo modo de concebir la evaluacin educativa. La apuesta de las polticasempieza a estar mucho ms centrada en la capacidad de las escuelas de diagnosticar yproponerse estrategias de mejora a partir de los resultados de sus propias prcticas,que en realizarlas a partir de programas implementados por los ministerios.

En ese nuevo esquema, los sistemas de evaluacin e informacin se vuelvenestratgicos, pero en un sentido muy diferente al del pasado. Ya no se piensan comoun insumo para los tomadores de decisiones de los ministerios, sino como el feed back

que demandan los equipos escolares para construir sus estrategias de mejora. Aqu, laprioridad de los modelos de devaluacin de resultados son los actores escolares y la


5/33

5

informacin que les permite tomar decisiones. Un ejemplo de esto puede considerarseel hecho de que el IDEB, creado por el Ministerio de Educacin de Brasil, reporta sobre

base 10, un criterio que muestra la prioridad por utilizar las escalas que habitualmenteusa la escuela, ms que buscar un indicador que tenga mayor sensibilidad para captarlas tendencias.

En muchos casos, los indicadores de evaluacin e informacin ya no son solo unareferencia para los equipos tcnicos ministeriales, sino que adems empiezan a tenerpeso sobre la vida cotidiana de las escuelas. En algunos casos, porque los resultadostienen consecuencias administrativas y en otros, por el propio peso de la comunicacinde los resultados de cada institucin .

Me parece que la evaluacin va a meterse en el corazn de los sistemas,no solo para que produzca informacin, sino porque esa informacin tendrconsecuencias. Y entonces va a haber una decisin mucho ms polticarespecto de qu y cmo se comunica. Viene una etapa de ser ms prolijosen lo que evaluamos y comunicamos . (Gustavo Iaies, Coordinadorseminario Evaluacin y poltica educativa en Amrica Latina, Quito, 2010)

La tendencia que pareciera emerger en los nuevos programas de poltica educativa enla regin, es ofrecer informacin para generar condiciones de mayor autonoma a losactores, al tiempo que los propios indicadores reportados asignan ms claramente lasresponsabilidades y los resultados obtenidos en funcin de objetivos acordados. En talsentido, la idea de rendicin de cuentas se traduce en la necesidad de contar con

indicadores que permitan supervisar a las escuelas por los resultados de sus acciones,en lugar de centrar dicha supervisin en el control burocrtico de formas y registros.

Este cambio genera inevitablemente una tensin en los equipos de evaluacin porquelos obliga a traducir los resultados de los dispositivos implementados a la lgicaescolar, para ganar eficiencia. El desafo cultural que este cambio representa, consisteen pensar los informes y los modos de devolver los resultados para otros actores, conotros intereses y otra mirada de las cuestiones educativas.

En el seminario Evaluacin y poltica educativa en Amrica Latina realizado en Quitoen 2010, se plante cierto grado de dificultad para comunicar los resultados, tanto a lacomunidad en general, como a las propias escuelas, e incluso al resto de las reas delos propios ministerios. La pregunta sobre cmo producir y devolver a los actoresescolares informacin pertinente, oportuna, inteligible y comparable, cobra especialrelevancia en las reas de evaluacin de los ministerios de educacin de AmricaLatina en el siglo XXI. La devolucin de resultados empieza a aparecer como eldispositivo estratgico de las polticas de evaluacin, en el sentido de su capacidad demovilizar el cambio educativo.


6/33

6

3. EJES DEL DEBATE

Por Gustavo Iaies y Alejandra De Los Santos

A continuacin se esbozan algunos aspectos que se consideran clave en esta discusin,y que prete nden funcionar como disparador de la discusin que se desarrollar enprofundidad durante el seminario. Los mismos fueron construidos a partir de unaexperiencia de indagacin en escuelas que participan de programas permanentes deevaluacin y de la literatura producida en la materia.

3.1. EVALUACIONES CENSALES Y EVALUACIONES MUESTRALES

Las definiciones tcnicas que se hagan en la etapa de diseo de las evaluaciones debenajustarse a los objetivos buscados con cada una de las herramientas. En particular, ladecisin por una prueba de carcter censal o muestral se vincula esencialmente con eldestinatario principal de la informacin: los resultados de una evaluacin muestral nopueden pensarse para ser reportados a los actores escolares, ya que no dan cuenta desus desempeos, de los resultados de sus prcticas, sino que ofrecen informacingeneral sobre tendencias del sistema. En tal sentido, la escuela difcilmente los vivacomo propios, y los perciba como un diagnstico de sus propias prcticas. Es decir, lasevaluaciones muestrales permiten tener una mirada general de los problemas deaprendizaje en el sistema, pero no facilitan la posibilidad de que cada escuela se piensea s misma.

Ahora, la decisin de escolarizar la informacin impacta sobre los tiempos, modos deprocesamiento y de devolucin de resultados. Estas son variables que intervienensensiblemente en la posibilidad de impactar efectivamente en las prcticas escolares.

El debate en torno al universo evaluado, la frecuencia, las metodologas, la potencia dela evaluacin educativa, empieza a trascender las oficinas tcnicas, y la politizacinde la evaluacin hace que, en gran parte de la regin, las autoridades de losministerios asuman esta cuestin como parte de su agenda, lo que implica un nuevodesafo para los equipos de evaluacin:

Se avanza desde mediciones de lengua y matemtica, cada vez msgrados, nos agarr la evaluatitis y los polticos van a querer evaluar atodos. () Entonces muestrales vs censales empieza a ser un prob lema. Lasmuestras me dan pistas del sistema, pero no puedo dar cuenta a la escuela:usted est bien, usted est mal (Pedro Montt, Coordinador seminarioEvaluacin y poltica educativa en Amrica Latina, Quito, 2010).


7/33

7

La decisin de devolver los resultados de la evaluacin a las escuelas como parte de undispositivo de asignacin de autonoma a las mismas, moviliza la reflexin respecto delos modos de devolver la informacin, los contenidos y la presentacin de los reportes.

3.2. LA DEVOLUCIN PERSONALIZADA DE LOS RESULTADOS

Como se dijo, las evaluaciones educativas en la actualidad, se orientan a la apropiaciny uso de la informacin por parte de los actores del sistema educativo, especialmentelos escolares. La experiencia evidencia que la devolucin personalizada a las escuelas

constituye una instancia de formacin y debate escolar muy potente acerca de lasoportunidades y posibilidades de mejoramiento de las prcticas educativas, lograndouna mayor capacidad de impacto que los informes escritos:

En trminos de devolucin, hay una devolucin a nivel de la institucineducativa. Est dirigida al director, pero se espera que lo socialice conestudiantes, padres y docentes. Luego va una gua de anlisis a docentes desegundo y tercero de primaria y va un informe por cada estudianteevaluado a la escuela. En un primer ao la evaluacin se hizo va unidades

provinciales, pero lo que sucedi es que devolvieron los resultados a lasescuelas bastante tarde. (Liliana Miranda Molina, Jefa de la Unidad deMedicin de la Calidad Educativa, Ministerio de Educacin de Per, seminario Evaluacin y poltica educativa en Amrica Latina, Quito,2010).

La devolucin personalizada ofrece la posibilidad de asistir a los equipos escolares enel anlisis de los resultados, responder a sus inquietudes, hacer un acompaamientoms cercano y realizar un seguimiento de los procesos de mejora impulsados por losinformes de las evaluaciones. Si la evaluacin se propone como una herramienta demejora de las prcticas escolares, el seguimiento de los procesos institucionales deanlisis de los resultados resulta tan importante como la propia informacin.

En Brasil nos ocupamos de que la evaluacin no sea vista como el remediosino como un termmetro . Castigar a la escuela porque le va mal escastigarla dos veces, eso es lo que dice Fernando Haddad, por otro lado silas escuelas no se apoderan de los resultados no sirve (Mara Do PilarLacerda Almeida e Silva, Secretaria de Educacin Bsica, Ministerio deEducacin de Brasil,seminario Evaluacin y poltica educativa en AmricaLatina, Quito, 2010)

Para ello, tambin resulta clave la instalacin de dispositivos de devolucin deresultados adecuados y eficientes, organizados a partir de la propia estructura delsistema educativo, y que cuenten con la participacin de los equipos tcnicos y deconduccin (directores de escuela, supervisores, etc.). Ravela (s/f) resalta la


8/33

8

importancia de producir estrategias y materiales de difusin especficamente pensados para apoyar el trabajo docente y, en especial, articular la divulgacin de

resultados con programas de capacitacin en servicio. En este sentido, la articulacinentre las unidades de evaluacin y las reas, programas e instituciones que desarrollan

programas de formacin y capacitacin de docentes es clave para propiciar la reflexina partir de los resultados de las evaluaciones y el cambio de las prcticas deenseanza 1.

La devolucin por parte de los supervisores del sistema puede implicar una prdida denitidez tcnica en la informacin, de calidad del tratamiento de los datos, pero sinduda puede resultar un aporte en materia de pertinencia de la conversacin que seproduce en el marco de la devolucin de los datos. En tal sentido, la posibilidad depersonalizar la devolucin de informacin, y de que dicha tarea pueda ser realizadapor actores que resulten significativos para las escuelas, pareciera un gran aporte a lautilizacin efectiva de la informacin en las situaciones escolares.

3.3. EL LENGUAJE ESCOLAR Y EL LENGUAJE DE LOS TCNICOS

La creciente sofisticacin de los equipos de evaluacin educativa en los ministerios,implic, entre otras cosas, la creacin de un lenguaje tcnico propio de la disciplinacada vez ms especfico, y en cierta medida, distanciado del lenguaje escolar. Un claro

ejemplo de esto son los informes de evaluaciones reportados durante la dcada de losNoventa en la regin.

A este respecto, aparece una tensin entre la calidad y orden de la informacinpresentada y su comprensibilidad, lo que debe ser resuelto por los ministerios deeducacin al disear los reportes de las evaluaciones. Resulta clave buscar un balanceentre la pertinencia tcnica y la claridad de los reportes para los actores escolares,para ganar en capacidad de impacto, de modo de incluir a los actores (docentes,profesores, directores, supervisores, etctera) e involucrarlos activamente en el ciclode la evaluacin.

Consideramos flujos y medias de rendimiento en las evaluacionesnacionales. () Una de las cosas que perciba es que los secretarios noentendan la escala de 0 a 500, entonces se tom la decisin de hacer unaescala que todo el mundo entendiera, de 0 a 10; y establecer metas paracada escuela y para cada estado, partiendo donde la escuela estaba alinicio de 2005 (Mara Do Pilar Lacerda Almeida e Silva, Secretaria deEducacin Bsica, Ministerio de Educacin de Brasil,seminario Evaluaciny poltica educativa en Amrica Latina, Quito, 2010).

1 Ravela, Pedro (s/f): Para comprender las evaluaciones educativas. Ficha didctica 12 Cmo usar lasevaluaciones para mejorar la educacin?, PREAL.


9/33

9

La elaboracin de informes especficos para directores, docentes y padres tambinpuede ser una opcin para resolver satisfactoriamente la tensin entre la complejidadtcnica de los resultados de las evaluaciones, y la claridad de los informes para losactores de la comunidad educativa.

La comparacin con escuelas similares, los ejemplos de contenidos que los chicos nopudieron resolver, la lgica de los distractores que los chicos no fueron capaces dereconocer, los dispersogramas de cada aula, pueden ser datos centrales que losinformes no debieran obviar, mientras que algunos indicadores tcnicos, puedenresultar poco significativos. Sin duda, los informes y los cortes realizados en elprocesamiento, deben incluir un criterio comunicacional y de pertinencia escolar.

Debe tomarse en consideracin, que el problema de los lenguajes escolares y lostcnicos, excede a las reas de evaluacin. La dcada de los Noventa marca un hito encuanto a la llegada a los ministerios de educacin de profesionales provenientes delmundo acadmico, con menor trayectoria al interior de los sistemas. En tal sentido, seha observado un cierto distanciamiento cultural entre la conversacin d e losministerios y la de las escuelas. El caso de los equipos de evaluacin no es unaexcepcin en ese sentido, y el direccionamiento de sus tareas hacia las escuelas,aparece como un factor de tensin que obliga a una consideracin particular.

3.4. EL RECORTE DE LA ENSEANZA

La indagacin realizada respecto del impacto de la devolucin de los resultados a lasescuelas, evidencia que una de las claves del anlisis radica en la posibilidad deidentificar aquellos contenidos que no han sido aprendidos por los alumnos, y que enmuchos casos no han sido enseados en las aulas. A veces, la observacin de esosmagros resultados da cuenta de contenidos especficos que no haban sido incluidos enel recorte planteado por los maestros en la planificacin de sus clases. Por ejemplo, lapoca dedicacin a los contenidos de geometra despus de tercer grado de la primaria,

o el trabajo con inferencia no directas de informacin en textos de no-ficcin.En mi pas hay un tema y es que los docentes priorizan textos narrativos yno el resto que son los que van a usar afuera. Entonces las pruebas sirven

para que los docentes vean otras cosas en pruebas, empiecen a incorporarotros textos, textos informativos, etc. (Liliana Miranda Molina, Jefa de laUnidad de Medicin de la Calidad Educativa, Ministerio de Educacin dePer, seminario Evaluacin y poltica educativa en Amrica Latina, Quito,2010)

En muchos casos las evaluaciones externas iluminan estos fenmenos que noaparecen en las evaluaciones institucionales, justamente porque stas son construidas


10/33

10

por los mismos actores que han formulado el recorte de contenidos. En tal sentido, setrata de contrastar el currculum prescrito con el currculum enseado, y poder

trabajar con los equipos escolares sobre las diferencias observadas, para acompaarlosen la incorporacin de los mismos al currculum enseado.

La posibilidad de contrastar lo que se ensea con lo que se se debera ensear,permite a la escuela revisar el recorte de contenidos realizado, y en tal sentido, lacalidad del referente de evaluacin se vuelve central para que en dicho contraste, noqueden sin ensear contenidos que resultan centrales para que los alumnos adquieranlas competencias fundamentales planteadas por los diseos.

3.5. EL IMPACTO DEL ENFOQUE DIDCTICO SOBRE EL APRENDIZAJE

En muchos casos, los informes de resultados de las evaluaciones pueden ofrecer a lasescuelas informacin sobre los contenidos en los que los estudiantes tuvierondificultades y los desempeos en general, y explicarlos con relacin al enfoque deenseanza aplicado. Por ejemplo, en comprensin de textos, en algunos casos laenseanza en el aula se aborda desde perspectivas ms centradas en la memorizacin(o en prcticas escolares ritualizadas) que en el uso comprensivo de los textos. Esasituacin se evidencia cuando las evaluaciones plantean reactivos vinculados a lareflexin acerca de los textos, su estructura, las inferencias respecto de los contenidosplanteados en trminos directos e indirectos.As, el uso apropiado de los informes de las evaluaciones contribuye a laproblematizacin de los diferentes enfoques de enseanza y sus posiblesconsecuencias no deseadas. Y esta situacin de problematizacin resulta fundamentalcuando se est pensando en estrategias de actualizacin docente o de revisin de losplanteos de enseanza. Para que el cambio se produzca, los maestros y profesorestienen que haber problematizado sus propias estrategias de enseanza.

La experiencia de un Programa de Evaluacin Permanente de Escuelas 2 ejemplificaclaramente esta cuestin. En referencia al contenido Medidas, los docentes mencionan

en las entrevistas de devolucin de resultados, que ese contenido es incluido en susplanificaciones y que realizan actividades en el aula (entre ellas, las de equivalenciaentre magnitudes). Ahora bien, cuando en la evaluacin, el tem solicita identificar conqu unidad es conveniente medir el contenido del lquido de un balde, y se dan

2 El CRECE Centro de Recursos para la Evaluacin y el Cambio Educativo - es un programa deevaluacin de aprendizajes de alumnos, pensado para acompaar los procesos de mejoramientoeducativo que encaran las instituciones escolares. Participan escuelas de nivel primario y secundariopertenecientes al sistema educativo formal de las distintas jurisdicciones de Argentina. Para mayorinformacin, consultar: http://www.crece.org.ar/
http://www.crece.org.ar/http://www.crece.org.ar/http://www.crece.org.ar/http://www.crece.org.ar/


11/33

11

opciones que no solamente remiten a medidas de capacidad, los estudiantes tienengrandes dificultades porque el problema no est expresado en formato de pizarrn.

En esos casos, los docentes no solamente se sorprenden, sino que refieren no habertrabajado de esa forma: ese contenido se ense, pero no con ese tipo de actividades 3.

En tal sentido, parece interesante proponer algunas interpretaciones que vinculen losmodelos de enseanza con el tipo de aprendizajes que los alumnos alcanzan.

3.6. EL ANLISIS DE LOS RESULTADOS Y LA REFLEXIN INSTITUCIONAL

La experiencia del estudio ya mencionado y la literatura, sealan que el impacto de losresultados de las evaluaciones en las escuelas est vinculado a la posibilidad de que elmismo sea ledo y analizado por la institucin y no por cada uno de los actoresinvolucrados. Se trata de que el equipo institucional, como tal, se haga cargo de lalectura de los resultados, comprendiendo que los aciertos y errores de los alumnosdeben ser comprendidos en trminos de las trayectorias que los mismos handesarrollado en la institucin. Comprender que los problemas de los alumnos entercero o sexto de primaria, deben ser analizados bajo la lgica de un mapacurricular, ms all de que tcnicamente no lo sea.

La posibilidad de que la escuela adopte esta perspectiva depende en gran medida deque los reportes sean diseados desde una lgica que piense a la escuela como unaunidad. Es decir, los datos observados en un grado en particular deben ser vinculadoscon los que se observan en la misma rea dentro de la escuela, y evaluar la posibilidadde que respondan a un enfoque de la institucin. En otros casos, aunque la experienciano sea extrapolable, la generacin de instancias institucionales de trabajo sobre losresultados genera una sinergia y constituye un proceso de aprendizaje colectivo 4.

Desde el rea de d ivulgacin de resultados, para Bsica y Graduandoentregamos el informe a cada establecimiento educativo. Luego tenemos

pruebas liberadas, boletines, fichas y esta serie `de la evaluacin a la

accin. En funcin de los contenidos donde los alumnos haban mostradoms debilidad se construy esta serie. Esto se complement con unainvestigacin de cmo ensean los docentes . (Mnica Genoveva Flores

3 Iaies, Fasce, Cappelletti (2011):Escuelas que mejoran , Fundacin CEPP.4 El Departamento de Educacin del Estado de West Australia ha desarrollado un interesante sistema derendicin de cuentas y accountability escolar. Se exige a las escuelas realizar reportes peridicos sobreel rendimiento y la evolucin institucional, lo que contribuye al monitoreo que debe hacerDepartamento de Educacin estatal, y a la transmisin de informacin sobre el sistema en la comunidadeducativa. Para ms informacin ingresar ahttp://www.det.wa.edu.au/education/accountability/School%20Reports.html .
http://www.det.wa.edu.au/education/accountability/School%20Reports.htmlhttp://www.det.wa.edu.au/education/accountability/School%20Reports.htmlhttp://www.det.wa.edu.au/education/accountability/School%20Reports.html


12/33

12

Reyes, Subdirectora de Desarrollo del Ministerio de Educacin deGuatemala, seminario Evaluacin y poltica educativa en Amrica Latina,

Quito, 2010)

Resulta clave organizar reuniones de los equipos docentes para analizar los resultadosde la escuela, en lugar de trabajar separadamente los de un rea o grado especfico.Adems de facilitar las lecturas longitudinales o de trayectorias, esta modalidadpermite pensar en las reas de Matemticas y Lengua como troncales de las restantes,y de este modo comprender el inters de los docentes de las dems reas.

En otras palabras, la lectura de los resultados por parte de los docentes de historia ogeografa, por ejemplo, permite acercarse a la idea de que los docentes de estasasignaturas deben mirar los textos de sus disciplinas, haciendo hincapi en trabajar lasdistintas competencias para comprenderlos, analizarlos, transferirlos, incluso ms allde los contenidos especficos de las disciplinas.

Por lo tanto, el desafo consiste en producir reportes cuya informacin est presentadade forma tal que sea comprensible desde las distintas reas y los distintos niveles. Estopermitir que dichos reportes sean objeto de anlisis de un equipo institucional,facilitando su reflexin sobre las estrategias de enseanza y de aprendizaje. Alrespecto, Ravela (s/f) cita una investigacin realizada por la organizacin Just for the

Kids, en la que se seala que: No basta con distribuir o publicar resultados; esimprescindible generar los espacios de trabajo e intercambio entre docentes para quelos mismos sean analizados. La mejor publicacin impresa nunca podr sustituir eltrabajo de anlisis colectivo de los maestros. Si estos espacios no existen, difcilmentelas evaluaciones contribuirn a mejorar la enseanza. 5.

Ms all de los datos obtenidos en los resultados, el anlisis compartido de temsliberados de las pruebas y del modo de construccin de las opciones es una modalidadmuy valorada, dado que ofrece la posibilidad de contrastar miradas y analizar lapertinencia entre los contenidos aprendidos y las estrategias de enseanza. Lapregunta es cmo producir informes de resultados de las evaluaciones que den cuenta

de las relaciones entre las disciplinas, ofreciendo un modelo de anlisis abierto de loscontenidos evaluados. El armado de tems o la utilizacin de ejemplos que integren yarticulen contenidos de diferentes disciplinas en los informes, es una posible respuestaque ha demostrado resultados positivos en este sentido.

5 Just for the kids (2001) Promising Practices. How High-Performing Schools in Texas get Results .Austin, JUST FOR THE KIDS; citado en: Ravela, Pedro (s/f):Para comprender las evaluaciones educativas.Ficha didctica 12 Cmo usar las evaluaciones para mejorar la educacin?, PREAL


13/33

13

3.7. LOS SUPUESTOS DIDCTICOS Y LOS DISTRACTORES

En las pruebas de opcin mltiple, los distractores responden a posibles lgicas deresolucin o hiptesis de los alumnos. Las mismas son construidas bajo la presuncindel tipo de errores que los chicos cometen, en relacin al tipo de teoras desde lascuales estn pensando los contenidos.

Analizar el porcentaje de respuestas que cada distractor convoca, permite hipotetizarsobre dichas lgicas de pensamiento y sobre las estrategias de enseanzadesarrolladas. Pero fundamentalmente, permite conocer las hiptesis dominantes quelos chicos estn utilizando para pensar determinados contenidos, entendiendo que loserrores deben ser analizados como pistas para comprender los procesos de

construccin del conocimiento de los alumnos.Por ejemplo: Si en un tem que plantea resolver 3/5 2/5=, el distractor ms elegido es1/0, se puede pensar que los estudiantes estn tomando los nmeros fraccionarioscomo naturales y que, posiblemente, la enseanza de las fracciones y sus operacionesse ha realizado sin soporte prctico, sin que los alumnos manipularan representacionesconcretas de los nmeros. Probablemente, se trate de una enseanza basadaexclusivamente en el mensaje oral del docente o, apenas apoyada por imgenesvisuales, sin intervencin activa (manipular y mental) de los alumnos.

Compartir con los docentes estas cuestiones abre la posibilidad de reflexionar sobre lasformas de pensamiento de sus alumnos y sobre sus propias formas de enseanza. Yesa reflexin es una puerta de entrada al trabajo de ref lexin pedaggica de laescuela, en direccin a la construccin de sus estrategias de mejora.

3.8. LOS INSTRUMENTOS COMPLEMENTARIOS

Los cuestionarios complementarios aparecen como una herramienta clave para elanlisis de los resultados y para la toma de decisiones, tanto en los niveles de gobiernocomo a escala escolar y del aula. De primera importancia es que se incluyainformacin relativa a los contextos sociales en que los resultados se producen.Ninguna comparacin de resultados entre escuelas, provincias, pases, etc., deberarealizarse sin ofrecer alguna informacin sobre las caractersticas socioculturales de losestudiantes de dichas entidades 6.

Dentro de dicha informacin, resulta fundamental aquella que permite la toma dedecisiones de la propia escuela, como por ejemplo, informacin referida a los modosde organizacin de las aulas, asignacin de tareas, uso de textos u otros materialesdidcticos, entre otros.

6

Ravela, Pedro (s/f): Para comprender las evaluaciones educativas. Ficha didctica 14 Cmo analizar unreporte de evaluacin?, PREAL


14/33

14

Lo cierto es que a la hora de buscar compromiso y pertinencia en los informes deresultados, la posibilidad de brindar informacin que permita a las escuelas tomar

decisiones es un elemento interesante. Dicha informacin permite romper laparlisis que pueden generar los datos, y facilitar la evaluacin de estrategiasinstitucionales, de decisiones, de aquello que los actores sienten que pueden hacer.

En definitiva, estos instrumentos y los estudios de los factores asociados, cuandorefieren a cuestiones de la gestin escolar, aportan una mirada sobre la capacidad deincidencia de las prcticas escolares, y sobre aquellos factores que podran serreforzados.

La claridad en la redaccin y terminologa de estos informes, que suelen ser muysofisticados debido a la complejidad tcnica que implican, parece ser una clave para suefectiva utilizacin en las escuelas. Y en el mismo sentido, la pertinencia del tipo defactores que se incluyen en los cuestionarios complementarios, respecto de la gestinescolar, puede aportar pistas a la escuela para pensar sus intervenciones.

3.9. HETEROGENEIDAD Y DISPERSIN EN LOS RESULTADOS

La experiencia en evaluacin advierte sobre la importancia de dar cuenta de ladispersin en los resultados dentro los diferentes grupos, y de la homogeneidad oheterogeneidad de los mismos. Ravela seala que es importa nte que los reportesinformen, no solo acerca de los promedios, sino tambin acerca de la dispersin delos puntajes, que est fuertemente relacionada con la equidad o inequidad en el logrode los aprendizajes evaluados 7.

Buena parte de la literatura muestra que los grupos escolares de mejores resultados,no lo son tanto por la cantidad de alumnos que superan cualitativamente delpromedio grupal sino porque tienen menos chicos que se caen de dicho promedio

La idea de equidad en la educacin, debe poder pensarse desde cada aula,entendiendo que la misma se construye sobre la base de la apuesta por todos losalumnos, comprender que la tarea del docente se vuelve estratgica con aquellosalumnos que tienen mayores dificultades.As, la observacin de los dispersogramas de resultados, del anlisis de los desvos,permite observar el hecho de que los docentes hayan trabajado con el grupo, o lohayan hecho con los alumnos que pueden seguirlos. La claridad de los informes, eneste sentido, facilita el desarrollo de estrategias institucionales que contemplen lacompensacin de las diferencias, el trabajo con los alumnos de mayores dificultades, laconstruccin de estrategias realmente grupales.

7

Ravela, Pedro:Para comprender las evaluaciones educativas. Ficha didctica 8 Qu significan losnmeros de las evaluaciones?, PREAL


15/33

15

3.10. INFORMACIN COMPARATIVA CON GRUPOS SIMILARES

El estudio ya mencionado, reconoce un importante valor de los datos comparativos enla lectura que realizan los actores institucionales. En cierto sentido, la lecturacomparada con otras instituciones de similares caractersticas, resalta aspectos de lapropia realidad que en la vida de la escuela aparecen normalizados.

La vida cotidiana de la institucin educativa suele ser de una gran densidad y para losactores se vuelve muy complejo concebir una realidad diferente a la que se vive all, losactores valorizan las estrategias que implementan convencidos que son las correctas, y

en tal sentido, los datos permiten contrastar esas estrategias y sus resultados.La presentacin de resultados comparativos, la focalizacin de las debilidadesprincipales puede favorecer la autocrtica de los actores respecto de sus propiasprcticas, lo cual aparece como una tarea fundamental para el cambio. En granmedida, el bajo impacto de las estrategias de capacitacin y actualizacin, o deintervencin para la mejora en las escuela, carece de este punto de partida: laconviccin de los actores de que tienen una dificultad que deben resolver. Dichascapacitaciones suelen suponer que los actores de la escuela estn convencidos de lanecesidad de cambiar y que desde esa conviccin reciben a los capacitadores ocoordinadores de programas. Este error de diagnstico explica algunos de los fracasos

de este tipo de estrategias.La devolucin de resultados a las escuelas puede resultar de utilidad para el anlisis ytrabajo posterior, ofrecer a los docentes informacin comparativa sobre sus grupos osus instituciones con relacin a otros grupos en condiciones similares. Desde ya quedichas comparaciones deben estar asociadas a aquellos aspectos que les resultansignificativos o sobre los que ellos puedan intervenir, de modo que faciliten la toma deconciencia respecto de las propias debilidades y motiven a los actores a buscardispositivos o programas de mejora.

3.11. LAS ESTRATEGIASDISCRETAS

Los estudios acerca de las estrategias de mejora escolar demuestran la potencialidadde las estrategias discretas en los planes de mejora de las instituciones educativas.

La idea es que para las escuelas es muy complejo abordar todas las dificultades ytodas al mismo tiempo . Por lo tanto, la institucin educativa debe ser capaz depriorizar y definir modelos de intervencin que sean posibles de ser abordados porcada equipo institucional.


16/33

16

En tal sentido, parece fundamental ayudar a la escuela a priorizar sus dificultades ydefinir un modelo de gradualidad para el abordaje pedaggico de las problemticas

que emergen de las evaluaciones. Los propios informes podran proponer criterios depriorizacin que podran definirse en los dispositivos de devolucin. Esas prioridadespueden resultar centrales para que la escuela acote las intervenciones a su capacidadde construccin.

Desde ya, que las reas de Lengua y Matemtica deben formar parte de esasprioridades, y luego una lectura de abajo para arriba en los diferentes niveles de laescuela permite empezar a recorrer las dificultades centrales as como el punto en elrecorrido escolar en que las mismas se van produciendo.

Por ejemplo, una estrategia discreta puede ser proponer un trabajo de lectura yanlisis comprensivo de textos informativos con los alumnos, a cargo de todos losdocentes de una escuela en sus espacios curriculares. Ya no se trata de una tarea nicadel docente a cargo del rea de Lengua, sino de que cada uno trabaje con los textosdifciles en el marco de sus propias asignaturas. Y en ese sentido, debe poder revisardesde los primeros aos, la evolucin en la adquisicin de dichas competencias parapoder intervenir, sin esperar la escuela secundaria y sus ltimos aos para hacerlo.

Ms all de las formas adoptadas, parece fundamental lograr que las escuelas puedanacotar estrategias posibles . Los informes de resultados y sus estrategias dedevolucin pueden facilitar esos procesos.

3.12. LAS BATERAS DE EJERCICIOS Y EL ESTRECHAMIENTO CURRICULAR

Es un riesgo posible que ante la aplicacin sistemtica y sostenida de pruebasestandarizadas, los docentes comiencen a preparar (quizs entrenar) a su s alumnospara las evaluaciones; en lugar de entender que sus estudiantes mejorarn susrendimientos en las evaluaciones cuanto mejores sean los planteos estratgicos deenseanza, su implementacin, mejor sea el dominio de los contenidos del diseocurricular y las capacidades de pensamiento y de resolucin de ejercicios y problemas

de los jvenes. Si bien solamente en muy pocos pases de nuestra regin se ha podidoverificar, en cierto grado este inconveniente, corresponde estar atento para que lo quees solamente un riesgo se convierta en forma prevalente de trabajo con losestudiantes.

Evitar las bateras de ejercitaciones estandarizadas en los informes de evaluacin, elplanteo de ejercitaciones variadas y fundamentalmente, la explicacin conceptual delos errores y la propuesta de reflexin didctica, son un modo de evitar este tipo dedeformaciones no buscadas por los dispositivos de evaluacin.


17/33

17

4. COMPARACIN DE SISTEMAS DE COMUNICACIN DE RESULTADOS

Por Pedro Montt Leiva

4.1. CONSIDERACIONES PREVIAS

La segunda parte del documento presenta una comparacin de cinco sistemas decomunicacin de resultados de las evaluaciones de la calidad educativa, entendidasta como los resultados de aprendizaje de los estudiantes. Se tomaron enconsideracin pases de la regin, as como dos de otros continentes cuyacaracterstica es un robusto desarrollo educativo.

Para hacer la comparacin se elabor una matriz que muestra aspectos caractersticosde estos sistemas y sus operativos de comunicacin de resultados.

Se han escogido algunos casos emblemticos de la regin y como se seal dos pasesde alto desarrollo educativo, pero de muy diversa realidades. Los casos escogidos son:Chile, Colombia y Per en la regin e Inglaterra de Europa y Nueva Zelanda de Oceana.

Se consideraron estos pases porque, en primer lugar, comparten algunos elementosde su diseo institucional. As, todos poseen sistemas educativos descentralizados o en

vas de serlo, habindose transferido competencias a los niveles locales y/odirectamente a los establecimientos educacionales. En segundo lugar, todos estospases se encuentran desarrollando o ya han consolidado sistemas evaluativos basadosen criterios o estndares -identificando lo fundamental que todos los alumnos debenaprender y en qu niveles lo deben hacer-. En tercer lugar, existen desarrollosdiferenciados que permiten sacar algunas conclusiones de posibles tendencias que sedarn en estos sistemas, ello porque en el caso de Inglaterra y Nueva Zelanda, sepueden anticipar posibles rutas que debieran transitar los sistemas evaluativos de laregin, a saber, como la comunicacin se hace cada vez ms til y relevante para laaccin de y en la escuela.

Para realizar la comparacin se escogieron cinco categoras. Ellas son: i) Nivel y/ounidad responsable de la comunicacin; ii) Contenidos de la comunicacin; iii)Instrumentos y productos utilizados; iv) Medios a travs de los cuales se comunica; v)Agentes para los que est destinada la comunicacin. Asimismo, se aplicaron lasmismas categoras en dos contextos: la comunicacin desde el centro -ministerios y/oagencias nacionales- y; la comunicacin como las tareas que se asignan a la base -lasinstituciones escolares-.

4.2. ALGUNOS FACTORES COMUNES Y POSIBLES TENDENCIAS


18/33

18

Al comparar los cinco sistemas analizados se pueden sacar algunas conclusiones. Estasson las siguientes:

1. Desde lo ya acumulado como experiencia evaluativa en Amrica Latina se partedesde sistemas muy directivos comandados por el centro (ministerios y/oagencias), en los que se busca comunicar el mximo de informacin tcnicarelevante a juicio de los expertos a las instituciones escolares. Si observamoslos casos de los pases de la regin, los contenidos de la comunicacin deresultados son muy similares, buscndose a la vez simplificarlos para facilitar lacomprensin por parte de los actores en la base del sistema. En el caso de lospases de mayor desarrollo se observa una mucho mayor responsabilizacin delas escuelas en todo el proceso y los datos de que disponen para hacer sus

anlisis, es mucho ms variada y rica que solo los resultados de los estudiantes.En rigor, esos pases, disponen de sofisticados sistemas de aseguramiento de lacalidad en donde las escuelas observan y analizan sistmicamente no soloresultados sino tambin procesos en los que estn involucradas -estudiantes,docentes, directivos e instituciones educativas- as como los posibles caminosde mejora.

2. En el caso de la regin, la evolucin posee tambin algunas constantes:

a. Las mediciones se han complejizado y masificado (todos ya poseen

operativos censales y frecuentes). Esto debido a que se busca impactarlo que hacen las escuelas y no solo el accionar de los diseadores depoltica (que pudiera ser el nfasis de las mediciones muestrales, comose explic en el apartado anterior).

b. Si estas evaluaciones llegaran a tener consecuencias para las escuelas,se hace cada vez ms exigente la comunicacin. Esta debe sersignificativa y til para los equipos docentes, permitindoles la reflexinsobre sus prcticas y definicin de estrategias y acciones para la mejorade los aprendizajes de sus alumnos. En esta lnea un avance es laintroduccin de estndares, como criterios para orientar la mejora ycomo medida o nivel en que esta se logra.

c. En la misma direccin anterior existe una mayor exigencia a lacomunicacin por el hecho que desde las polticas se busca que lasescuelas se hagan ms competentes para interpretar sus resultados ypor tanto sean capaces de llevar sus aprendizajes al accionar en el aula,en ello los estndares son clave, ya que son una herramienta til paralograr una interpretacin pedaggica de los resultados que obtienen losestudiantes. De acuerdo a ello, algunos pases (como el caso de Chile)han desarrollado dispositivos sistmicos, que junto a la entrega deresultados referida a estndares, facilitan el anlisis de resultados por


19/33

19

parte de las escuelas: talleres simultneos en todas las escuelas para elanlisis de resultados). Esto ltimo se encuentra alineado con lo que es

una prctica totalmente institucionalizada en los pases de mayordesarrollo educativo (Inglaterra y Nueva Zelanda).

d. Otro aspecto a destacar se refiere al formato en que se da lacomunicacin. As, los sistemas de la regin han buscado hacer mscomprensible y amigable la informacin que entregan estos sistemas alconjunto de los actores, ahora no solo para los docentes sino tambinpara las familias de los estudiantes. En el caso de uno de los pases(Per), se ha usado como recurso el comic para hacer ms amigable,simple y al mismo tiempo efectiva la comunicacin a los padres.

3. Al observar los pases de mayor tradicin y desarrollo en este campo (Inglaterray Nueva Zelanda) se concluye que una posible tendencia de nuestros sistemasde comunicacin de resultados ser la articulacin de la informacin queresulta relevante y que generan los procesos y resultados que obtiene elsistema y cada uno de las instituciones escolares. As, con una data de mayorriqueza y variedad permitir la reelaboracin y apropiacin de losestablecimientos educacionales.

4. Adicionalmente, los propios dispositivos de evaluacin y comunicacin de sus

resultados podran migrar hacia la mayor responsabilizacin de las escuelas.Por una parte, para que la informacin relevante para la mejora educativa estsiempre disponible y en un tiempo real en las escuelas y sea informacinefectivamente disponible en su trabajo cotidiano en el caso ingls corrigen losdocentes y en el caso Neo Zelands aplican y corrigen los docentes-. Por otraparte, para facilitar el desarrollo de las capacidades evaluativas y de maneraintegral por parte de las escuelas, en definitiva que esta tengan como prcticano solo observar los aprendizajes de los estudiantes, sino tambin y centradosen cmo lograr esos aprendizajes, analicen y aprendan de los procesos deenseanza, de su desempeo profesional y de la gestin general de los centrosescolares en que laboran, creando efectivamente una cultura evaluativa y deresponsabilizacin cuyo foco sea la mejora continua de los aprendizajes de losestudiantes.

4.3. EVALUACIONES V/S SISTEMAS DE ASEGURAMIENTO DE LA CALIDAD

Una cosa es evaluar, puede ser a distintos agentes en sus desempeos y otra distintaes articular un conjunto sistmico de dispositivos de poltica: instituciones, reglas yprocedimientos para que impulsen a las escuelas a responsabilizarse por los resultadosde sus estudiantes y a su mejora continua. Estos conjuntos sistmicos son sistemas de


20/33

20

aseguramiento de la calidad 8, los cuales siempre prevn consecuencias para lasescuelas.

Tanto Nueva Zelanda como Inglaterra poseen sistemas de aseguramiento.

En Nueva Zelanda9. El Estado: i) otorga y revoca licencias de operacin a losestablecimientos; ii) establece estndares para el desempeo y evaluaciones dedesempeo; e iii) implementa las evaluaciones de desempeo en las escuelas. El poderpara otorgar y revocar permisos para operar significa que bajo una visin de conveniospara la calidad el Estado puede influir en la creacin y conservacin de las escuelas y sudistribucin. En todo caso la decisin de las escuelas individuales de solicitar permisospara operar se basa en la demanda. Las escuelas estn obligadas a cumplir con los

estndares de desempeo, bajo una visin de estos convenios para la calidad, losestablecimientos individuales an tienen el poder de decidir el modelo de enseanza ylas metodologas utilizadas para lograr dichos estndares.

Para que se les permita funcionar, todas las escuelas, incluidas las privadas, debeninscribirse en el Ministerio de Educacin. La inscripcin depende del resultado de unaevaluacin del establecimiento, los equipos, la dotacin de personal y el currculum,evaluacin que se realiza cada tres aos. Cuando la evaluacin de una escuela sugiereque su desempeo es insuficiente, el Estado ejerce presin a travs de revisionesdiscrecionales para que mejore su condicin. De no hacerlo sistemticamente, la

escuela puede perder su calidad por incumplimiento del convenio para la calidad. En el caso de Inglaterra 10. El Estado, adems de las tareas que desempea en el casoNeo Zelands es responsable de las siguientes funciones adicionales: i) establecerestndares para la acreditacin del personal; ii) coordinar las escuelas para garantizarel equilibrio de las opciones educativas; iii) intervenir diferencialmente en losestablecimientos educativos; y iv) proporcionar diversos servicios a las escuelas yopciones de desarrollo profesional al personal.

8 Para mayor informacin, consultar: El diseo institucional de un si stema efectivo de aseguramiento dela calidad de la educacin en Chile , marzo 2007, Banco Mundial. Extrado 11-10-2011.http://siteresources.worldbank.org/INTCHILEINSPANISH/Resources/EducacionChile.pdf 9 Aseguramiento de la calidad en Nueva Zelanda. Extrado 12-10-2011. http://www.nzqa.govt.nz/studying-in-new-zealand/quality-assurance-of-education-in-new-zealand Aseguramiento de la calidad en Nueva Zelanda. Extrado 12-10-2011. http://www.nzqa.govt.nz/about-us/publications/qa-news/qa-news-september-2010/working-with-ero/

10 Aseguramiento de la calidad en Inglaterra. Informacin accesible a usuarios en Inglaterra. Extrado el12-10-2011.http://www.education.gov.uk/areas/uid/7000000000025595/statistics/performance?f_establishment_education_phase=Primary&page=1
http://siteresources.worldbank.org/INTCHILEINSPANISH/Resources/EducacionChile.pdfhttp://siteresources.worldbank.org/INTCHILEINSPANISH/Resources/EducacionChile.pdfhttp://www.nzqa.govt.nz/studying-in-new-zealand/quality-assurance-of-education-in-new-zealandhttp://www.nzqa.govt.nz/studying-in-new-zealand/quality-assurance-of-education-in-new-zealandhttp://www.nzqa.govt.nz/studying-in-new-zealand/quality-assurance-of-education-in-new-zealandhttp://www.nzqa.govt.nz/studying-in-new-zealand/quality-assurance-of-education-in-new-zealandhttp://www.nzqa.govt.nz/about-us/publications/qa-news/qa-news-september-2010/working-with-ero/http://www.nzqa.govt.nz/about-us/publications/qa-news/qa-news-september-2010/working-with-ero/http://www.nzqa.govt.nz/about-us/publications/qa-news/qa-news-september-2010/working-with-ero/http://www.education.gov.uk/areas/uid/7000000000025595/statistics/performance?f_establishment_education_phase=Primary&page=1http://www.education.gov.uk/areas/uid/7000000000025595/statistics/performance?f_establishment_education_phase=Primary&page=1http://www.education.gov.uk/areas/uid/7000000000025595/statistics/performance?f_establishment_education_phase=Primary&page=1http://www.education.gov.uk/areas/uid/7000000000025595/statistics/performance?f_establishment_education_phase=Primary&page=1http://www.education.gov.uk/areas/uid/7000000000025595/statistics/performance?f_establishment_education_phase=Primary&page=1http://www.nzqa.govt.nz/about-us/publications/qa-news/qa-news-september-2010/working-with-ero/http://www.nzqa.govt.nz/about-us/publications/qa-news/qa-news-september-2010/working-with-ero/http://www.nzqa.govt.nz/studying-in-new-zealand/quality-assurance-of-education-in-new-zealandhttp://www.nzqa.govt.nz/studying-in-new-zealand/quality-assurance-of-education-in-new-zealandhttp://siteresources.worldbank.org/INTCHILEINSPANISH/Resources/EducacionChile.pdf


21/33

21

El Estado desempea un papel muy activo en la creacin de redes para compartir

informacin, destinadas a promover los modelos y programas que resultan exitosos.Cuando una escuela exhibe un desempeo deficiente, el Estado intervieneactivamente para mejorar la calidad de la educacin proporcionada en lugar desimplemente revocar su permiso para operar. De persistir los malos resultados seprev reestructurar o simplemente cerrar la escuela.

Se debe sealar que Chile acaba de establecer un sistema de aseguramiento de lacalidad de la educacin que combina elementos de ambos modelos. Las escuelasposeern metas de calidad y debern desarrollar planes de de mejora. Sernordenadas en categoras segn sus resultados educativos y podrn ser apoyadas,

intervenidas para lograr su mejora, la que de no alcanzarse, podr significar la prdidade su permiso para operar.

En la siguiente seccin se muestra la matriz comparativa. En esta comparacin se haconsiderado solo la comunicacin de resultados de las evaluaciones de la calidad de losaprendizajes de los estudiantes.


22/33

4.4. MATRIZ COMPARATIVA DIFUSIN DE RESULTADOS. ALUMNOS11

Nivel NacionalCATEGORAS PASES

CHILE COLOMBIA PER INGLATERRA NUEVA ZELANDIANIVEL Y UNIDAD

RESPONSABLE DE LACOMUNICACIN12

-Ministerio nacional y

regional13

-Desde el ao 2013 serla Agencia de laCalidad14

-Ministerio de

Educacin.-ICFES15

-Ministerio nacional y

autoridades yespecialistas de niveldepartamental 16 -Unidad de medicin dela calidad (Dentro de laSecretara dePlanificacinestratgica)

-DfE (Department for

Education) que es elequivalente alMinisterio deEducacin.-QCDA17 que provee losdatos de lasevaluaciones y es unente autnomo de la

-Comisionado de

Servicios Estatales quefija los estndaresmnimos (integridad yconducta).-ERO19 organismoindependiente,departamento degobierno.

11 Se ha optado por realizar la comparacin solo a nivel de alumnos. Se podra realizar similar ejercicio referido a las evaluaciones de docentes y de las institucioneseducacionales, pero en algunos pases de A.L. stas poseen un desarrollo incipiente lo que dificulta su comparacin. En el caso de los docentes los tres pases de la regincomparados disponen de estos sistemas pero con un desarrollo muy diverso y sus finalidades divergen de manera importante: evaluacin formativa v/s promocin en lacarrera. Para los establecimientos educativos, en un futuro inmediato, se podra realizar la comparacin de casos de mayor desarrollo: Chile, Colombia y Brasil. Este ltimo

pas posee un innovativo e interesante ndice de la calidad de los establecimientos educacionales que tambin se informa de manera agregada a nivel nacional y estadual:IDEB.12 Se considerarn dos niveles: Nacional y qu deben hacer con la informacin los establecimientos educacionales.13 Unidades poltico administrativas en que se divide el pas (15).14 Organismo autnomo del Ministerio de Educacin, recientemente creado por ley, que ser el responsable de la evaluacin de la calidad educativa del sistema.15 Instituto Colombiano de Evaluacin de la Educacin, entidad autnoma del Ministerio de Educacin responsable de la evaluacin de la calidad educativa del sistema.16 Unidades poltico administrativas en que se divide el pas (26).17 Qualifications and Curriculum Development Agency.


23/33

23

secretara deeducacin.18 -Existe una Declaracin

Nacional de logrosdeseables del sistemaeducativo.

CHILE COLOMBIA PER INGLATERRA NUEVA ZELANDIACHILE COLOMBIA PERU INGLATERRA20 NUEVA ZELANDIA21

CONTENIDOS DE LACOMUNICACIN

Entrega de promediosnacionales en los test(SIMCE) censalesaplicados (4 yalternativamente 8 y10 grados); Laspruebas de 4 y 8grados son referidas aestandares referidos alprogreso delaprendizaje de losestudiantes y se prevque en 4 grado losestudiantes se

Entrega de resultadospruebas (SABER)agregados de lasinstitucioneseducativas, a nivel demunicipios,departamentos 23 ydistrito capital,desagregados porsector y zona; reascurriculares evaluadas ylos respectivos grados(5, 9 censales cada 3aos y anuales en el 11

Entrega de coberturade la evaluacin a nivelnacional (ECE) y pordepartamentos ynmero de institucionesy de estudiantesevaluados (censal 2grado y 4 grados);Grados y reascurriculares evaluadas;Cantidad de preguntassegn Niveles de Logro(Debajo de 1: No logroaprender a 2: Logr

Entrega resultados demediciones de logros deresultados de losaprendizajes definidosen el curriculumnacional (key stages) alograr en los gradosequivalentes a 7, 11 y14 aos (K S 1,2 y 3); Seentregan resultadossegn reas curricularesevaluadas; Poseen undesarrollo muy robustoy de amplias

-La evaluacinestudiantil la realizanlos centros escolares yes implementada porlos maestros. 25 -Es referida a las metascurriculares nacionalesy a estndares.-Se aplica una pruebaNEMP(NationalEducation MonitoringProject) que es unproyecto nacional decontrol de la educacin

19 Oficina de Revisin Educativa (Education Review Office). 18 Dado que la evaluacin de la calidad forma parte de un sistema de aseguramiento que opera desde el nivel local existe un conjunto de otras instituciones que participan

en este proceso, que por ejemplo evalan las competencias docentes y supervisan la calidad de la educacin en los centros escolares y administraciones locales. No lasmencionamos aqu.20 Inglaterra es una de las nacionalidades que constituye el Reino Unido (Las otras son Gales, Escocia e Irlanda del Norte). Cada una de estas nacionalidades posee sistemasevaluativos con sus particularidades. El caso de Inglaterra aplica plenamente solo a Gales.21 Este es un caso distinto al resto ya que considera pruebas auto-aplicadas por los establecimientos educativos y una prueba nacional externa sobre muestras de lapoblacin escolar que va variando.


24/33

24

encuentren en el nivel 2y en 8 en el nivel 4;reas curricularesevaluadas22; Resultadosregionales; avances oretrocesos significativosde puntajes nacionalesy regionales; Puntajessegn NSE y gnero;Resultados segn tipode administracin de lasescuelas (estatal, noestatal, etc.);Distribucin % deNiveles de logronacionales (avanzado,intermedio e inicial) ysu evolucin histrica

que es de validacin delbachillerato);Resultados generales,es decir N de L o lo quesaben hacer losestudiantescolombianos en lasreas curricularesevaluadas (3 niveles);Resultados por NSE ygnero; Fortalezas ydebilidades de lasinstituciones educativasen las competenciasevaluadas; Resultadospor establecimientoeducativo con susrespectivas sedes y

aprender lo esperado);reas curricularesevaluadas, agregndosepruebas muestrales alenguas de distintasetnias presentes en elpas (bilinge);Comparacin histrica(en relacin a los aosanteriores); Estudiantesevaluados segncaractersticas de lasinstituciones (estatal,no estatal, etc.);Resultados por N de Lpor grado,departamentales ynacionales y

consecuencias24 ya quese establecen metas alograr que se vansiguiendo en serieshistricas nacionales ypara cada institucinescolar; En esos KS seexigen el logro de reascurriculares claveestndares; Losestndares han sidodiseados previendo loque progresarn en suaprendizaje y cada nivelest definido sea logrencada dos aos deescolaridad; As estprevisto que al KS 2 los

en el que se evalaanualmente a muestrasde estudiantes (3% dela matrcula) de 4 y 8grados.

23 Unidades poltico administrativas en que se divide el pas (32), ms un distrito capital (Bogot).25 Nueva Zelandia no posee un sistema nacional de evaluacin de carcter censal. Son las escuelas y sus docentes los que evalan los aprendizajes referidos a estndaresnacionales, as como respecto de las metas del sistema educativo (rigurosos procedimientos y mtrica evaluativa). Al igual que Inglaterra, este pas posee un robustosistema de aseguramiento de la calidad y los docentes son evaluados por las juntas directivas o normalmente sus directores, de acuerdo a convenios de desempeo yestndares de docencia satisfactoria, igual cosa ocurre con los propios directores que deben ser evaluados por las juntas d irectivas, tambin contra metas y estndares de

desempeo, adems deben reportarle a sus juntas mensualmente. En el caso de los centros escolares estn obligados a autoevaluarse (proceso de revisin) y adems cadatres aos les evala la ERO, observando en esas evaluaciones: el compromiso con el aprendizaje de los estudiantes, los conocimientos-competencias-valores de losestudiantes y de la gestin escolar, entre otros, previendo un sistema de evaluacin de auditoras de la calidad ms frecuentes a las escuelas que no presentan buendesempeo. Existen evaluaciones especiales para las escuelas con poblacin maores.22 Se comparan las evaluaciones comunes en todos los sistemas: Lengua materna y matemticas . Ello aunque varios de los pases analizados poseen evaluaciones en otrasreas curriculares. La razn es simplificar la comparacin.24 Consecuencias para las administraciones (LEAs), instituciones escolares y los equipos docentes los que de poseer resultados deficientes pueden ser intervenidos. Existenadems sofisticados sistemas de visitas inspectivas a los centros escolares y evaluaciones de las competencias de los equipos docentes.


25/33

25

(desde 2006), por elmomento para 4 y 8grados; Factoresasociados a losresultados (ejemplo:impacto de laevaluacin docente,expectativas de lospadres, tiempo deatencin escolar (JEC),seleccin de alumnospor parte de lasescuelas, etc.

jornadas; Seriehistricas (puntajespromedio ydesviaciones estndaren las anterioresevaluaciones censales);Anlisis de factoresasociados; Criteriospara orientar la mejorade resultados.

comparaciones de N deL. entre reascurriculares, segnreas geogrficas, tipode establecimiento,segn habilidad de losdocentes (evaluacindocente); Factoresasociados;Recomendaciones decmo leer los informes.

alumnos se encuentrenen el nivel 4 deprogreso y en KS en elnivel 5 o 6 y eso sereporta a los agentesinvolucrados; Anlisisde factores asociados;Planes remediales a losalumnos connecesidades educativasespeciales (NEE).Existe un KS (4) queposee consecuenciaspara los estudiantes yes la prueba GCSE. (ao11 de escolaridad).

CHILE COLOMBIA PER INGLATERRACHILE COLOMBIA PER INGLATERRA NUEVA ZELANDIA

INTRUMENTOS YPRODUCTOSUTILIZADOS

-Informe de Resultadosnacionales a lasescuelas.-Informe por escuela a

los equipos docentes ypadres y apoderados(dos materiales

-Informe de ResultadosNacionales con cuadrosy guas deinterpretacin. 26

-Pgina web ICFES conresultados nacionales.

-Informe de ResultadosNacionales en cuadros ygrficos con gua deinterpretacin. 27

-Material por escuelade fcil comunicacinque llegar a los padres

-Las pruebas sonexternas y soncorregidas por losdocentes en los centros.

-Informes Nacionalespublicados y en lnea,accesibles a todos los

-Las pruebas son auto-aplicadas sin embargoresponden a unexigente diseo que

asegura que losresultados arrojarandatos respecto del

26 La prueba (SABER 11) ser informada en el mes de octubre y fue rendida el mes de septiembre de 2011. No se pudo acceder a las fechas de las pruebas SABER para 5 y9 grados que son las ms comparables por su naturaleza con las de los otros pases.27 Las pruebas (ECE) que son informadas en los meses de mayo, son rendidas entre los meses de noviembre y diciembre del ao anterior.


26/33

26

distintos).-Informe nacional a laprensa.-Publicacin en diariode circulacin nacional(1 da luego deentregados losresultados).-Pgina Web.

-Informe nacional a laprensa.-Link en la web conresultados nacionales.

agentes.-Informescomplementarios 28 deinspeccin a escuelas ycualificacin docenteque son utilizados porlos centros escolares 29 de manera intensiva. -Comit de Educacinde carcter nacional losresultados publicados ypide rendicin decuentas a autoridades.

cumplimiento deestndares de calidadeducativa y sontrabajados en formaoportuna y rpida porlos centros escolares enacciones remedialessegn los dficitencontrados.-Las pruebas nacionalessirven de control yauditoria.-Informescomplementarios deevaluacin de lacualificacin docente,de los directivos queson utilizados por loscentros escolares demanera intensiva.-El ERO en algunasocasiones evala zonasescolares (redes de

28 Estos informes son muy relevantes ya que las escuelas son visitadas por inspectores expertos que evalan en periodos que varan entre 3 y 6 aos sus capacidades. As la

evaluacin es integral, en un proceso en que las instituciones se autoevalan en relacin al cumplimiento de las polticas y reglamentos, en relacin al logro de losestndares de calidad educativa y el ejercicio del liderazgo pedaggico de su personal.29 No agregaremos en el caso de Inglaterra que deben hacer los establecimientos ya que la informacin es rpidamente trabajada por stos con una serie de otrosinstrumentos de aseguramiento de la calidad que la complementan (visitas inspectivas, evaluacin de competencias docentes, etc.). As las bases de datos disponibles paradecidir acciones basadas en evidencias desde las escuelas y hasta el nivel nacional es de una enorme variedad y riqueza. Nuestros pases se encuentran an a distancia desistemas como este. Se debe agregar que existen dos tipos de instituciones segn el administrador, las denominadas escuelas mantenidas (apoyadas por el estado) y lasindependientes, teniendo las primeras mayores exigencias aunque las segundas tambin pueden ser inspeccionadas, en particular las que presentan problemas.


27/33

27

escuelas).

CHILE COLOMBIA PER INGLATERRA NUEVA ZELANDIAMEDIOS A TRAVS DELCUAL SE COMUNICA

-Medios decomunicacin de masas(Conferencia de prensa.Normalmente a finesdel mes de Abril decada ao).30 -Documento impreso atodas las institucioneseducativas (llegadurante las siguientessemanas luego decomunicados losresultados nacionales(App. Desde 1 a 3)).-Pgina Web.

-Medios decomunicacin de masas(Conferencia deprensa).-Documentos impresosa las institucioneseducativas evaluadas.-Pgina Web.

-Medios decomunicacin de masas(Conferencia deprensa).-Documento impreso alas institucioneseducativas evaluadas.-Material impreso a lospadres (tipo comics).-CDs de difusinmasiva.-Pgina Web.

-Informacinelectrnica disponible(Pgina Web) en todoslos niveles evaluados:Nacional yparticularmente paralas escuelas.-Es utilizadaprofusamente en todoel sistema deaseguramiento de lacalidad, a nivel deautoridades locales(LEAs),establecimientos, etc.

Informacin electrnicadisponible (PginaWeb) de lasevaluaciones de ERO.-Es utilizadaprofusamente en todoel sistema deaseguramiento de lacalidad, a nivel deautoridades locales(juntas directivas) yestablecimientos, etc.

CHILE COLOMBIA PER INGLATERRA NUEVA ZELANDIAAGENTES A LOS QUE SEDESTINA LACOMUNICACIN

-Opinin pblicageneral.-Familias.-Establecimientoseducativos.



- Establecimientoseducativos.-Familias.-Investigadores ytomadores de decisin.

-Parlamento (queinvestiga actividades dela administracin)- Otras agenciasestatales que revisan y

30 Las pruebas (SIMCE) informadas son las rendidas en el mes de octubre del ao anterior en los grados que corresponde.


28/33

28

-Investigadores ytomadores de decisin.



-Opinin pblicageneral.

auditan resultados(SSC)31 -Establecimientoseducativos.-Familias.-Investigadores ytomadores de decisin.-Opinin pblicageneral.

Qu se agrega como tarea de las instituciones escolaresCATEGORAS PASES

CHILE COLOMBIA PER INGLATERRA NUEVA ZELANDIANIVEL RESPONSABLEDE LACOMUNICACIN

Institucin escolar. Institucin escolar. Institucin escolar. -Administracin local(LEAs)-Institucin escola

r

-Juntas directivas-Directores

CONTENIDOS DE LACOMUNICACIN

-Resultados de lainstitucin escolar enlas reas y gradosescolares evaluadospara el trabajo de los

-Los resultados de lainstitucin escolar conlas respectivascomparaciones (encategoras del informe

-Los resultados de lainstitucin escolar conlas respectivascomparaciones (encategoras del informe

N/A32 N/A

31 SSC: Comisin de Servicios Estatales (State Services Commission), organismo gubernamental. Asesor superior sobre sistemas de gestin pblica. Trabaja en formaconjunta con los organismos de gobierno para poder brindar un servicio de calidad.32 No agrega antecedentes.


29/33

29

equipos docentes y losdirectivos;Comparaciones coninstituciones desimilarescaractersticas.

Informacin sencilla alos padres y madres(agrega comparacincon instituciones desimilarescaractersticas)

nacional) para cada unode los usuarios(directivos, equiposdocentes y padres,madres y apoderados.

nacional)

-Resultado del nivel delogro de los hijos en lasdiferentes reasevaluadas.-Resultados de los hijosen comparacin con elde sus compaeros decurso.- % de los niveles delogro de los estudiantesde la escuela del hijo-Recomendaciones decmo ayudar al hijo.

CHILE COLOMBIA PER INGLATERRA NUEVA ZELANDIAINTRUMENTOS YPRODUCTOSUTILIZADOS

-Informe escrito quellega al establecimiento.-Talleres docentes deanlisis de resultados.-Trptico para lasfamilias (Para el centrode padres)

Informe escrito quellega al establecimientocon cuadros y grficosas como guas parainterpretar losresultados.

-Informe escrito quellega al establecimientocon cuadros y grficosas como guas parainterpretar losresultados.-Comics explicativospara los padres, madresy apoderados

-Las autoridades locales(LEAs) estnmandatadas acomunicar losresultados de losestudiantes a susfamilias.-Presentacinobligatoria deinformacin tnica de lainstitucin (tambin porgnero) a la autoridadlocal (LEA).-Publicacin obligatoria

-Las escuelas estatalesestn obligadas aevaluar a sus docentes(juntas directivas ydirectores)-Las escuelas estatalesestn obligadas aevaluar a sus directivos(juntas directivas-presidente).Estas evaluaciones sonreferidas a estndares.-Informes anualesobligatorios de


30/33

30

de resultados decalificacin.vocacional/GCSE.-Presentacin pblicade los resultados de losprocesos de inspeccin(director y consejodirectivo).-Presentacinobligatoria de las tablasde desempeo escolarque incluyeninformacin sobre laasistencia/exmenes enrelacin aestablecimientoscomparables.-Publicacin obligatoriade folleto informativo ala comunidad.

las escuelas -incluidoslos estadosfinancieros- conresultados de laauto-revisin,presentados al MDE33 -Informe pblicoconfirmado con los resultados de laevaluacinexterna enviado a la junta directivaescolar/al MDE; seenva unresumen a los padres-Escuelas nacionales:informes dela ERO sobre las reasque necesitanmejoras y las quetienen buendesempeo,para los padres y elMDE-Escuelas estatales:informe anualobligatorio deldesempeo de losgrupos de alto riesgo y

33 Ministerio de Educacin de Nueva Zelanda.


31/33

31

de SE -incluidos los alumnosmaores- enfuncin de lasmetas/los objetivosestablecidos.

CHILE COLOMBIA PER INGLATERRA NUEVA ZELANDIACHILE COLOMBIA PER INGLATERRA NUEVA ZELANDIA

MEDIOS A TRAVSDEL CUAL SECOMUNICA

-Informes impresos. Informes impresos -Informes impresos-CDs.

-Informes impresos ymedios electrnicos.

Informes y entrevistas.

AGENTES A LOS QUESE DESTINA LACOMUNICACIN

-Directivos y equiposdocentes de cadainstitucin escolar.-Padres, madres yapoderados de cadainstitucin escolar.

Directivos y equiposdocentes de cadainstitucin escolar.-Padres, madres yapoderados de cadainstitucin escolar.

Directivos y equiposdocentes de cadainstitucin escolar.-Padres, madres yapoderados de cadainstitucin escolar.

-Directivos, equiposdocentes, consejosdirectivos,-Familias y alumnos.

Directivos, equiposdocentes, juntasdirectivas,-Familias y alumnos.


32/33

5. EN SNTESIS

El documento ha planteado algunas primeras hiptesis acerca de los componentes delos informes de resultados de las evaluaciones de la calidad educativa que influyen enla posibilidad de que se trasladen a las estrategias de mejora en las escuelas.

Parece claro que las primeras dcadas de implementacin de los dispositivos deevaluacin de la calidad en la regin, no prevean la comunicacin con las escuelascomo objetivo principal, sino que se centraban en la necesidad de informacin para losequipos ministeriales, de modo de orientar la mejora de las polticas.

El nuevo milenio implica un cambio en la demanda de los ministerios a las reas de

evaluacin. Ya no se le piden insumos para la toma de decisiones al interior de losmismos sino que dichos informes estn pensados para los equipos escolares queconstruyen estrategias de mejora y como insumo para la construccin de indicadoresque organicen los sistemas de reconocimiento y supervisin.

Ahora, el cambio de destinatario principal, las nuevas prioridades en materia deobjetivos obligan a cambios importantes en los modos de evaluar y de comunicar losresultados de lo hecho. Los muestrales van dejando lugar a los censales, los tiemposde devolucin a las escuelas se van acortando, la bsqueda de indicadores mscercanos a los de uso cotidiano en las escuelas, aparecen como innovaciones en estanueva etapa de las polticas de evaluacin educativa en la regin.

Pero direccionar la comunicacin a las escuelas es ms que una decisin poltica,requiere una resolucin tcnica que implica tanto elementos comunicacionales, comoaspectos especficamente tcnicos. En ambos tipos de cuestiones, la distancia culturalentre los equipos ministeriales y los actores de la escuela, es una agenda que debe serconsiderada. Es fundamental encontrar modos de acercar los discursos y los ejes delos temas que interesan.

Como hemos visto, existen algunas claves en los modos de comunicar y en lainformacin misma, que hacen que la informacin aumente su pertinencia paraimpactar en el cambio. La posibilidad de comparar el currculum prescripto con elenseado efectivamente, los recortes producidos por los modelos didcticosimplementados, el registro claro de lo que los alumnos saben y lo que no saben, laposibilidad de leer la informacin en una lnea longitudinal que d cuenta delrecorrido de aprendizaj e de las diferentes nociones y desempeos que se debenalcanzar, el anlisis transversal de los contenidos y competencias de Lengua yMatemticas, aparecen como algunos de los criterios para pensar la produccin de losinformes.

Por otro lado, el comparativo de experiencias regionales con la de otros pases deexperiencia robusta en este tipo de polticas, muestra la idea de pensar a la escuelacomo mbito de edicin de los propios informes, en la bsqueda de acercar la visin


33/33

con la que se construyen a los propios actores. Nuestra regin mantiene una tradicinms centralizada en la materia, pero en la bsqueda de mejorar la eficiencia, se hace

necesario acercar los registros de los especialistas y los docentes. Al mismo tiempo,parece necesario pensar en instancias de devolucin que no se limiten a la repeticindel informe, sino espacios para analizarlos y tomar lecciones que permitan optimizarlos programas de mejora institucional.

En tal sentido, es preciso comprender que no se trata solamente de revisar losinformes, sino de pensar una poltica de comunicacin que genere pertenencia de lasescuelas con el propio dispositivo y con la informacin que produce.

Los informes de resultados deben integrarse en una estrategia de comunicacin que

articule los aspectos de la propia evaluacin, con aquellos curriculares y decapacitacin que faciliten una conversacin integral de las escuelas con losministerios. La posibilidad de que dichos informes se vuelvan, realmente, insumos parala reflexin pedaggica de la escuela es una de las claves que permite dinamizar elcambio en las instituciones educativas.

Documents

Documento-base-BRASILIA-2011.pdf