Profesor: Javier Martnez TorresLiceo Politcnico Holanda LLANQUIHUE2014Elaboracin de instrumentos de evaluacin estandarizados

This template can be used as a starter file for presenting training materials in a group setting.

SectionsSections can help to organize your slides or facilitate collaboration between multiple authors. On the Home tab under Slides, click Section, and then click Add Section.

NotesUse the Notes pane for delivery notes or to provide additional details for the audience. You can see these notes in Presenter View during your presentation. Keep in mind the font size (important for accessibility, visibility, videotaping, and online production)

Coordinated colors Pay particular attention to the graphs, charts, and text boxes. Consider that attendees will print in black and white or grayscale. Run a test print to make sure your colors work when printed in pure black and white and grayscale.

Graphics, tables, and graphsKeep it simple: If possible, use consistent, non-distracting styles and colors.Label all graphs and tables.

1

CULTURAS DE EVALUACINCentrada en la calificacinCentrada en el aprendizajeProceso de Enseanza-Aprendizaje y evaluacin disociados.

Criterios de evaluacin ocultos.

Tendencia al ranking.Procesos estrechamente relacionados.

Criterios de evaluacin compartidos.

Resultados trabajados a nivel individual.

Foco en progreso individual.Fordismo. Siglo XIXPostordismo. Siglo XXI

Tendencia psicomtrica Tendencia edumtrica Para qu evaluarEl ciclo evaluativo

FUNCIN PEDAGGICA DE LA EVALUACINTodas las evaluaciones pueden y deberan ser utilizadas con el fin de comprender mejor la realidad con la que se est trabajando y contribuir a mejorarla.

Sistematizar los procesos evaluativos permite que el docente se instale como un mediador efectivo en el proceso de aprendizaje de nuestros estudiantes.

Ejemplos de ejes de habilidadesMemoriaMemoria /PensamientoPensamientoTIMSS (MAT)Conocer Aplicar RazonarTIMSS (CIENCIAS) Manejar conocimientosComprender conceptosRazonar y AnalizarPISA (LECTURA)Extraer informacinInterpretar Reflexionar y EvaluarCIENCIAS SOCIALES(SIMCE)Conocer y comprenderAplicarAnalizar e interpretar(Pensamiento Critico)

Cmo evalan en Chile?

criterios de calidadVALIDEZCONFIABILIDADOBJETIVAD

VALIDEZ DE CONTENIDO:

En resumen, que un instrumento cumpla con la validez de contenido, corresponde a que los contenidos/habilidades que evalua son efectivamente los del nivel evaluado.

VALIDEZ INSTRUCCIONAL:

Se refiere a la coherencia entre la didactica presentada en el aula y la evaluacion.

Para resguardar la validez instruccional es recomendable el uso de bitacora con las actividades realizadas, de manera que al momento de confeccionar la evaluacion, este resguardado el quehacer docente dentro del aula. VALIDEZ CONSECUENCIAL:

La evaluacion debe evitar todo tipo de consecuencias anexas a las deseadas :Definir claramente los propositos evaluativos y usos de la evaluacion. Identificar claramente las evidencias que daran cuenta de los propositos de la evaluacion.

Cmo se define la validez

VALIDEZ DE CONTENIDO:

La educadora de NT2 evaluara cuantas palabras pueden leer los ninos, ya que la mayoria de sus estudiantes sabe leer. Ella planea evaluarlo aun cuando este no es un aprendizaje esperado del nivel.

Andrea obtuvo mejor nota que Carlos en una prueba de Geometria, porque uso regla al dibujar figuras geometricas. VALIDEZ INSTRUCCIONAL:

En ciencias vimos las partes del aparato digestivo por separado y en la prueba el profesor nos hizo integrar todo. Me fue pesimo!

La educadora de NT1 llevo a los ninos a una plaza para realizar un proyecto en el eje de Conocimiento del entorno natural. Aunque realizaron experiencias de aprendizaje basadas en el descubrimiento y la exploracion, al evaluar los aprendizajes alcanzados, ella utilizo una guia con lapiz y papel. VALIDEZ CONSECUENCIAL:

Una educadora deduce que Victor es lento para aprender, porque en su evaluacion de Comunicacion Oral no alcanzo los aprendizajes esperados.

Hoy todos nos pusimos de acuerdo para no responder la prueba, total el profesor siempre repite las mismas pruebas cuando nos va mal. Ejemplos

CONFIABILIDAD

La confiabilidad de una evaluacin pasa por la suficiencia de informacin (Moss, 2003). Esto se traduce en evaluar un mismo aprendizaje esperado u objetivo en varias situaciones distintas, dentro de una situacin de evaluacin o en el conjunto de ellas, con el fin de disminuir el error en las decisiones a tomar a partir de la informacin recogida. Smith (2003) plantea que el punto en comn entre las situaciones de evaluacin no solo debe ser el aprendizaje evaluado, sino tambin el mismo nivel de exigencia, y agreg las mismas condiciones de tiempo, espacios fsicos, nerviosismo, etc. Foster; Rojas-Barahona, 2008, dan algunas sugerencias para resguardar la confiabilidad:

Velar por la claridad de los tems e instrucciones. Velar por la precisin de la revisin del instrumento. Velar porque el ambiente de aplicacin sea similar en cuanto a recursos, espacios y tiempo Aplicar al mismo estudiante diversas situaciones evaluativas que midan el mismo aprendizaje.

EJEMPLOS DE CONFIABILIDADAl efectuar el diagnstico, la educadora observa solo una vez cada indicador de la pauta de evaluacin.

Como no contest la pregunta de grficos, el profesor me dijo que yo no saba hacerlo. No es verdad, lo que pasa es que me falt tiempo y ni siquiera alcanc a leer la pregunta.

Como me faltaban notas para cerrar el semestre la profesora me sac promedio con las notas que tena y yo nunca di las ltimas pruebas.

OBJETIVIDADEl instrumento debe permitir la imparcialidad al momento de emitir un juicio sobre la base de la informacin obtenida de l. El mayor problema de la objetividad no radica en la construccin de una buena pauta de evaluacin, sino ms bien en las prcticas arraigadas en algunos docentes. Internacionalmente hay estudios (Rubie-Davies, 2006, entre otros) que muestran que los estudiantes de bajo rendimiento tienen menos ayuda de los profesores, en tiempo, pistas, retroalimentacin, etc., que los estudiantes de alto rendimiento.

Algunas sugerencias para resguardar la objetividad:

Resguardar que las experiencias de aprendizaje no otorguen ventajas o desventajas de un grupo sobre otro. Informar a los estudiantes la intencionalidad de la evaluacin y los aprendizajes a evaluar.

Dar a conocer a los estudiantes los criterios de evaluacin.

Elaborar pautas de respuesta o correccin.

Establecer previamente los criterios de asignacin de puntajes en funcin de la relevancia y nivel de complejidad de los aprendizajes.

EJEMPLO DE SITUACIONES EN LAS QUE SE TRANSGREDE LA OBJETIVIDAD

Al realizar experiencias de evaluacin, la educadora del NT2 tiende a ayudar a los nios que tienen ms dificultades para responder. Para esto, cada vez que les hace una pregunta, los ayuda diciendo el inicio de la respuesta y esperando a que ellos completen el final de la frase.

La clase pasada el profesor me ech de la clase por estar molestando a un compaero. Hoy es la prueba y me dijo que yo parta con 1 punto menos.

Ayer entregu un trabajo en arte que hice a la rpida y lo copi de internet, un compaero que es desordenado entreg un lindo trabajo, sper original y obtuvo menos calificacin que yo.

Sugerencias para elaborar indicadores de evaluacinAl elaborar indicadores, es importante considerar que estos deben ser:

SIMPLES.

BREVES.

OBSERVABLES.Elaboracin de instrumentos de evaluacin

Pensamiento Critico, (Juicio de Valor)Las causas de la Globalizacin Infieren las principales causas de la economa globalizada a travs de imgenes, desarrollando una perspectiva critica respecto a las consecuencias que se registran en el pas FORMACIN CIUDADANAHISTORIA

1. Definir un marco de evaluacin: 2. Definir una matriz de evaluacin: Corresponde a definir los porcentajes en que se evaluarn los contenidos y habilidades definidos en el marco de evaluacin Es bueno subrayar que a mayor edad, el estudiante est capacitado para abordar una mayor cantidad de preguntas de habilidades superiores.

Corresponde a definir qu parte del currculum, en cuanto a contenidos y habilidades, se busca evaluar.

Criterios en la construccon instrumentos de evaluacinEjemplo:La siguiente tabla muestra la matriz de evaluacin para 4 Bsico, matemtica, segn taxonoma propuesta por TIMSS, 2011. En ella se especifica en qu porcentaje se evaluar cada contenido y cada habilidad en el instrumento.

3. Elaborar una tabla de especificaciones o indicadores de evaluacin:Es un esquema que orienta la elaboracin de cada parte del instrumento de evaluacin, ya que describe qu busca evaluar cada uno de los tems o actividades del instrumento. Nivel y asignatura o ncleo de aprendizaje. El nmero de la pregunta o actividad. Una referencia a la parte del currculum que busca evaluar. La habilidad que busca evaluar. El indicador de evaluacin.

:4. ELABORACIN DE TEMS:4.1 Construccin de tems de respuesta cerrada, seleccin mltiple: Este tem propone al estudiante una tarea evaluativa y opciones posibles de respuesta, entre las cuales se le pide que seleccione la correcta. Los tems de seleccin mltiple se componen de un contenido/subcontenido, habilidad, indicador, un enunciado y tres a cinco opciones (dependiendo del nivel evaluado) de las cuales solo una es la correcta (clave).:

Contexto o estmulo. Ofrece la informacin necesaria para responder lo que a continuacin se va a preguntar: es la situacin, planteamiento, problema, tesis, caso o grfico en el cual se basa la pregunta. Debe ser interesante y los estmulos deben satisfacer algunos criterios para asegurar su calidad: No debe contener desafos artificiales.Debe ser accesible para todos los estudiantes que enfrentan la evaluacion. En otras palabras, todos los estudiantes deben tener las mismas posibilidades de resolver correctamente la actividad de evaluacion. Debe ser pertinente y necesario para la realizacion de la tarea. Debe consignar fuentes y referencias adecuadamente.

Enunciado o pregunta. Frase (afirmativa) que presenta la situacin que debe ser respondida o resuelta. Normalmente el enunciado pertenece a un tema especfico de la asignatura. Algunas indicaciones y sugerencias para la construccin de los enunciados:

Se pueden formular preguntas con enunciado cerrado o abierto. En el caso de preguntas con enunciado cerrado, el enunciado es la pregunta completa, que termina en un signo de interrogacin. Por lo tanto, las opciones de respuesta van en maysculas. En el caso de preguntas con enunciado abierto, el enunciado es una afirmacin o una proposicin que el estudiante deber completar con las opciones que se le entregan. En este caso, las opciones de respuesta van en minsculas y completando el sentido gramatical y semntico del enunciado incompleto.

Cuando una pregunta supone una condicin previa, primero se expresa la condicin, antes que la formulacin de la pregunta, la cual queda enmarcada entre signos de interrogacin.

Frases, datos o informaciones que se consideran respuestas posibles (plausibles) al enunciado y entre las cuales el estudiante hace su eleccin. Dentro de las opciones se encuentra la clave o respuesta correcta. Algunas indicaciones y sugerencias para la construccin de los distractores:

Son totalmente incorrectos, por lo tanto, no contienen elementos que respondan parcialmente la tarea formulada.

Mantienen equilibrio y homogeneidad (incluyendo la respuesta correcta) en cuanto a: longitud, complejidad, estilo de redaccin, sintaxis, morfologa (gnero, nmero, persona, tiempo, modo), categoras o criterios de clasificacin.

Evitan la repeticin y/o sinonimia de trminos o vocablos entre el cuerpo del tem y el distractor. En caso de ser necesaria la repeticin, deber incluirse en ms de un distractor.

No niegan, contradicen o son inconsistentes con lo planteado en el enunciado o en los estmulos.

Se ordenan por extensin de menor a mayor, en casos numricos de mayor a menor o viceversa.Opciones de respuesta (distractores). Respuesta correcta o clave. Es(son) la(s) opcin(es) que responde(n) adecuadamente el enunciado o pregunta. Algunas indicaciones y sugerencias para la construccin de la clave:

El tem incluye una sola respuesta correcta, excluyente respecto de las dems opciones.

La respuesta correcta resuelve completamente el problema.

Desarrolla un concepto o procedimiento coherente.

Idealmente, no contiene trminos utilizados en el cuerpo del tem.Respuesta correcta o clave. Las preguntas abiertas son aquellas en las cuales el estudiante debe generar o elaborar una respuesta a una pregunta o instruccin dada.Cundo se justifica este tipo de preguntas?

Cuando el objetivo de aprendizaje o aprendizaje esperado no se puede evaluar a travs de una pregunta de opcin mltiple.

Cuando existe ms de una forma de dar solucin al problema o instruccin planteada, por lo que resulta importante ver tambin la diversidad de soluciones que pueden entregar los estudiantes ante un mismo problema.

Cuando se busca recoger informacin acerca de estudiantes que respondan correctamente, parcialmente correcto e incorrecto.Construccin de tems de respuesta abiertaElaborar la pauta de revisin o rbrica. Consiste en definir, bajo indicadores de evaluacin claros y precisos, qu grupo de respuestas sern correctas, parcialmente correctas (si es que hay) o incorrectas. La pauta de evaluacin cumple el rol de los distractores en las preguntas de opcin mltiple, en el sentido de que entregar informacin acerca de los logros o no logros alcanzados por un estudiante. Permitir identificar el tipo de error especfico y de esta forma enfocar ah el trabajo docente.Construccin de tems de respuesta abiertaCRITERIOS DE CALIDAD PARA EVALUAR LOS TEMS: Se sistematiza informacin sobre criterios de calidad:

Est alineado al marco de evaluacin: evala habilidades, conocimientos y comprensin en el marco de evaluacin que corresponde, tanto en el enunciado como en las opciones.

2. Es valido: es decir, evalua aquello que pretende evaluar. Esto implica que se responde correctamente solo cuando se posee el conocimiento evaluado.

Deben evitarse las pistas, trampas o enganos.

El enunciado debe entregar informacion suficiente como para ser respondido sin las opciones.

Que texto leiste? A. Un poema.B. Un cuento.C. Una noticia. D. Una fabula. Con este enunciado el estudiante debe leer las opciones para darse cuenta que le preguntan por el tipo de texto. Por ejemplo, bien podria pensar que le preguntan por el titulo de textoCmo podra quedar?

Que tipo de texto leiste? A. Un poema.B. Un cuento.C. Una noticia. D. Una fabula. 3. Es disciplinariamente correcto: no contiene errores conceptuales, la informacin que presenta es exacta y fidedigna cuando se refiere a hechos de la realidad o evidencia emprica.

4. Es pedaggicamente significativo: es relevante desde el Marco Curricular vigente y la disciplina y, a la vez, consistente con la didctica de la disciplina.

5. Es adecuado a la etapa evolutiva de los estudiantes: las tareas formuladas deben ser susceptibles de ser desarrolladas (abordables) por todos los estudiantes evaluados.

6. Es claro y simple en su formulacin: debe plantear de manera directa y clara para el estudiante lo que se espera que haga y no debe contener ningn desafo artificial.

7. Es ptimamente desafiante: debe motivar a la mayora de los estudiantes a responder, ofrecindoles una tarea posible e interesante de abordar.

8. Es imparcial: debe ser igualmente accesible y equitativo, no debe presentar ningn tipo de sesgo (de gnero, geogrfico, social, entre otros).

9. No contiene elementos emocionalmente perturbadores para el estudiante, controversiales o indeseables: debe evitar generar en el estudiante un estado emocional inadecuado o que transmita un mensaje contrario a los valores que se desean transmitir desde el sistema educativo. 10. Privilegiar el uso de palabras (vocabulario), giros y construcciones gramaticales (redaccion) adecuadas al nivel.

11. Privilegiar el uso de preguntas por sobre el de las frases incompletas, salvo que ello aumente la dificultad del ejercicio. 12. Evitar el uso de negaciones.

13. Situar los complementos muy extensos fuera de la pregunta, siempre y cuando esto no afecte la gramaticalidad de ella ni vaya contra el sentido comn de los hablantes de la lengua.

14. Presentar informacin exacta y fidedigna cuando se alude a hechos de la realidad o sobre los cuales hay evidencia emprica.La siguiente tabla muestra la masa de algunos juguetes, medida en una balanza:

Cual es el juguete de mayor masa?

PelotaCubo de madera Oso de peluche Muneca

juguete masa (kg)Pelota3Cubo de madera2Oso de Peluche5Mueca715. Omitir toda informacin superflua (excepto cuando aumente la novedad o elestmulo).ERROR:Una profesora le pide a sus estudiantes que observen distintos alimentos e identifiquen un alimento que sea comida saludable.

Andrea observ papas fritas, bebidas, manzanas y caramelos. Cul de los alimentos que observ Andrea es un alimento saludable?

Papas fritas BebidasManzanas CaramelosARREGLADO:Andrea observ papas fritas, bebidas, manzanas y caramelos. Cul de los alimentos que observ Andrea es un alimento saludable?

BebidasManzanas Papas fritas C. D. Caramelos16. Construir una clave nica y completamente correcta.

17. Construir distractores erroneos y, a la vez, plausibles (deben corresponder a errores conceptuales o procedimentales).

ERRORQu estructura del cuerpo le permite a los peces desplazarse en el agua?

Las alasLas aletas Las patas Las garrasCORREGIDOQu estructura del cuerpo le permite a los peces desplazarse en el agua?

A. Las alasB. Las aletasC. Las escamas D. Las branquias18. Las opciones deben ser mutuamente excluyentes.

19. No usar elementos comunes en el enunciado y las opciones (pista o trampa).

ERRORCmo se llaman los seres vivos que se alimentan de carne?

A. OvparosB. TerrestresC. CarnvorosD. ProductoresCORREGIDOCmo se llaman los animales que se alimentan de otros animales?

Ovparos. Vivparos. Carnvoros.Herbvoro 20. No utilizar palabras o estructuras llamativas en la clave o en los distractores.

21. Cuidar la homogeneidad de las opciones.

22. Presentar opciones ordenadas segn un criterio lgico (alineadas a la derecha y ordenadas por extensin en forma ascendente o descendente, segn corresponda).

ERROREn el texto ledo, cul es la crtica que se hace a los pases?

A. Que evitan respetar los acuerdos.B. Dudan de la efectividad de la Cumbre.C. Se considera que son los ms contaminantes.D. No incentivan una realaccin de emergencia.CORREGIDOEn el texto ledo, cul es la crtica que se hace a los pases?

A. Que son los ms contaminantes.B. Que evitan respetar los acuerdos.C. Que mal gastan sus recursos econmicos. D. Que dudan de la efectividad de la CumbreTALLERREVISIN DE LA COLUMNA DE INDICADORES DE EVALUACIN EN FUNCIN DEL MODELO SOCIOCOGNITIVOALGORITMO SOCIOCOGNITIVOHABILIDAD+CONTENIDOHABIIDADCONTENIDOCONOCER

APLICAR

RAZONAR

DESCOMPONER HABILIDADESDESCOMPONER CONTENIDO GENERACIN DE INDICADORES

Item original

Criterio que no cumple u otra observacion

tem modificadoDibuja un arbol al lado derecho de la nina.

Al incorporar la ilustracion de una nina de frente, se aumenta la complejidad de la pregunta, porque el punto de referencia del nino es su propio cuerpo, en cambio, el ejercicio induce a error al invertir la lateralidad.

Item original

Criterio que no cumple u otra observacion

tem modificadoSolo una de las siguientes afirmaciones es FALSA, cual es? 1 C = 100 U1 UM = 100 C C. 1 D = 10 UD. 1 DM = 10 UM

Preguntar por la opcion FALSA es como preguntar en negativo. El enunciado no presenta informacion necesaria para responder tapando las opciones. Es como responder 4 preguntas, ya que el estudiante debe pasar por cada opcion y analizar.

BIBLIOGRAFA PRINCIPAL 2013: Consideraciones para el anlisis y elaboracin de instrumentos de evaluacin. Mineduc-programa de apoyo compartido.Bibliografa y Referencias, SecundarioMiguel ngel Santos Guerra (1998). La evaluacin como comprensin. Dimensin crtica/reflexiva.

Moss, P. (1994). Can there be validity without reliability? Educational Researcher, 23(2), 5-12.

Vygotsky, L. El Desarrollo de los Procesos Psicolgicos Superiores. Cap. 6.: Interaccin entre Aprendizaje y Desarrollo. Ed. Grijalbo. Mxico. 1988

Mide UC (2011). Material del Diplomado de Medicin y evaluacin de aprendizajes.

Mineduc (2004). Evaluacin para el aprendizaje.

Mineduc UCE. Niveles de Logro. Consultado en www.mineduc.cl el 27 de junio de 2011.

Mineduc UCE. Mapas de progreso. Consultado en www.mineduc.cl el 27 de junio de 2011.

Leslie Maxwell y Giovanni Pierattini. Material de capacitacin para la construccin de instrumentos de evaluacin de calidad (2011).