24
 ANÁLISIS DE LOS CRITERIOS DE LA COMISIÓN NACIONAL EVALUADORA DE LA ACTIVIDAD INVESTIGADORA (CNEAI) PARA LA CONCESIÓN DE LOS TRAMOS DE INVESTIGACIÓN EN EDUCACIÓN Analysis of the criteria of the National Commission for the Evaluation of Research Activity (CNEAI) for the concession of the research incentives in Education ARTURO GALÁN Universidad Nacional de Educación a Distancia (UNED) IZABELA ZYCH Universidad de Córdoba Universidad de Huelva La evaluación de la Educación Superior ha ganado gran importancia en los últimos años. Entre las causas que han generado un incremento en el número de evaluaciones destacan la creación del Espacio Europeo de Educación Superior y las nuevas Leyes Orgánicas españolas y sus desa- rrollos por las que se establecen complementos retributivo s y procedimientos de acreditación del profesorado. Aunque se hayan realizado varios estudios relacionados con criterios, pará- metros e indicadores para dicha evaluación, son muy pocos los trabajos dedicados a analizar los criterios para la concesión de los sexenios. Por ello, el objetivo del presente estudio con- siste en llevar a cabo dicho análisis, prestando especial atención al campo de la Educación. Los resultados ponen de manifiesto que el criterio más claro para conseguir la evaluación positiva es la aportación de artículos publicados en revistas incluidas en el  Journal Citati on Report s (JCR). Aunque se acepta en la normativa la valoración de otras aportaciones no incluidas en el  JCR, s iempre y cua ndo cu mplan, a juic io de l Comit é Asesor, un a seri e de criterios de cal idad que se mencionan en las convocatorias a partir del 2005, se demuestra que los criterios son poco específicos y que no existe ningún baremo objetivo que pueda ser aplicado a la hora de  valorar los mé ritos aportados por l os solicitantes. Esta situació n pro voca una enorme tasa de fracaso en términos absolutos y en comparación con otras áreas. En conclusión, se incluyen una serie de recomendaciones para mejorar el sistema de evaluación de la productividad inves- tigadora en el futuro. Palabras clave: Educación Superior, Evaluación, Profesorado, Complementos de produc- tividad. Bordón 63 (2), 2011, 117-139, ISSN: 0210-5934 • 117 Fecha de recepción: 18-04-11 • Fecha de aceptación: 26-04-11 

CRITERIOS CNEAI

Embed Size (px)

DESCRIPTION

Criterios de la Comisión Nacional Evaluadora...

Citation preview

  • ANLISIS DE LOS CRITERIOS DE LA COMISINNACIONAL EVALUADORA DE LA ACTIVIDADINVESTIGADORA (CNEAI) PARA LA CONCESIN DE LOS TRAMOS DE INVESTIGACIN EN EDUCACINAnalysis of the criteria of the National Commission for the Evaluation of Research Activity (CNEAI) for the concession of the research incentives in Education

    ARTURO GALN Universidad Nacional de Educacin a Distancia (UNED)

    IZABELA ZYCH Universidad de Crdoba

    Universidad de Huelva

    La evaluacin de la Educacin Superior ha ganado gran importancia en los ltimos aos. Entrelas causas que han generado un incremento en el nmero de evaluaciones destacan la creacindel Espacio Europeo de Educacin Superior y las nuevas Leyes Orgnicas espaolas y sus desa-rrollos por las que se establecen complementos retributivos y procedimientos de acreditacindel profesorado. Aunque se hayan realizado varios estudios relacionados con criterios, par-metros e indicadores para dicha evaluacin, son muy pocos los trabajos dedicados a analizarlos criterios para la concesin de los sexenios. Por ello, el objetivo del presente estudio con-siste en llevar a cabo dicho anlisis, prestando especial atencin al campo de la Educacin. Losresultados ponen de manifiesto que el criterio ms claro para conseguir la evaluacin positivaes la aportacin de artculos publicados en revistas incluidas en el Journal Citation Reports(JCR). Aunque se acepta en la normativa la valoracin de otras aportaciones no incluidas en elJCR, siempre y cuando cumplan, a juicio del Comit Asesor, una serie de criterios de calidadque se mencionan en las convocatorias a partir del 2005, se demuestra que los criterios sonpoco especficos y que no existe ningn baremo objetivo que pueda ser aplicado a la hora devalorar los mritos aportados por los solicitantes. Esta situacin provoca una enorme tasa defracaso en trminos absolutos y en comparacin con otras reas. En conclusin, se incluyenuna serie de recomendaciones para mejorar el sistema de evaluacin de la productividad inves-tigadora en el futuro.

    Palabras clave: Educacin Superior, Evaluacin, Profesorado, Complementos de produc-tividad.

    Bordn 63 (2), 2011, 117-139, ISSN: 0210-5934 117Fecha de recepcin: 18-04-11 Fecha de aceptacin: 26-04-11

    16173 Bordn 63.2 (2) 19/5/11 15:13 Pgina 117

  • Introduccin

    En el ltimo decenio, Espaa se ha visto envuel-ta en un proceso creciente de evaluacin de laEducacin Superior, en parte por la entrada enel Espacio Europeo de Educacin Superior(acreditacin y verificacin de los ttulos oficia-les) y, por otro lado, por la aplicacin de la LOU(2001) y la LOMLOU (2007), en especial en lorelativo al artculo 55 que permite complemen-tos retributivos al profesorado por mritos indi-viduales y a los artculos 50-52 relacionados conla seleccin de profesorado contratado. Anms recientemente (7/1/2011), se ha presentadoel Borrador del Estatuto del Personal Docente eInvestigador de las Universidades PblicasEspaolas, que dibuja una carrera horizontalsometida a evaluacin externa.

    Este proceso ha provocado un contexto de pre-sin evaluativa para el profesorado (Galn,2007; Galn y Rubalcaba, 2006) que puede in-fluir negativamente en los objetivos de mejorade la calidad que propician dichas polticas. Laobjetividad y la transparencia son elementosesenciales para dotar de credibilidad y prestigioa las evaluaciones realizadas.

    En el actual contexto de competitividad global,la evaluacin de la actividad cientfica de los pro-fesores e investigadores cobra especial relevan-cia, de modo que la existencia de Highly CitedResearches es uno de los indicadores importantesa la hora del establecimiento de los rankingsinternacionales de universidades, como el TimesHigher Education World University Rankings o elAcademic Ranking of World Universities (de laShanghai Jiao Tong University) o ranking nacio-nales (Buela-Casal, Bermdez, Sierra, Quevedo-Blasco y Castro, 2009, 2010).

    Espaa se convierte as en uno de los pases conmayor control externo del trabajo realizado por elprofesorado en todos los niveles (investigacin,docencia, gestin, transferencia del conocimien-to, innovacin, etc.), y cuyas evaluaciones supo-nen decisiones cruciales para las posibilidades

    de promocin y salario, siendo un modelo muydistinto del utilizado en las universidades norte-americanas. La primera experiencia espaola deeste tipo, la evaluacin de los tramos de investi-gacin, con todas sus limitaciones, es probable-mente la causa ms importante del crecimientoexponencial en los ltimos 30 aos de la presen-cia de investigadores espaoles en las revistascon mayor visibilidad cientfica mundial.

    Los trabajos relacionados con la evaluacin de laactividad cientfica han aumentado a lo largo delos ltimos aos. Por un lado, se invent el Fac-tor de Impacto basado en el nmero de citasrecibidas por las revistas cientficas y recogidoen el Journal Citation Reports (JCR) (Garfield,2003). Diferentes investigadores han analizadoel Factor de Impacto o el nmero de citas (Bue-la-Casal, 2010; Buela-Casal y Zych, 2010), elndice h (Buela-Casal, Olivas-vila, Musi-Le-chuga y Zych, 2011) o la produccin de in-vestigadores en revistas incluidas en el JCR(Olivas-vila y Musi-Lechuga, 2010a, 2010b).Incluso se han creado otros ndices relacionados,como por ejemplo, el ndice de Internacionali-dad (Buela-Casal, Zych, Sierra y Bermdez,2007; Zych y Buela-Casal, 2007, 2009, 2010).Igualmente, se ha reflexionado e investigadomucho en relacin con el proceso de contrata-cin y acreditacin de profesorado universitariopor parte de la Agencia Nacional de Evaluacinde la Calidad y Acreditacin (ANECA) (Buela-Casal, 2005a, 2007a, 2007b; Galn y Serrano,2006; Sierra, Buela-Casal, Bermdez y Santos-Iglesias, 2008, 2009a, 2009b) y tambin sobrelos criterios de evaluacin de la Educacin Supe-rior (Arana Uli, 2010; Bermdez, Castro, Sierray Buela-Casal, 2009; Betz, 2010; Buela-Casalet al., 2009; Buela-Casal, Guilln-Riquelme,Guglielmi, Quevedo-Blasco y Ramiro, 2011;Castro et al., 2010; Garca-Berro et al., 2010). Noobstante, son pocos los trabajos que se hayandedicado a analizar los criterios para la conce-sin de los sexenios.

    Desde el Real Decreto 1086/89 de 28 de agostode 1989, se establece que la evaluacin de la

    Arturo Galn e Izabela Zych

    118 Bordn 63 (2), 2011, 117-139

    16173 Bordn 63.2 (2) 19/5/11 15:13 Pgina 118

  • investigacin del profesorado universitario einvestigadores del Consejo Superior de Investi-gaciones Cientficas (CSIC) sea realizada por laComisin Nacional Evaluadora de la ActividadInvestigadora (CNEAI). En caso de la obtencinde una evaluacin positiva, la CNEAI reconoceel llamado complemento de productividad, tam-bin denominado tramo de investigacin o sexe-nio. Desde entonces, diferentes convocatoriasanuales han regido el proceso de evaluacin.

    Tal como comentaba De Miguel Daz (1997),miembro de uno de los Comits de la CNEAI enel campo de la Educacin, la evaluacin de laactividad investigadora se realiza a partir de losindicadores de la misma, sin analizar el trabajoen s. Por ello, el mismo autor resalta que en casode que los profesores presenten informacinincompleta acerca de los mismos, la probabilidadde conseguir una evaluacin positiva es baja. Portanto, el conocimiento de los criterios de evalua-cin de la Comisin es crucial para poder conse-guir el resultado deseado. En este sentido, uno delos objetivos del presente documento consiste enacercar dichos criterios al lector, analizando susignificado y posibles interpretaciones en elmbito de la Educacin. Dicho anlisis entraauna dificultad especial ya que, a diferencia deotras reas, los criterios de evaluacin y su apli-cacin para conseguir una evaluacin positiva noson claros. Por otra parte, la falta de claridad pue-de afectar a la coherencia entre convocatorias enel juicio evaluativo dentro de un mismo Comit,al interpretar los evaluadores de forma diferentelos mismos criterios de evaluacin, lo que puedeaumentar la tasa de tramos denegados y la confu-sin de la comunidad cientfica.

    Hace ya cerca de 15 aos, De Miguel Daz (1997)analiz las diferencias entre los subcampos delcampo sptimo en el que se incluan y se siguenincluyendo las Ciencias Sociales, Polticas, delComportamiento y de la Educacin, centrndosesobre todo en el ltimo. Segn dicho autor, losproblemas del subcampo de la Educacin estabanrelacionados con la escasez de publicaciones inter-nacionales, un elevado nmero de publicaciones

    nacionales con poco rigor cientfico y poca difu-sin. Por otra parte, el autor comenta que algunasreas de la Educacin son nuevas y tienen pocatradicin investigadora, variedad de enfoques bsi-cos o aplicados, presencia de trabajos de innova-cin/creacin en vez de investigacin, junto conlas diferencias debidas a contextos, conceptos deinvestigacin o pertenencia o no a equipos de in-vestigacin. Por todo ello, dicho autor sugiereque el subcampo de la Educacin puede verse des-favorecido en relacin con el resto de los subcam-pos en el mismo grupo. Sin embargo, De Miguelno abord dos de los problemas fundamentales: lapoca transparencia del sistema de evaluacin, queno permita a los solicitantes conocer las revistas yeditoriales que daban lugar a una evaluacin posi-tiva y, de acuerdo con Aliaga (2009), la cuestiona-ble aplicacin de dichos criterios por parte de losComits de Evaluacin.

    Un buen anlisis de los principios y criteriosutilizados por la CNEAI ha sido publicadorecientemente por Ruiz-Prez, Delgado Lpez-Czar y Jimnez-Contreras (2010). En ste seha puesto de manifiesto que, en trminos gene-rales, los criterios se han ido reorientando a lolargo de los aos, introduciendo nuevos ndicese incorporando los libros. Estas dos modifica-ciones parecen ser especialmente importantespara el campo de la Educacin.

    Por otra parte, hay una serie de trabajos relacio-nados con los tramos de investigacin que hansido publicados en nuestro pas. Buela-Casal(2005b) analiz la productividad cientfica en lasuniversidades espaolas, incluyendo los porcen-tajes de sexenios teniendo en cuenta diferentesuniversidades espaolas y las figuras de profesortitular y catedrtico de universidad, sin distin-guir, sin embargo, por campos de conocimiento.En otro trabajo de investigacin, se relacion elaumento en el nmero de artculos internaciona-les, entendidos como documentos incluidos en laWeb of Science, y el impacto de la CNEAI. Losautores de dicho estudio argumentan que elaumento es debido, entre otros factores, a que laComisin da preferencia a los artculos incluidos

    Anlisis de los criterios de la Comisin Nacional Evaluadora de la Actividad Investigadora (CNEAI)

    Bordn 63 (2), 2011, 117-139 119

    16173 Bordn 63.2 (2) 19/5/11 15:13 Pgina 119

  • en esta base de datos (Jimnez-Contreras, MoyaAnegn y Delgado Lpez-Czar, 2003). Otros tra-bajos se han realizado para reflexionar sobre loscriterios para la concesin de sexenios (EcheburaOdriozola, 2002; Fernndez Esquinas, Prez Yrue-la y Merchn Hernndez, 2005; Pelechado Barbe-r, 2002; Polaino Lorente, 2002; Roales-Nieto yLuciano, 2002; Salvador Coderch, Azagra Maloy Gmez Ligerre, 2008; Sanz Menndez, 1995).

    A pesar de la existencia de diferentes trabajosrelacionados con los criterios utilizados por laCNEAI mencionados anteriormente, el nicoaplicado especficamente al campo de la Educa-cin tiene casi 15 aos de antigedad. Debido aque dicho campo de conocimiento parece des-favorecido, en comparacin con otros de sumismo grupo y con otros campos, es crucialanalizar los criterios que permiten la obtencinde un tramo de investigacin en Educacin. Elpresente trabajo trata de abordar ese objetivo yanalizar los elementos que lo dificultan.

    No cabe duda de que en estos casi 15 aos se haproducido una aclaracin de los criterios paraconseguir una evaluacin positiva, as como uncomprensible aumento del nivel de exigencia.Sin embargo, como trataremos de demostrar, lasaltas tasas de evaluaciones negativas en Educa-cin en comparacin con otros campos reflejandos grandes problemas que no han sido debi-damente abordados por las autoridades de laCNEAI: a) la no aplicacin, por parte de los Co-mits de Evaluacin, de los propios criterios deevaluacin definidos por la CNEAI (Aliaga, 2009)tal y como se deduce del manifiesto firmado porlas reas de Educacin (ver anexo I); b) la faltade transparencia a la hora de informar sobre losmedios de difusin que generan, en la prctica,una evaluacin positiva. En esta lnea, Aliaga(2009: 26) afirma: [] revistas que cumplencon todos y cada uno de los requisitos del Apn-dice 1, son luego consideradas, durante el proce-so de evaluacin por parte de los Comits de laCNEAI, revistas de escasa repercusin cientfi-ca, aunque simultneamente sean premiadaspor su calidad por otros organismos del mismo

    Ministerio al que pertenece la CNEAI, y estnentre las de mayor impacto segn los estudiosempricos de IN-RECS. As las cosas, el proble-ma ya no parece ser slo de explicitacin de cri-terios, faceta en la que an quedara mucho poravanzar, sino tambin, directamente, del cum-plimiento de los mismos por parte de los inte-grantes de los Comits.

    Se propondrn, finalmente, algunas recomen-daciones para mejorar la tasa de tramos conse-guidos, tanto desde el punto de vista de la pol-tica de evaluacin de la CNEAI como desde elpunto de vista del solicitante.

    Mtodo

    Unidad de anlisis

    En el presente estudio, se han utilizado los docu-mentos relacionados con los criterios de evalua-cin para el reconocimiento de complementosde productividad disponibles en la pgina webde la CNEAI (http://www.educacion.es/horizon-tales/ministerio/organismos/cneai.html).

    Igualmente, se han utilizado los Boletines Ofi-ciales de Estado en los que se establecen crite-rios generales y/o especficos para el reconoci-miento de dichos complementos. Por ltimo,se ha consultado el Journal Citation Reports.

    Diseo

    Este trabajo se clasifica como estudio descriptivomediante anlisis de documentos (Montero yLen, 2007) y se ha redactado segn las normasestablecidas por Ramos-lvarez, Moreno-Fer-nndez, Valds-Conroy y Catena (2008).

    Procedimiento

    Despus de una minuciosa bsqueda de biblio-grafa al respecto, se ha realizado un anlisis

    Arturo Galn e Izabela Zych

    120 Bordn 63 (2), 2011, 117-139

    16173 Bordn 63.2 (2) 19/5/11 15:13 Pgina 120

  • exhaustivo del contenido de la pgina web de laCNEAI y de los Boletines Oficiales de Estado en losque se establecan criterios generales y especficospara el campo de la Educacin para la concesinde complementos de productividad (sexenios).Dichos criterios se han incorporado en una tabla,recogiendo a su vez las rdenes, Resoluciones oReales Decretos en los que aparecan. Igualmente,se han analizado los datos sobre los resultados dedicha evaluacin para la Educacin, disponibles enla web de la CNEAI. Adems, se calcularon resul-tados para cada rea dentro del campo de la Edu-cacin, a partir de los datos brutos disponibles enuna hoja de clculo de Microsoft Office Excel en lapgina de la CNEAI.

    Finalmente, se realiz una bsqueda de las revis-tas iberoamericanas de la Educacin incluidasen la Web of Science, apuntando en una tabla lospases donde se editan, su Factor de Impacto yen qu cuartil de su categora se encuentran.

    Resultados y discusin

    Los criterios generales y especficos en el campode la Educacin para el reconocimiento de com-plementos de productividad se recogen en tabla 1.

    Durante 16 largos aos, entre 1989 y 2005, la eva-luacin de la actividad investigadora del profeso-rado adoleci de falta de criterios pblicos, trans-parentes y objetivos que permitieran a lossolicitantes prever el resultado de la evaluacincon cierto grado de fiabilidad ms all de unagenrica e inconcreta referencia al JCR. Lanecesidad de aclarar y especificar los criterios parala evaluacin del profesorado en Espaa ya sehaba comentado en otros contextos, como, porejemplo, en el sistema de acreditacin (Buela-Casal, 2005a, 2007b) o de contratacin del profe-sorado (Galn y Serrano, 2006). Si bien es ciertoque en las reas ms prximas a las ciencias expe-rimentales y biosanitarias existan ya unos clarosreferentes internacionales para valorar el impactoy la calidad de la produccin cientfica, se no erael caso de muchas reas de Ciencias Sociales y

    Humanidades. Desde luego, en las Ciencias de laEducacin no exista ningn listado pblico yreconocido de revistas de calidad, siendo porcen-tualmente irrelevante el nmero de profesores(catedrticos incluidos) que publicaban en revis-tas incluidas en el SSCI del JCR. Por consiguien-te, hasta 2005, en el campo de la Educacin,tanto por tradicin como por la orientacinimprimida por los maestros responsables de for-mar a las nuevas hornadas de profesorado novel,el JCR era visto mayoritariamente como algo aje-no al mbito propio de produccin cientfica.

    No obstante, el paso de los aos fue transforman-do la poltica ministerial y de los responsables dela CNEAI, as como la mentalidad de los evalua-dores que se incorporaban a dicho organismo. Eneste sentido, desde la aprobacin de la LOU(2001), lo que se inici aos atrs como un com-plemento econmico individual de productivi-dad, se ha ido convirtiendo en el sello de calidadms reconocido y ms utilizado en Espaa, tan-to para la promocin profesional como para eldesempeo de ciertos cargos acadmicos de espe-cial relevancia. La consecuencia de ello ha sido unendurecimiento paulatino de los estndares parala evaluacin positiva. Esta posicin, que podratener su defensa, ha sido la fuente de un crecien-te malestar en las reas de Educacin, no tantopor el nivel de exigencia como por el absolutodesconocimiento de los criterios utilizados paraconsiderar a las revistas NO-JCR y las editorialesde libros como de reconocido prestigio. Nose comprende bien el motivo para no hacerpblicos los listados con las puntuacionesotorgadas a las revistas y editoriales por losComits de Evaluacin. La simple publicacinde la prctica evaluativa realizada por los Co-mits habra orientado a los solicitantes deconvocatorias posteriores, evitando las publi-caciones mal valoradas por dichos Comits.Por otra parte, los cambios constatados en loscriterios internos de evaluacin entre convo-catorias significaban cambios significativos enlas puntuaciones otorgadas a una mismapublicacin, prctica que ha dado lugar a cier-tos agravios comparativos.

    Anlisis de los criterios de la Comisin Nacional Evaluadora de la Actividad Investigadora (CNEAI)

    Bordn 63 (2), 2011, 117-139 121

    16173 Bordn 63.2 (2) 19/5/11 15:13 Pgina 121

  • Arturo Galn e Izabela Zych

    122 Bordn 63 (2), 2011, 117-139

    TABLA 1. Criterios generales y especficos en el campo de la Educacin para el reconocimiento de los sexenios

    Orden / Resolucin / Real Decreto Resumen de los criterios generales y especficos

    en educacin

    Real Decreto 1086/1989, de 28 de agosto de 1989, Criterios generales:

    sobre retribuciones del profesorado universitario Slo se menciona que se evala el rendimiento en la

    investigacin.

    Criterios especficos:

    No se incluyen.

    En general, no se incluyen criterios para la evaluacin

    de los tramos de investigacin.

    Orden de 2 de diciembre de 1994 por la que se Criterios generales:

    establece el procedimiento para la evaluacin Se tiene en cuenta la contribucin al progreso

    de la actividad investigadora en desarrollo del del conocimiento, la innovacin y creatividad de

    Real Decreto 1086/1989, de 28 de agosto, sobre las aportaciones

    retribuciones del profesorado universitario Tienen prioridad los trabajos formalmente

    cientficos e innovadores frente los descriptivos

    Resolucin de 5 de diciembre de 1994 de la Secretara o divulgativos.

    de Estado de Universidades e Investigacin por la que Los trabajos se dividen en ordinarios (libros,

    se establece el procedimiento para la evaluacin captulos de libros, prlogos, introducciones y

    de la actividad investigadora realizada por los miembros anotaciones a textos; artculos de vala cientfica;

    de las Escalas de Profesores de Investigacin, patentes, o modelos de utilidad, de importancia

    Investigadores Cientficos y Colaboradores Cientficos econmica demostrable) y extraordinarios.

    del Consejo Superior de Investigaciones Cientficas, (informes, estudios y dictmenes; trabajos tcnicos

    a efectos de reconocimiento del componente excepcional o artsticos; participacin relevante en exposiciones

    del complemento de productividad de prestigio, excavaciones arqueolgicas o

    catalogaciones; direccin de tesis doctorales de

    mritos excepcionales; comunicaciones a

    congresos, como excepcin).

    Las aportaciones ordinarias tienen prioridad y las

    extraordinarias se valoran excepcionalmente.

    Se consideran indicios de calidad (relevancia

    cientfica del medio, criterios internacionales si

    existen en la disciplina, referencias de otros autores,

    apreciacin del solicitante sobre la contribucin de su

    trabajo, reseas, datos de explotacin de patentes).

    Criterios especficos:

    No se menciona en ningn momento el campo de

    la Educacin; en cuanto a los criterios especficos

    que no hacen referencia a ningn campo en

    concreto se incluye lo siguiente:

    Se tiene en cuenta la situacin en la disciplina del

    solicitante.

    Se reitera que las aportaciones deben ser de

    reconocido prestigio o valor en su rea.

    Se aplicarn criterios internacionales de calidad si

    existen en el rea.

    16173 Bordn 63.2 (2) 19/5/11 15:13 Pgina 122

  • Anlisis de los criterios de la Comisin Nacional Evaluadora de la Actividad Investigadora (CNEAI)

    Bordn 63 (2), 2011, 117-139 123

    TABLA 1. Criterios generales y especficos en el campo de la Educacin para el reconocimiento de los sexenios (cont.)

    Orden / Resolucin / Real Decreto Resumen de los criterios generales y especficos

    en educacin

    Resolucin de 26 de octubre de 1995 de la Direccin Criterios generales:

    General de Investigacin Cientfica y Tcnica-Presidencia No se incluyen criterios generales.

    de la Comisin Nacional Evaluadora de la Actividad Criterios especficos:

    Investigadora, por la que se establecen los criterios No se especifican criterios para Educacin, pero s

    especficos en cada uno de los campos de evaluacin para el campo 7 Ciencias Sociales, Polticas, del

    Comportamiento y de la Educacin:

    Las cinco aportaciones deben ser ordinarias y

    suponer un progreso de la ciencia.

    Preferentemente artculos en revistas del Journal

    Citation Reports, aunque la Comisin podr

    reconocer la calidad de otras revistas segn un

    control de calidad de los artculos publicados.

    En las tesis, se tendrn en cuenta los trabajos

    publicados derivados de stas.

    En casos justificados, se podrn valorar trabajos

    de desarrollo tcnico, ej. estudios o informes.

    stos deben cumplir una serie de criterios y como

    mximo se pueden valorar dos aportaciones de este

    tipo.

    La participacin del solicitante debe ser activa.

    Las cinco aportaciones deben cumplir dichos

    criterios aunque pueden ser menos si son de

    especial relevancia.

    Resolucin de 6 de noviembre de 1996, de la Direccin Criterios generales:

    General de Enseanza Superior Presidencia de No se incluyen criterios generales.

    la Comisin Nacional Evaluadora de la Actividad Criterios especficos:

    Investigadora, por la que se establecen los criterios Nuevamente, no hay criterios especficos en el

    especficos en cada uno de los campos de evaluacin campo de la Educacin, aunque s se establecen para

    el campo 7. Los criterios son los mismos que en la

    resolucin de 26 de octubre de 1995, con la siguiente

    diferencia:

    Al menos una aportacin debe ser artculo en

    revistas del Journal Citation Reports, aunque la

    Comisin podr reconocer la calidad de otras

    revistas.

    16173 Bordn 63.2 (2) 19/5/11 15:13 Pgina 123

  • Arturo Galn e Izabela Zych

    124 Bordn 63 (2), 2011, 117-139

    TABLA 1. Criterios generales y especficos en el campo de la Educacin para el reconocimiento de los sexenios (cont.)

    Orden / Resolucin / Real Decreto Resumen de los criterios generales y especficos

    en educacin

    Resolucin de 25 de octubre de 2005, de la Presidencia Criterios generales:

    de la Comisin Nacional Evaluadora de la Actividad No se incluyen criterios generales.

    Investigadora, por la que se establecen los criterios Criterios especficos:

    especficos en cada uno de los campos de evaluacin Se mantienen los criterios de las resoluciones

    anteriores, introduciendo los siguientes cambios:

    Aunque se establezca que el nmero de autores no

    sea evaluable, se comenta que debe ser justificado

    por la complejidad.

    Se ampla el elenco de revistas de reconocida vala.

    El JCR deja de ser el nico criterio preferente. En

    esta lnea, se especifican con ms detalle (Apndice

    1 de la resolucin) los criterios de calidad de las

    revistas alternativas al Journal Citation Reports.

    Las revistas electrnicas se consideran cuando

    aparezcan en los listados del Journal Citation

    Reports.

    Se introducen los libros y como criterios de calidad

    de stos el nmero de citas, la editorial, la

    coleccin, las reseas y las traducciones.

    Se eliminan los apartados de tesis o trabajos de

    desarrollo tcnico referidos a todo el campo 7.

    Para que la evaluacin sea positiva, las cinco

    aportaciones deben cumplir los criterios, a

    excepcin de trabajos de especial calidad.

    Por primera vez se hace mencin especfica al

    campo de Ciencias de la Educacin en el que, para

    la evaluacin positiva, las aportaciones deben

    cumplir alguno de los siguientes criterios: a) que

    una sea un libro monogrfico de investigacin, b)

    que dos sean artculos del JCR o c) que tres sean

    artculos nacionales o internacionales que cumplan

    los criterios de calidad del Apndice 1.

    Resolucin de 17 de noviembre de 2006, de la Presidencia Criterios generales:

    de la Comisin Nacional Evaluadora de la Actividad No se incluyen criterios generales.

    Investigadora, por la que se establecen los criterios Criterios especficos:

    especficos en cada uno de los campos de evaluacin A continuacin se especifican los cambios con

    respecto a las resoluciones anteriores:

    Un elevado nmero de autores puede reducir la

    calificacin, a no ser que sea justificado por la

    complejidad del tema.

    Las revistas electrnicas estarn sujetas a los

    mismos criterios que las restantes.

    16173 Bordn 63.2 (2) 19/5/11 15:13 Pgina 124

  • Hemos citado algunas de las causas que podranexplicar los resultados de la evaluacin, lo quepuede quedar avalado por los propios datos dela CNEAI: en el periodo 1989- 2005, el 50% delos profesores de las reas del campo de la Edu-cacin (funcionarios sin incluir los titulares deescuela universitaria) nunca haba obtenido unsexenio. El porcentaje aumenta hasta el 58% sino ponderamos por el tamao relativo de las

    reas, uno de los ms bajos de todo el espectrocientfico espaol. Pero, al contrario de lo quepodra pensarse, si ampliamos el anlisis al per-odo posterior a 2005 (1989-2008), cuando te-ricamente se clarifican los criterios de evalua-cin, el porcentaje de profesores sin sexenio enlas reas de Educacin sube hasta el 66% (vergrficos 1 y 2), un fracaso ms de 30 puntosporcentuales por encima de la media en el resto

    Anlisis de los criterios de la Comisin Nacional Evaluadora de la Actividad Investigadora (CNEAI)

    Bordn 63 (2), 2011, 117-139 125

    TABLA 1. Criterios generales y especficos en el campo de la Educacin para el reconocimiento de los sexenios (cont.)

    Orden / Resolucin / Real Decreto Resumen de los criterios generales y especficos

    en educacin

    Resolucin de 6 de noviembre de 2007, de la Presidencia Criterios generales:

    de la Comisin Nacional Evaluadora de la Actividad No se incluyen criterios generales.

    Investigadora, por la que se establecen los criterios Criterios especficos:

    especficos en cada uno de los campos de evaluacin No hay cambios en relacin con la resolucin anterior.

    Resolucin de 11 de noviembre de 2008, de la Presidencia Criterios generales:

    de la Comisin Nacional Evaluadora de la Actividad No se incluyen criterios generales.

    Investigadora, por la que se establecen los criterios Criterios especficos:

    especficos en cada uno de los campos de evaluacin Se incluyen los libros y captulos de libros como

    aportaciones valoradas preferentemente.

    Se valoran tambin artculos en revistas de otras

    bases de datos nacionales o internacionales (por

    ejemplo, ERIH, INRECS, LATINDEX, SCOPUS,

    DICE-CINDOC, etc.) si cumplen los criterios de

    calidad a juicio del comit asesor. No obstante,

    contina existiendo el Apndice 1.

    Resolucin de 18 de noviembre de 2009, Criterios generales:

    de la Presidencia de la Comisin Nacional Evaluadora No se incluyen criterios generales.

    de la Actividad Investigadora, por la que se establec Criterios especficos:

    en los criterios especficos en cada uno de los campos Se incluyen artculos en revistas acreditadas por la

    de evaluacin FECYT entre los que pueden ser valorados.

    Resolucin de 23 de noviembre de 2010, de la Presidencia Criterios generales:

    de la Comisin Nacional Evaluadora de la Actividad Se crea un nuevo campo para la Transferencia del

    Investigadora, por la que se establece un nuevo campo conocimiento y de la Innovacin. La evaluacin en

    relativo a la transferencia de conocimiento e innovacin dicho campo puede ser solicitada por investigadores

    y se actualizan los criterios especficos en cada uno de los que ya tengan un tramo en otro campo cuando

    campos de evaluacin tengan mritos relacionados con la transferencia o

    innovacin podrn presentarse en el mismo como

    alternativa.

    Criterios especficos:

    No hay cambios en relacin con la resolucin anterior.

    16173 Bordn 63.2 (2) 19/5/11 15:13 Pgina 125

  • de campos (Agrait y Poves, 2009). Los resulta-dos detallados del informe de la CNEAI 1989-2005 confirman el problema especfico de lasreas de Educacin. Si la media general nacionalde concesin de sexenios era del 71%, la mediaen Educacin era tan slo del 38% (variandodesde el 20% de Didctica de la ExpresinMusical hasta el 57% del rea de Mtodos deInvestigacin y Diagnstico en Educacin).

    Otro de los aspectos que ha podido influir enesta altsima tasa de fracaso es la composicindel Comit Asesor en este campo: Ciencias dela Educacin, Comunicacin, Periodismo,Ciencias del Comportamiento, Sociologa yCiencia Poltica y de la Administracin. A lahora de establecer los criterios especficos deevaluacin, este campo se ha dividido en tresgrupos con criterios diferenciales:

    a) Sociologa y Ciencia Poltica y de laAdministracin.

    b) Ciencias del Comportamiento.c) Ciencias de la Educacin, Comunica-

    cin, Periodismo.

    Probablemente, la cercana temtica del campode la Educacin con la Psicologa y la mayor exi-gencia de artculos incluidos en el JCR por esta

    ltima (ya en 2005 se exigen al menos dos), ascomo el menor peso relativo de evaluadores deEducacin en el Comit, han podido contribuir ala utilizacin de unos criterios de evaluacin ale-jados de la forma de produccin real de la comu-nidad cientfica pedaggica. Como se expondrms adelante, la comunidad cientfica no criticaque exista un alto nivel de exigencia, sino que selamenta de que no se informe con claridad de laaplicacin de los criterios de evaluacin y de quese cambien stos sin informacin previa.

    Prosiguiendo con el anlisis de la tabla anterior,observamos que en 2005 se produce un cambiofundamental: la aparicin de criterios especficosde evaluacin por campo. En las reas de Cienciasde la Educacin se explicita lo que ya se venahaciendo: es posible conseguir un sexenio sinpublicar en el JCR. Sin embargo, se reproducetambin la fuente de la discordia: la publicacin enla resolucin del Apndice 1, que no es ms queun listado de criterios de calidad editorial de lasrevistas de impacto No-JCR. As, en la prctica,resulta materialmente imposible comprobar uno auno el cumplimiento de dichos criterios. En con-secuencia, la decisin sobre la puntuacin a otor-gar a cada artculo (se utiliza una escala 0-10) sebasa en otros criterios diferentes y desconocidospor los solicitantes de los sexenios. Una opcinms sencilla habra sido utilizar algo similar y yaobjetivado, como el nmero de criterios editoria-les cumplidos segn el catlogo LATINDEX (dis-ponible desde 2002). En este sentido se expresanAliaga (2009) y el comunicado de las sociedadescientficas de Educacin (anexo I), indicando quesolicitantes que se han presentado a evaluacinacreditando que las revistas en las que publicabancumplan los criterios del Apndice 1, se hanencontrado con una puntuacin inferior a 6 y consu tramo de investigacin rechazado. Nos referi-mos a los artculos sin entrar en los libros y cap-tulos de libros, mbito an ms complejo.

    Desde 2005, las resoluciones con los criterios deevaluacin varan poco, corrigen algunos erro-res iniciales (consideracin de las revistas elec-trnicas), aunque tambin producen nueva

    Arturo Galn e Izabela Zych

    126 Bordn 63 (2), 2011, 117-139

    GRFICO 1. Porcentajes de profesores por nmero de

    sexenios en Educacin y otras reas hasta el 2009

    0

    10

    20

    30

    40

    50

    60

    70

    %NP+ 0Sex.

    %NP

    % 0Sex.

    % 1Sex.

    % 2Sex.

    % 3Sex.

    % 4Sex.

    % 5Sex.

    % 6Sex.

    Educacin Resto de reas

    16173 Bordn 63.2 (2) 19/5/11 15:13 Pgina 126

  • confusin (ambigedad en torno a la penaliza-cin en funcin del nmero de autores). En2008 aparece un nuevo cambio que puede con-siderarse importante en Educacin: la aparicinde bases de datos distintas al JCR (IN-RECS,ERIH, Scopus, Latindex, etc.) para considerarrevistas de impacto. Este cambio podra debersea la peticin de mayores garantas de transpa-rencia y objetividad que demandan las reas deEducacin a la CNEAI a travs de la SociedadEspaola de Pedagoga. En un grupo de trabajointerdisciplinar sin precedentes, las grandesreas y asociaciones pedaggicas consensuan loscriterios mnimos que deberan cumplir las eva-luaciones de la CNEAI y que son entregadas demodo informal a los responsables de la CNEAIen 2008. Ante la falta de respuesta adecuada, seenva formalmente un manifiesto en febrero de

    2009 (ver anexo I). En este manifiesto se indi-can todas las bases de datos aadidas en la reso-lucin de 2008, pero se va mucho ms all, yaque se solicita que se hagan pblicos los rangosde puntuacin que atribuirn los Comits a lasrevistas, en funcin del puesto que posean lasrevistas en las bases de datos referenciadas.

    Parece claro que un sistema de evaluacin de estetipo reducira al mnimo las posibilidades de arbi-trariedad por parte de los Comits de Evaluacin,permitira autoevaluarse a los solicitantes po-tenciales de sexenios y aumentara considerable-mente, en consecuencia, la tasa de evaluacionespositivas, adems de orientar con mayor rigor laproduccin cientfica en la lnea deseada por losadministradores educativos. Adems, transpa-rencia y objetividad se antojan deseables en un

    Anlisis de los criterios de la Comisin Nacional Evaluadora de la Actividad Investigadora (CNEAI)

    Bordn 63 (2), 2011, 117-139 127

    GRFICO 2. Porcentajes de profesores por nmero de sexenios y por reas en Educacin hasta el 2009

    Nota: 805 - Teora e Historia de la Educacin; 625 - Mtodos de Investigacin y Diagnst. en Educ.; 215 - Didactica y Organiza-

    cin Escolar; 187 - Didctica de la Expresin Corporal; 189 - Didctica de la Expresin Musical; 193 - Didctica de la Expresin

    Plstica; 195 - Didctica de la Lengua y la Literatura; 200 - Didctica de la Matemtica; 205 - Didctica de las Ciencias Experi-

    mentales; 210 - Didctica de las Ciencias Sociales; 245 - Educacin Fsica y Deportiva.

    0

    10

    20

    30

    40

    50

    60

    70

    80

    805 625 215 187 189 193 195 200 205 210 245

    % NP % 0 Sex. % 1 Sex. % 2 Sex. % 3 Sex. % 4 Sex. % 5 Sex. % 6 Sex.

    16173 Bordn 63.2 (2) 19/5/11 15:13 Pgina 127

  • Arturo Galn e Izabela Zych

    128 Bordn 63 (2), 2011, 117-139

    TA

    BL

    A2.

    Res

    ult

    ados

    de

    la e

    valu

    aci

    n d

    e la

    CN

    EA

    I p

    ara

    dif

    eren

    tes

    rea

    s y

    par

    a el

    tot

    al e

    n e

    l ca

    mp

    o d

    e la

    Ed

    uca

    cin

    has

    ta e

    l 2009

    re

    aN

    d

    eT

    otal

    iSiE

    NP

    0 1

    2 3

    45

    6

    pro

    feso

    res

    sexe

    nio

    sse

    xse

    xse

    xse

    xse

    xse

    xse

    x

    180

    5 -

    Teo

    ria

    e H

    isto

    ria

    de l

    a E

    duca

    cin

    31

    339

    80,

    280,

    0769

    6272

    4636

    178

    3

    262

    5 -

    Mt

    odos

    de

    Inve

    stig

    aci

    n

    y D

    iagn

    sti

    co e

    n E

    duca

    cin

    21

    822

    80,

    250,

    0645

    5356

    3521

    25

    1

    321

    5 -

    Did

    cti

    ca y

    Org

    aniz

    aci

    n E

    scol

    ar

    520

    357

    0,16

    0,02

    183

    143

    103

    4724

    128

    0

    418

    7 -

    Did

    cti

    ca d

    e la

    Exp

    resi

    n C

    orpo

    ral

    191

    410,

    050,

    0113

    231

    1611

    10

    00

    518

    9 -

    Did

    cti

    ca d

    e la

    Exp

    resi

    n M

    usi

    cal

    128

    130,

    020

    9027

    83

    00

    00

    619

    3 -

    Did

    cti

    ca d

    e la

    Exp

    resi

    n P

    lst

    ica

    152

    340,

    040,

    0110

    330

    106

    11

    10

    719

    5 -

    Did

    cti

    ca d

    e la

    Len

    gua

    y la

    Lit

    erat

    ura

    31

    510

    00,

    070

    173

    8332

    1511

    01

    0

    820

    0 -

    Did

    cti

    ca d

    e la

    Mat

    emt

    ica

    205

    113

    0,12

    0,01

    9746

    3312

    133

    10

    920

    5 -

    Did

    cti

    ca d

    e la

    s C

    ien

    cias

    Exp

    erim

    enta

    les

    198

    136

    0,15

    0,05

    6856

    3621

    115

    10

    1021

    0 -

    Did

    cti

    ca d

    e la

    s C

    ien

    cias

    Soc

    iale

    s16

    382

    0,10

    0,02

    7052

    1714

    53

    20

    1124

    5 -

    Edu

    caci

    n F

    sic

    a y

    Dep

    orti

    va

    146

    900,

    180,

    0946

    3347

    173

    00

    0

    Tot

    al

    2.54

    91.

    592

    --

    1.07

    661

    643

    022

    712

    643

    274

    Med

    ia o

    por

    cen

    taje

    231,

    730,

    620

    042

    %24

    %17

    %9%

    5%2%

    1%0%

    Not

    a: T

    abla

    de

    elab

    orac

    in

    prop

    ia a

    par

    tir

    de l

    os d

    atos

    dis

    poni

    bles

    en

    la W

    eb d

    e la

    CN

    EA

    I. S

    ex=

    sexe

    nio;

    iS

    = n

    mer

    o de

    sex

    enio

    s co

    nseg

    uido

    s/n

    mer

    o de

    sex

    enio

    s po

    sibl

    es. A

    su

    vez,

    el

    nm

    ero

    de s

    exen

    ios

    posi

    bles

    = (

    Eda

    d

    27)/

    6 (d

    ebid

    o a

    que

    la e

    dad

    med

    ia d

    e in

    icio

    de

    publ

    icac

    ione

    s es

    de

    27 a

    os)

    . iE

    es

    un i

    ndic

    ador

    bin

    ario

    al

    que

    se a

    sign

    a 1

    si i

    S es

    may

    or o

    igu

    al a

    1 y

    0 s

    i iS

    es

    men

    or a

    1, i

    ndic

    ando

    de

    este

    mod

    o el

    xi

    to c

    ompl

    eto

    en l

    as e

    valu

    acio

    nes.

    Par

    a m

    s i

    nfor

    mac

    in,

    va

    se A

    grai

    t y

    Pove

    s (2

    009)

    .

    16173 Bordn 63.2 (2) 19/5/11 15:13 Pgina 128

  • sistema de evaluacin sumativo que puede limi-tar los derechos de los ciudadanos. La utilizacinde un baremo objetivado de evaluacin ayudaratambin a los evaluadores a motivar con mayoracierto sus decisiones, especialmente en los casosde evaluacin negativa. Todos los problemas co-mentados anteriormente se ven reflejados en losresultados de la evaluacin de los tramos de inves-tigacin en Educacin por parte de la CNEAI. Latabla 2 recoge dichos resultados, calculados a par-tir de los datos disponibles en la pgina web de laComisin, para cada rea por separado y para elcampo de Educacin en su totalidad.

    Tal como se puede apreciar en la tabla 2, el 42%de los profesores nunca se han presentado paraun sexenio, un 24% s se ha presentado pero notiene ningn sexenio, un 17% tiene un sexenio,un 9% tiene dos, tan slo un 5% tiene tres, un 2%tiene cuatro, un 1% tiene cinco y un 0% tiene seissexenios. Por tanto, la mayora de los profesoresen Educacin no tiene ningn sexenio.

    Conclusiones y propuestas paramejorar la poltica de evaluacin

    1. La tendencia y la necesidad de competitivi-dad. Sera hacerse un flaco favor solicitaren el campo de Ciencias de la Educacinque se utilicen unos criterios menos exi-gentes que en otros campos cientficos(JCR). Nos encontramos en la era de laglobalizacin, en la que debemos com-petir con los mejores. Confrontar nues-tro trabajo con la comunidad cientficainternacional en el idioma que se haimpuesto para tal fin, slo puede ser unacicate para mejorar nuestro trabajo,aunque requiera un mayor esfuerzo ini-cial. En este sentido, la mejor recomen-dacin para el profesorado de Educa-cin, en las condiciones actuales, espublicar en el JCR. Adems, el esfuerzoeditorial de algunas revistas iberoameri-canas permite publicar en espaol endicha base de datos (ver anexo II).

    2. Necesidad de una evaluacin que garanticela claridad, transparencia y objetividad.Los polticos de la educacin universita-ria espaola han optado, para impulsar laproductividad investigadora de calidad,por un sistema de incentivos por mritosindividuales con efectos econmicos yefectos en la promocin y posible desem-peo de cargos. Una evaluacin que pue-de conllevar la limitacin de derechosindividuales en la funcin pblica cuan-do los resultados son negativos, debehacerse con mximas garantas de respe-to a los derechos del profesorado. Estoexige transparencia en los criterios deevaluacin y en su modo de aplicarlos enla prctica, as como procurar la mximaobjetividad y profesionalidad en las deci-siones de las comisiones evaluadoras. Eneste sentido, sealamos un cambio quemejorara dichos aspectos: eliminar elapndice 1 de las resoluciones y susti-tuirlo por un baremo claro, objetivo ytransparente, similar al propuesto en elmanifiesto de las reas y sociedades cien-tficas pedaggicas (ver puntos 3 y 4 delanexo I). Se propone tambin publicitarcmo se estn puntuando a las editoria-les de libros o establecer igualmente unbaremo de las mismas.Asimismo, sera conveniente que lasevaluaciones negativas y las contestacio-nes a los recursos de alzada estuvieranespecialmente revisadas y adecuada-mente motivadas; es un derecho inexcu-sable del solicitante, una oportunidadpara remarcar la racionabilidad de laevaluacin y una orientacin fundamen-tal para minimizar en el futuro los erro-res de los solicitantes. Si para ello esnecesario subdividir el campo 7 en sub-campos (como se hizo en su da con elcampo 6), debera plantearse llevarlo aefecto cuanto antes.

    3. Una poltica pedaggica: definicin de crite-rios ex-ante. Igual que a un estudiante nose le cambian los criterios de evaluacin el

    Anlisis de los criterios de la Comisin Nacional Evaluadora de la Actividad Investigadora (CNEAI)

    Bordn 63 (2), 2011, 117-139 129

    16173 Bordn 63.2 (2) 19/5/11 15:13 Pgina 129

  • da antes del examen, cambiar los criteriosde evaluacin para la consecucin de untramo de investigacin en una convocato-ria que afecta a la produccin de, almenos, seis aos previos, puede afectar deforma muy negativa al resultado. As,podemos ver, por ejemplo, que en la lti-ma convocatoria de 2010, en el campo deCiencias del Comportamiento, se exigeque uno de los tres artculos JCR tenga unimpacto medio o alto. Los solicitantesproducen y preparan la solicitud del sexe-nio conforme a los parmetros de evalua-cin conocidos. Por ello, sera recomen-dable que, con el objetivo de incentivar laproduccin cientfica, se informase a lacomunidad de profesores de los cambios arealizar con una antelacin de unos cincoaos, de modo que el profesorado tengatiempo y oportunidades de adaptar suscontribuciones a las nuevas exigencias. Lafalta de dicha informacin puede desem-bocar en el rechazo y abandono de la acti-vidad investigadora (como demuestranlos datos) y propiciar que parte del profe-sorado deje de investigar.

    4. Una apuesta arriesgada: tcnicos evalua-dores + expertos consultores. Si se danlas condiciones apuntadas en los prra-fos anteriores, quiz podra ahorrarsemucho tiempo de los evaluadores ydinero. Con criterios claros y objetivos,la primera baremacin de las contribu-ciones podran realizarla y motivarla tc-nicos evaluadores de la administracin,quedando las comisiones actuales comoconsultoras externas en caso de duda delos tcnicos y como revisoras y acredita-doras de la evaluacin final de cada casoindividual. Esta propuesta seguramentetenga la oposicin de quienes piensenque slo los profesores ms cualificadospueden realizar esta labor. Sin embargo,debe recordarse que no se trata, en lamayora de los casos, de una tarea dealta especializacin acadmica, ya queno se leen ni se valora la calidad de los

    trabajos (basndose en la previa evalua-cin positiva del trabajo por parte de losdos referees de la revista en cuestin),sino el medio de difusin de los mismos,lo que puede hacerse segn criterios ob-jetivos externos aplicables por tcnicosno acadmicos. La labor de los miembrosde las comisiones servira para dirimirlos casos raros que requieran conoci-mientos ms all de los tcnicos y paracorroborar, matizar o corregir las pun-tuaciones individuales finales asignadaspor los tcnicos evaluadores.

    5. La calidad de las revistas cientficas espa-olas y la difusin de la ciencia en espaol.Durante algunos aos, siguiendo patro-nes de evaluacin propios de las cienciasexperimentales, se han despreciado lostrabajos publicados en revistas espa-olas. Aunque ya hemos defendido laimportancia de publicar en ingls enrevistas de alto impacto, no podemosdespreciar que, en Educacin, Espaatiene una clara influencia en el mbitoiberoamericano, por lo que la produc-cin cientfica en espaol no slo nodebe despreciarse, sino que debe poten-ciarse hasta competir en igualdad decondiciones con la produccin cientficaen lengua inglesa. En caso contrario, losmejores trabajos siempre sern publica-dos en las revistas extranjeras, dejandolos trabajos de segundo orden para lasespaolas. Los esfuerzos realizados porgrupos como los que elaboraron IN-RECS, RECYT, Latindex, etc., y la inclu-sin de algunas revistas espaolas en elJCR, suponen un gran avance al evaluary ayudar a mejorar y potenciar las revis-tas espaolas e iberoamericanas. Endeterminados campos, sera convenienteque la CNEAI favoreciera tambin lapublicacin de trabajos en las revistas enlengua espaola de calidad contrastada,aunque no pertenezcan al JCR. Tal comose ha demostrado en algunos estudioscientficos, una publicacin internacional

    Arturo Galn e Izabela Zych

    130 Bordn 63 (2), 2011, 117-139

    16173 Bordn 63.2 (2) 19/5/11 15:13 Pgina 130

  • no es igual que una extranjera y no essinnimo de revista incluida en el JCR(Zych y Buela-Casal, 2007, 2009, 2010).

    6. Apostar por la actual plantilla de profeso-res: formacin y potenciacin de los sexe-nios vivos. Algunos problemas en elactual sistema de evaluacin de los tra-mos de investigacin han conducido amuchos profesores a descartar una de lastareas ms importantes de su rol o, sim-plemente, a hacer su trabajo investigadorsin someterse al control externo de suactividad. La poltica evaluadora de laCNEAI debe plantearse, como hemosdicho en el punto 3, con efectos orienta-dores a futuro. Una vez decidida estapoltica, sera conveniente difundirla dela forma ms eficaz posible, con la ayudade los vicerrectorados de investigacinde las universidades. Las acciones forma-tivas deberan ir especialmente dirigidasal profesorado joven y a los que supues-tamente se han retirado de la actividadde investigacin. La orientacin a estosprofesores sobre su futura produccincientfica y la transmisin de unos crite-rios claros y objetivos al respecto, podrahacer cambiar la actitud de los quema-dos. Para ello, sera tambin importantevalorar en la poltica interna de las uni-versidades (por ejemplo, en la evalua-cin de los grupos de investigacin,direccin de becarios o los incentivosindividuales) tanto la acumulacin desexenios como la tenencia de un sexe-nio vivo, es decir, estar en posesin delltimo sexenio posible, independiente-mente de la situacin anterior. Estopodra ser un acicate para replantearsela va investigadora de estos profesores.

    7. Algunos efectos indeseados del nfasis en laproduccin investigadora. No toda la comu-nidad cientfica comparte la nueva polticade incentivacin y control basada en eva-luaciones externas. Ciertas crticas se cen-tran en la excesiva burocratizacin y con-trol del trabajo del profesor universitario,

    que constantemente debe estar rindiendocuentas, como si no hubiera confianza porparte de las autoridades en su desempeoprofesional. La necesidad de cumplir cier-tos requisitos o, dicho de otra forma, derellenar las mltiples casillas de las aplica-ciones de evaluacin para conseguir unapromocin o un incentivo, pueden llegar ahacer descuidar una de las tareas esencia-les de un profesor: el estudio profundodisciplinar, la reflexin crtica sobre sudisciplina, en pro de cumplir las mlti-ples exigencias de investigacin, docencia,gestin, formacin (Fernndez, Carballo yGaln, 2010), estancias en el extranjero,direccin de trabajos, innovacin, transfe-rencia del conocimiento, etc. En la mismalnea, los jvenes profesores, conscientesde dichos requisitos para su progresinprofesional, centran sus energas en ello,minimizando otras actividades de forma-cin igualmente importantes como el tra-bajo con su director o las tareas docentes.Tambin los profesores senior, que obser-van que la productividad investigadora es,con gran diferencia, mucho ms valoradaque la actividad docente, corren el riesgode reducir el tiempo dedicado a esta lti-ma, haciendo disminuir la calidad docenteque reciben nuestros estudiantes. Final-mente, otro de los efectos indeseados depublicar en un grupo de revistas previa-mente seleccionadas es la posible prdidade cierto grado de libertad de ctedra. Losconsejos editoriales marcan sus lneas ytemas prioritarios, as como la orientacinpreferida de los artculos. De esta forma,algunos temas de investigacin no intere-san, lo que reduce la oportunidad de losinvestigadores para dedicarse a determina-das lneas de su preferencia.

    La vida acadmica del profesor universitario esapasionante y llena de posibilidades. La necesi-dad estructural del ser humano de justicia y ver-dad se manifiesta an con ms fuerza cuando seemite un juicio sobre su mrito o su capacidad

    Anlisis de los criterios de la Comisin Nacional Evaluadora de la Actividad Investigadora (CNEAI)

    Bordn 63 (2), 2011, 117-139 131

    16173 Bordn 63.2 (2) 19/5/11 15:13 Pgina 131

  • Anexo I

    Manifiesto sobre la Evaluacin de sexenios en Ciencias de la Educacin

    Al Coordinador General de la CNEAI

    Las cifras relativas a la concesin de tramos de investigacin en el campo de las Ciencias de la Edu-cacin arrojan un resultado preocupante, puesto que el porcentaje de profesores con todos los sexe-nios posibles no llega al 17%, aunque hay variaciones en funcin de las reas de conocimiento (veranexo).

    Por este motivo, las asociaciones y grupos abajo firmantes, exponemos las siguientes reflexiones ypropuestas para contribuir a la mejora del sistema de evaluacin de la produccin investigadora ennuestras reas de conocimiento:

    1. Un buen sistema de evaluacin de mritos debe ser lo ms objetivo y transparente posible. Enla actualidad, en las Ciencias de la Educacin, ms all del Social Sciencies Journal Citation Report(JCR del ISI), no son pblicos los referentes utilizados por el Comit 7 para evaluar revistas oeditoriales positivamente (puntuacin superior a 6). En ocasiones, incluso las contribucionespublicadas en revistas que cumplen los criterios del Apndice 1 de la convocatoria, no alcanzanla puntuacin mnima de 6 puntos.

    2. El avance en la produccin investigadora de impacto requiere unos criterios de evaluacinpblicos y suficientemente detallados como para que la comunidad cientfica pueda produ-cir en la direccin adecuada en funcin de las estrategias nacionales e internacionales y res-petando la libertad de ctedra e investigacin.

    3. Somos conscientes de la escasa tradicin en nuestras reas respecto a la publicacin en revis-tas consideradas de impacto internacional, en concreto, en revistas del ISI (SS-JCR). Nopodemos trasladar acrticamente, sin embargo, la forma de publicar de las Ciencias Experi-mentales a las Ciencias Sociales (hay grandes diferencias como el nmero de revistas dispo-nibles, inters local o de poco inters para el mbito anglosajn de muchos estudios, etc.).Sin duda, una forma de potenciar esta dimensin internacional es su obligatoriedad para con-seguir un sexenio. Sin embargo, estos cambios no se producen a corto plazo, sino tras un ade-cuado recorrido de informacin y formacin en esta lnea y deben, en todo caso, respetar laspeculiaridades de las distintas reas de conocimiento relacionadas con la educacin.

    (Galn, 2007). El profesor debe dar respuesta asus cometidos fundamentales, entre los que estla realizacin de una produccin cientfica con-trastada de calidad. Sin embargo, es exigible quelas reglas del juego estn claras para todos y queel nivel de exigencia investigadora sea coherentecon el resto de obligaciones del profesorado, detal modo que no se convierta en la excusa paradescuidar la docencia y la participacin en la vidauniversitaria. Por otra parte, los incentivos deri-vados de la creciente presin evaluativa deben ser

    proporcionales al enorme trabajo que suscitan. Sideseamos una plantilla de profesores excelentes,se les debe reconocer como tales en todos losaspectos. El coste cero se antoja contraproducen-te para conseguir la mejora. Finalmente, si lainvestigacin es importante, probablemente losea ms la capacidad del profesor para entrar enrelacin con los alumnos y contribuir a su pasinpor el conocimiento: no olvidemos, entre buro-cracia, controles y baremos, la verdadera misinde la universidad y de sus profesores.

    Arturo Galn e Izabela Zych

    132 Bordn 63 (2), 2011, 117-139

    16173 Bordn 63.2 (2) 19/5/11 15:13 Pgina 132

  • Por ello, y sabiendo la importancia de la internacionalizacin de la produccin cientficaespaola en educacin, creemos que se podra proponer, a medio plazo (6-8 aos) la obliga-toriedad de presentar un artculo en una revista perteneciente a ndices internacionales comoel SS-JCR, ERIH o similares, para conseguir la evaluacin positiva de un tramo de investigacin.Estos ndices deben ser considerados en igualdad de condiciones para evitar el sesgo anglosa-jn que hasta ahora caracteriza a los ndices norteamericanos y dar cabida a publicaciones cien-tficas europeas de prestigio.En todo caso, para garantizar la objetividad de la evaluacin, a ttulo de ejemplo, la CNEAIpodra publicar un baremo como el siguiente (la puntuacin dentro de la horquilla deberaasignarse tambin conforme a criterios objetivos):a) Primer tercio JCR o grupo A ERIH: 9-10 puntos.b) Segundo tercio JCR o grupo B ERIH: 8-9 puntos.c) Tercer tercio JCR o grupo C ERIH: 7-8 puntos.

    4. Sin embargo, no debemos caer en el absurdo de desprestigiar nuestros excelentes canales dedifusin cientfica y debe impulsarse el conocimiento de las publicaciones espaolas de reco-nocido prestigio por parte de la comunidad investigadora nacional e internacional. No pode-mos obviar que, en nuestras reas, Espaa sigue siendo un referente en el mbito internacionaliberoamericano. Cada vez son ms conocidos los distintos intentos de evaluar la calidad cien-tfica de nuestras revistas en ndices ms o menos cuantitativos: IN-RECS (EC3, Universidad deGranada), DICE-RESH (MEC-ANECA), FECYT (RECYT), MIAR (Universidad de Barcelona),ISOC (CINDOC) o LATINDEX, entre otros.En esta direccin, como indicamos en el punto anterior, podra publicarse un baremo paralas revistas cientficas espaolas de prestigio de este tipo:a) Primer tercio en los principales ndices como los citados en el punto 4: 8-9 puntos.b) Segundo tercio: 6-7 puntos.c) Tercer tercio: 3-5 puntos.

    5. Para completar estos ndices y dar lugar a un listado nico de revistas y editoriales que ase-gure la transparencia, se propone que la CNEAI haga un estudio sobre las puntuacionesasignadas a revistas y editoriales presentadas por los solicitantes de Ciencias de la Educa-cin en los tres ltimos aos y haga pblica la horquilla de puntuaciones asignadas a cadauna de ellas.

    6. Los criterios y baremos pblicos que tendran que utilizarse en la evaluacin, deberan mante-nerse vigentes durante un perodo de tiempo suficiente (5 aos), de manera que permita a losinvestigadores orientar su produccin. En todo caso, se evitar la publicacin de criterios deevaluacin con efectos retroactivos.

    7. El nmero de autores de las publicaciones no debera ser un criterio que penalice la puntua-cin. Los equipos de investigacin son fundamentales para la concesin y realizacin deproyectos y debe apoyarse, en consecuencia, la publicacin en equipo. En cualquier forma,debe hacerse pblica la influencia de este aspecto en la evaluacin.

    8. En el mismo sentido, y dada la transversalidad de algunas de nuestras reas, no debe penali-zarse la publicacin interdisciplinar en revistas de otras reas (Psicologa, Sociologa, Medi-cina). Ms bien debera ser al contrario, primar la presencia de este tipo de trabajos.

    9. Dado que se trata de evaluar la produccin investigadora, debera tenerse en cuenta, dehecho, el curriculum investigador de los solicitantes y su participacin en equipos competi-tivos, especialmente en los casos dudosos.

    10. Al igual que sucede en otros campos disciplinares de la CNEAI, la evaluacin del primer sexeniode investigacin podra realizarse con una mayor grado de flexibilidad.

    Anlisis de los criterios de la Comisin Nacional Evaluadora de la Actividad Investigadora (CNEAI)

    Bordn 63 (2), 2011, 117-139 133

    16173 Bordn 63.2 (2) 19/5/11 15:13 Pgina 133

  • 10. Finalmente, sugerimos que las contestaciones a los numerosos recursos de alzada estn debi-damente motivadas, ya que la situacin contraria est produciendo una cierta sensacin de inde-fensin e inseguridad jurdica.

    Madrid, febrero de 2009

    Documento aprobado por las juntas directivas de:

    Sociedad Espaola de Pedagoga Asociacin Interuniversitaria de Investigacin Pedaggica (AIDIPE) Reunin Estatal del rea de Didctica y Organizacin Escolar Seminario Interuniversitario de

    Teora de la Educacin Sociedad Espaola de Educacin Comparada Sociedad Espaola de Historia de la Educacin

    Arturo Galn e Izabela Zych

    134 Bordn 63 (2), 2011, 117-139

    Consecucin de sexenios por rea y global en Ciencias de la Educacin

    rea N de Profesores % todos % parte A + B % sin

    profesores con los sexenios de los sexenios

    todos los presentados sexenios + no

    sexenios (A) (B) (C)

    1. 805 - Teora e Historia

    de la Educacin 301 80 27 33 60 40

    2. 625 - Mtodos de Investigacin

    y Diagnstico en Educacin 205 52 25 33 58 42

    3. 215 - Didctica y Organizacin

    Escolar 387 82 21 27 48 52

    4. 187 - Didctica de la Expresin

    Corporal 69 9 13 12 25 75

    5. 189 - Didctica de la Expresin

    Musical 31 2 6 17 23 77

    6. 193 - Didctica de la Expresin

    Plstica 55 8 15 18 33 67

    7. 195 - Didctica de la Lengua

    y la Literatura 131 18 14 28 42 58

    8. 200 - Didctica de la Matemtica 80 17 21 40 61 39

    9. 205 - Didctica de las Ciencias

    Experimentales 113 27 24 36 60 40

    10. 210 - Didctica de las Ciencias Sociales 70 8 11 39 50 50

    11. 245 - Educacin Fsica y Deportiva 122 37 30 10 40 60

    Media global por reas 16,75 25 41,75 58,25

    Fuente: CNEAI. Periodo: 1989-2005.

    16173 Bordn 63.2 (2) 19/5/11 15:13 Pgina 134

  • Referencias bibliogrficas

    ALIAGA, F. (2009). La evaluacin de la actividad investigadora del profesorado universitario: contraste entre intencio-

    nes y hechos. En J. JORNET (ed.), La letra sin sangre entra. Valencia: Universidad de Valencia, 19-31.

    ARANA Uli, L. (2010). La importancia de la educacin en la estrategia estatal de innovacin. Aula Abierta, 38, 41-52.

    BERMDEZ, M. P.; CASTRO, A.; SIERRA, J. C. y BUELA-CASAL, G. (2009). Anlisis descriptivo transnacional de los estu-

    dios de doctorado en el EEES. Revista de Psicodidctica, 14, 193-210.

    BETZ, B. (2010). Anlisis de las fortalezas institucionales para la contratacin de investigadores. Aula Abierta, 38, 65-

    74.

    BUELA-CASAL, G. (2005a). El sistema de habilitacin nacional: criterios y proceso de evaluacin. Anlisis y modifica-

    cin de conducta, 31, 136-137.

    BUELA-CASAL, G. (2005b). Situacin actual de la productividad cientfica de las universidades espaolas. International

    Journal of Clinical and Health Psychology, 5, 175-190.

    BUELA-CASAL, G. (2007a). Consideraciones metodolgicas sobre el procedimiento de acreditacin y del concurso de

    acceso a cuerpos de funcionarios docentes universitarios. Revista Electrnica de Metodologa Aplicada, 12, 1-14.

    Anlisis de los criterios de la Comisin Nacional Evaluadora de la Actividad Investigadora (CNEAI)

    Bordn 63 (2), 2011, 117-139 135

    Ttulo Pas Factor Cuartil de

    de Impacto su categora

    2009

    Bolema-Mathematics Education Bulletin-Boletim

    de Educacao Matematica Brasil Pendiente Pendiente

    Cultura y Educacin Espaa Pendiente Pendiente

    Educacin XX1 Espaa Pendiente Pendiente

    Ensenanza de las Ciencias Espaa Pendiente Pendiente

    ESE-Estudios sobre Educacin Espaa Pendiente Pendiente

    Infancia y Aprendizaje* Espaa 0,441 Cuarto

    Movimento Brasil Pendiente Pendiente

    Porta Linguarum Espaa Pendiente Pendiente

    Revista de Educacin Espaa Pendiente Pendiente

    Revista Espanola de Pedagoga Espaa 0,245 Cuarto

    Revista de Psicodidctica* Espaa 0,414 Cuarto

    Revista Latinoamericana de Investigacion en Matemtica

    Educativa-Relime Mxico Pendiente Pendiente

    Revista Lusofona de Educaao Portugal 0,114 Cuarto

    Teoria de la Educacin Espaa 0,19 Cuarto

    Nota: Revistas incluidas en la categora Education & Educational Research. Con el asterisco se han incluido revistas en la catego-

    ra Psychology Educational y Psychology Developmental (ya que se entiende que son reas afines y se publican algunos artculos

    de Educacin). No hay revistas iberoamericanas incluidas en Education Special. La mayora de las revistas ha sido incluida recien-

    temente y, por tanto, todava no se conoce su Factor de Impacto o su cuartil.

    Anexo II

    Revistas iberoamericanas de Educacin incluidas en la web of science

    16173 Bordn 63.2 (2) 19/5/11 15:13 Pgina 135

  • BUELA-CASAL, G. (2007b). Reflexiones sobre el sistema de acreditacin del profesorado funcionario de Universidad en

    Espaa. Psicothema, 19, 473-482.

    BUELA-CASAL, G. (2010). ndices de impacto de las revistas cientficas e indicadores para medir el rendimiento de los

    investigadores. Revista de Psicodidctica, 15, 3-19.

    BUELA-CASAL, G.: BERMDEZ, M. P., SIERRA, J. C., QUEVEDO-BLASCO, R. y Castro, A. (2009). Ranking de 2008 en inves-

    tigacin de las universidades pblicas espaolas. Psicothema, 21, 304-312.

    BUELA-CASAL, G.; BERMDEZ, M. P.; SIERRA, J. C.; QUEVEDO-BLASCO, R. y CASTRO, A. (2010). Ranking de 2009 en inves-

    tigacin de las universidades pblicas espaolas. PSICOTHEMA, 22, 171-179.

    BUELA-CASAL, G.; GUILLN-RIQUELME, A.; GUGLIELMI, O.; QUEVEDO-BLASCO, R. y RAMIRO, T. (2011). Rendimiento en el

    doctorado en funcin del rea del conocimiento. Revista de Psicodidctica, 16, 181-192.

    BUELA-CASAL, G.; OLIVAS-VILA, J.; MUSI-LECHUGA, B. y ZYCH, I. (2011). The h index of the presidents of the American

    Psychological Association (APA) through journal articles included in the Web of Science. International Journal of

    Clinical and Health Psychology, 11, 95-107.

    BUELA-CASAL, G.; VADILLO, O.; PAGANI, R.; BERMDEZ, M. P.; SIERRA, J. C.; ZYCH, I. y CASTRO, A. (2009). Comparacin

    de los indicadores de la calidad de las universidades. Revista de Universidad y Sociedad del Conocimiento (RUSC),

    6, 9-21.

    BUELA-CASAL, G. y ZYCH, I. (2010). Analysis of the relationship between the number of citations and the quality eva-

    luated by experts in psychology journals. Psicothema, 22, 270-275.

    BUELA-CASAL, G.; ZYCH, I.; SIERRA, J. C. y BERMDEZ, M. P. (2007). The Internationality Index of the Spanish Psycho-

    logy Journals. International Journal of Clinical and Health Psychology, 7, 899-910.

    FERNNDEZ, M. J.; CARBALLO, R. y GALN, A. (2010). Faculty attitudes and training needs to respond the new Europe-

    an Higher Education challenges. Higher Education, 60, 101-118.

    CASTRO, A.; GUILLEN-RIQUELME, A.; QUEVEDO-BLASCO, R.; RAMIRO, M. T.; BERMDEZ, M. P. y BUELA-CASAL, G. (2010).

    Las Escuelas Doctorales: evolucin histrica, caractersticas y aspectos relevantes para su consolidacin en Espa-

    a. Aula Abierta, 38, 17-28.

    DE MIGUEL DAZ, M. (1997). La evaluacin de la actividad investigadora del profesorado en el mbito de las Ciencias

    de la Educacin. Revista de Investigacin Educativa, 15, 171-186.

    ECHEBURA ODRIOZOLA, E. (2002). El sistema de sexenios en la evaluacin de la actividad investigadora en el mbito

    de la psicologa clnica: una primera reflexin. Anlisis y Modificacin de la Conducta, 288, 391-404.

    GALN, A. (ed.). (2007). El perfil del profesor universitario: situacin actual y retos de futuro. Madrid: Editorial Encuentro.

    GALN, A. y RUBALCABA BERMEJO, L. (2006). Motivaciones del profesorado universitario espaol y nuevas exigencias

    en la universidad de hoy. Revista Krinein. Revista de Educacin, 2, 57-90.

    GALN, A. y SERRANO, C. (2006). Tendencias actuales en la evaluacin externa del profesorado universitario: el caso

    de la ACAP. Miscelnea Comillas.Revista de Ciencias Humanas y Sociales, 64, 127-171.

    GARCA-BERRO, E.; ROCA, S.; AMBLS, G.; MURCIA, F.; SALLARS, J. y BUGEDA, G. (2010). La evaluacin de la actividad

    docente del profesorado en el marco del EEES. Aula Abierta, 38, 29-40.

    GARFIELD, E. (2003). The meaning of the impact factor. International Journal of Clinical and Health Psychology, 3, 363-

    369.

    JIMNEZ CONTRERAS, E.; MOYA ANEGN, F. y DELGADO LPEZ-CZAR, E. (2003). The evolution of research activity in

    Spain. The impact of the National Commission for the Evaluation of Research Activity (CNEAI). Research Policy,

    32, 123-142.

    LEY ORGNICA 4/2007, de 12 de abril, por la que se modifica la Ley Orgnica 6/2001, de 21de diciembre, de Univer-

    sidades (LOMLOU).

    MONTERO, I. y LEN, O. G. (2007). A guide for naming research studies in Psychology. International Journal of Clini-

    cal and Health Psychology, 7, 847-862.

    OLIVAS-VILA, J. A. y MUSI-LECHUGA, B. (2010a). Anlisis de la produccin de los profesores funcionarios de Psicolo-

    ga en Espaa en artculos de revistas en la Web of Science. Psicothema, 22, 909-916.

    Arturo Galn e Izabela Zych

    136 Bordn 63 (2), 2011, 117-139

    16173 Bordn 63.2 (2) 19/5/11 15:13 Pgina 136

  • OLIVAS-VILA, J. A. y MUSI-LECHUGA, B. (2010b). Produccin en tesis doctorales de los profesores funcionarios de Psi-

    cologa en Espaa ms productivos en la Web of Science. Psicothema, 22, 917-923.

    PELECHANO BARBER, V. (2002). Valoracin de la actividad cientfica en psicologa: Pseudoproblema, sociologismo o

    ideologismo? Anlisis y Modificacin de la Conducta, 28, 323-362.

    POLAINO LORENTE, A. (2002). Ciencia, poltica y poltica de la investigacin. Anlisis y Modificacin de la Conducta, 28,

    363-390.

    RAMOS-LVAREZ, M.; MORENO-FERNNDEZ, M. M.; VALDS-CONROY, B. y CATENA, A. (2008). Criteria of the peer review

    process for publication of experimental and quasi-experimental research in Psychology: A guide for creating rese-

    arch papers. International Journal of Clinical and Health Psychology, 8, 751-764.

    ROALES-NIETO, J. G. y LUCIANO, C. (2002). A la calidad por the quantity (porque la cantidad no vale): algunas refle-

    xiones sobre los criterios de evaluacin de la calidad de la investigacin en psicologa. Anlisis y Modificacin de

    la Conducta, 28, 431-454.

    RUIZ-PREZ, R.; DELGADO LPEZ-CZAR, E. y JIMNEZ-CONTRERAS, E. (2010). Principios y criterios utilizados en Espa-

    a por la Comisin Nacional Evaluadora de la Actividad Investigadora (CNEAI) para la valoracin de las publi-

    caciones cientficas: 1989-2009. Psicothema, 22, 898-908.

    SALVADOR CODERCH, P.; AZAGRA MALO, A. y GMEZ LIGERRE, C. (2008). Criterios de evaluacin de la actividad inves-

    tigadora en derecho civil, derecho privado y anlisis del derecho. InDret, 3, 2-63.

    SANZ MENNDEZ, L. (1995). Research actors and the state: Research evaluation and evaluation of science and techo-

    logy policies in Spain. Research Evaluation, 5, 79-88.

    SIERRA, J. C.; BUELA-CASAL, G.; BERMDEZ, M. P. y SANTOS-IGLESIAS, P. (2008). Anlisis transnacional del sistema de eva-

    luacin y seleccin del profesorado universitario. Internciencia, 33, 251-257.

    SIERRA, J. C.; BUELA-CASAL, G.; BERMDEZ, M. P. y SANTOS-IGLESIAS, P. (2009a). Importancia de los criterios e indica-

    dores de evaluacin y acreditacin del profesorado funcionario universitario en los distintos campos de conoci-

    miento de la UNESCO. Revista de Universidad y Sociedad del Conocimiento (RUSC), 6, 49-59.

    SIERRA, J. C.; BUELA-CASAL, G.; BERMDEZ, M. P. y SANTOS-IGLESIAS, P. (2009b). Opinin de Profesores Titulares y Cate-

    drticos de Universidad acerca de criterios y estndares para la acreditacin del profesorado universitario. Revis-

    ta Espaola de Documentacin Cientfica, 32, 89-100.

    ZYCH, I. y BUELA-CASAL, G. (2007). Anlisis comparativo de los valores en el ndice de Internacionalidad de las revis-

    tas iberoamericanas de psicologa incluidas en la Web of Science. Revista Mexicana de Psicologa, 24, 7-14.

    ZYCH, I. y BUELA-CASAL, G. (2009). The Internationality Index: Application to Revista Latinoamericana de Psicologa.

    Revista Latinoamericana de Psicologa, 41, 401-412.

    ZYCH, I. y BUELA-CASAL, G. (2010). Internacionalidad de las revistas de psicologa multidisciplinar editadas en Ibero-

    amrica e incluidas en la Web of Science. Universitas Psychologica, 9, 27-34.

    Fuentes electrnicas

    AGRAIT, N. y POVES, A. (2009). Informe sobre los resultados de las evaluaciones de la CNEAI: La situacin en 2009.

    http://www.educacion.es/dctm/ministerio/horizontales/ministerio/organismos/cneai/2009-info-v5.pdf?documen-

    tId=0901e72b8008d9ff [Fecha de consulta 1/03/2011]

    ACADEMIC RANKING OF WORLD UNIVERSITIES (Shanghai Jiao Tong University (SJTU)) http://www.arwu.org/ARWU2010.jsp

    [Fecha de consulta: 1/3/2011].

    BORRADOR DEL ESTATUTO DEL PERSONAL DOCENTE E INVESTIGADOR DE LAS UNIVERSIDADES PBLICAS ESPAOLAS

    http://www.fe.ccoo.es/comunes/temp/recursos/25/760575.pdf. [Fecha de consulta: 1/3/2011].

    FERNNDEZ ESQUINAS, M.; PREZ YRUELA, M. y MERCHN HERNNDEZ, C. (2005). El sistema de incentivos y recompensas

    en la ciencia pblica espaola. Instituto de Estudios Sociales Avanzados de Andaluca y Consejo Superior de Inves-

    tigaciones Cientficas. http://digital.csic.es/bitstream/10261/2044/1/01-06.pdf. [Fecha de consulta: 10/3/2011].

    Anlisis de los criterios de la Comisin Nacional Evaluadora de la Actividad Investigadora (CNEAI)

    Bordn 63 (2), 2011, 117-139 137

    16173 Bordn 63.2 (2) 19/5/11 15:13 Pgina 137

  • WORLD UNIVERSITY RANKINGS (Times Higher Education) http://www.timeshighereducation.co.uk/. [Fecha de consul-

    ta: 1/3/2011].

    Abstract

    Analysis of the criteria of the National Commission for the Evaluation of Research Activity(CNEAI) for the concession of the research incentives in Education

    The importance of the evaluation of the Higher Education has recently increased, on one hand,because of the creation of the European Higher Education Area and, on the other, as the newSpanish Organic Laws establish research incentives and accreditation processes of the universityprofessors. Although many studies were conducted in relation to the criteria, parameters andindicators for this evaluation, there are very few works which focus on analyzing the criteria for theconcession of the research incentives. For this reason, the objective of the current study consistedof conducting this analysis, focusing on the field of Education. The results show that the mostimportant criterion to get an incentive is the publication of articles in journals included in theJournal Citation Reports. Other publications can be assessed if they accomplish a series of criteriaaccording to the Assessing Committee, which have been mentioned since 2005. It has been shownthat the criteria are not specific and that there is no established reckoner which could be applied toevaluate the merits of the solicitants. The rate of negative evaluations is very high, in absolute termsand also in comparison to other areas. Thus, the authors include some recommendations for thefuture.

    Key words: Higher Education, Evaluation, University professors, Research incentives.

    Rsum

    Analyse des critres de la Commission Nationale dvaluation de lActivit de Recherche (CNEAI)pour la concession des tapes de recherche en ducation

    Lvaluation de lEnseignement Suprieur a gagne en importance pendant ces dernires annes.Parmi les causes qui ont conduit une augmentation du nombre des valuations on peut soulignerla cration de lEspace Europen dEnseignement Suprieur, ainsi que les nouvelles Loi Organiquesespagnoles et ses dveloppements normatifs, lesquels tablissent des complments conomiques etdes procdures daccrditation pour les enseignants. Mme sil y a eu plusieurs tudes sur lescritres, les paramtres et les indicateurs propres ce type dvaluation, trs peu dentre eux ont tconsacrs lanalyse des critres pour la concession des sixaines de recherche. Par consquent,lobjectif de cette tude est de procder cette analyse, en concdant une particulire attention audomaine de lducation. Les rsultats montrent que le critre plus clair pour obtenir une valuationpositive est la contribution des articles publis dans des revues incluses dans le Journal CitationReports (JCR). Mme si la normative accepte lvaluation dautres contributions qui ne soient pasincluses dans le JCR, condition quelles rpondent, selon lavis du Comit Consultatif, une sriede critres de qualit approuves depuis 2005, nous dmontrons que les critres sont trs peutspcifiques et quil nexiste pas un barme objective qui puisse tre appliqu lors de lvaluation desmrites apports par les solliciteurs. Cette situation entrane un taux dchec norme en termes

    Arturo Galn e Izabela Zych

    138 Bordn 63 (2), 2011, 117-139

    16173 Bordn 63.2 (2) 19/5/11 15:13 Pgina 138

  • absolus ainsi que par rapport dautres domaines. En conclusion, nous prsentons une srie derecommandations visant amliorer le systme dvaluation de la productivit de la recherche dansle futur.

    Mots cls : Enseignement suprieur, valuation, Professorat, Complments de productivit.

    Perfil profesional de los autores

    Arturo Galn Gonzlez

    Profesor titular en el Departamento MIDE de la UNED, donde ejerce el cargo de vicedecano. Esvicepresidente de la Asociacin para la Investigacin y la Docencia Universitas. Ha investigado ypublicado sobre la evaluacin de la calidad y la evaluacin de la competencia docente en la univer-sidad. Research Scholar en Boston University y en el M.I.T. Durante dos aos investig en la Agenciade Calidad de las Universidades de Madrid (ACAP) como jefe de la Unidad de Evaluacin para laContratacin del Profesorado, donde desarroll un baremo objetivo para la evaluacin del profeso-rado contratado. Correo electrnico de contacto: [email protected]

    Izabela Zych

    Izabela Zych es licenciada y doctora en Psicologa por la Universidad de Granada. Autora de dife-rentes artculos cientficos en revistas incluidas en la Web of Science. Sus lneas de investigacinestn relacionadas con la evaluacin de la calidad de la ciencia y de la educacin. Actualmente, tra-baja como profesora en las Facultades de Ciencias de la Educacin de la Universidad de Crdoba yde la Universidad de Huelva. Correo electrnico de contacto: [email protected]

    Anlisis de los criterios de la Comisin Nacional Evaluadora de la Actividad Investigadora (CNEAI)

    Bordn 63 (2), 2011, 117-139 139

    16173 Bordn 63.2 (2) 19/5/11 15:13 Pgina 139

  • 16173 Bordn 63.2 (2) 19/5/11 15:13 Pgina 140