34
Séminaire EHESS Séminaire EHESS Evaluation de la Evaluation de la recherche universitaire recherche universitaire en Grande-Bretagne en Grande-Bretagne (J-F Méla) (J-F Méla) Février 2005 Février 2005

Séminaire EHESS Evaluation de la recherche universitaire Evaluation de la recherche universitaire en Grande-Bretagne (J-F Méla) Février 2005

Embed Size (px)

Citation preview

Page 1: Séminaire EHESS Evaluation de la recherche universitaire Evaluation de la recherche universitaire en Grande-Bretagne (J-F Méla) Février 2005

Séminaire EHESSSéminaire EHESS

Evaluation de la recherche Evaluation de la recherche universitaire universitaire

en Grande-Bretagneen Grande-Bretagne(J-F Méla)(J-F Méla)

Février 2005Février 2005

Page 2: Séminaire EHESS Evaluation de la recherche universitaire Evaluation de la recherche universitaire en Grande-Bretagne (J-F Méla) Février 2005

IntroductionIntroduction

La Grande-Bretagne est une La Grande-Bretagne est une référence en matière référence en matière d’enseignement supérieur et d’enseignement supérieur et de recherche fondamentale de recherche fondamentale en Europe.en Europe.

Page 3: Séminaire EHESS Evaluation de la recherche universitaire Evaluation de la recherche universitaire en Grande-Bretagne (J-F Méla) Février 2005

Top 10 Countries in the World – Nobel Prizes in Science 1951 to 2003

Country of Citizenship

Chemistry Physics Medicine Total Nobel

Prizes

Nobel Prizes-Science

Nobel Prizes

Nobel Prizes

Nobel Prizes

In Science 1951-2002

96 117 123 334

1. United States

45 (47%) 70 (60%)

70 (57%) 185 (55%) 0f all Prizes

2. Great Britain 19 (20%) 7 (6%) 19 (15%) 45 (13%)

3. Germany 10 (11%) 12 (10%)

9 (7%) 31 (9%)

4. Russia 1 (1%) 9 (8%) 2 (2%) 12 (4%)

5. France 1(1%) 4 (3%) 5 (4%) 10 (3%)

6. Sweden 0 2 (2%) 6 (5%) 8 (2%)

7. Japan 4 (4%) 3 (3%) 1 (1%) 8 (2%)

8. Canada 3 (3%) 2 (2%) 0 5 (2%)

8. Dutch 1 (1%) 4 (3%) 0 5 (2%)

10. Switzerland 2 (1%) 0 3 (2%) 5 (2%)

Page 4: Séminaire EHESS Evaluation de la recherche universitaire Evaluation de la recherche universitaire en Grande-Bretagne (J-F Méla) Février 2005

UniversitésUniversités

Dans le classement de Shanghai de 2004, Dans le classement de Shanghai de 2004, parmi les 25 premières universités parmi les 25 premières universités classées, on trouve 19 universités classées, on trouve 19 universités américaines (dans l’ordre Harvard, américaines (dans l’ordre Harvard, Stanford, Berkeley, MIT, CalTech, Stanford, Berkeley, MIT, CalTech, Princeton, Columbia, Chicago, Yale, Princeton, Columbia, Chicago, Yale, Cornell, etc.), 4 universités anglaises Cornell, etc.), 4 universités anglaises (Cambridge 3ème, Oxford 8ème, Imperial (Cambridge 3ème, Oxford 8ème, Imperial College London, University College College London, University College London) et 2 universités japonaises (Tokyo London) et 2 universités japonaises (Tokyo 14ème, Kyoto 21ème). 14ème, Kyoto 21ème).

Page 5: Séminaire EHESS Evaluation de la recherche universitaire Evaluation de la recherche universitaire en Grande-Bretagne (J-F Méla) Février 2005

ProductivitéProductivité Moins de 6 chercheurs pour mille Moins de 6 chercheurs pour mille

emplois (7,5 en France) emplois (7,5 en France) Part mondiale de la Grande-Bretagne Part mondiale de la Grande-Bretagne

dans les publications scientifiques dans les publications scientifiques supérieure à 8 % (5 % pour la France), supérieure à 8 % (5 % pour la France), avec une très bonne fréquence de avec une très bonne fréquence de citations. citations.

Ces performances sont supérieures Ces performances sont supérieures aux nôtres pour un PIB comparable aux nôtres pour un PIB comparable - avec une dépense totale moindre - avec une dépense totale moindre (1,8 % contre 2,2%) (1,8 % contre 2,2%) - avec une part de financement public - avec une part de financement public inférieure (36 % au lieu de 39 %). inférieure (36 % au lieu de 39 %).

Page 6: Séminaire EHESS Evaluation de la recherche universitaire Evaluation de la recherche universitaire en Grande-Bretagne (J-F Méla) Février 2005

Les positions britanniques sont très Les positions britanniques sont très fortes dans les sciences de la vie fortes dans les sciences de la vie ainsi qu'en opto-électronique. ainsi qu'en opto-électronique.

En matière de brevets, la Grande-En matière de brevets, la Grande-Bretagne a une position Bretagne a une position comparable à la France, et est comparable à la France, et est nettement surclassée par nettement surclassée par l’Allemagne.l’Allemagne.

Page 7: Séminaire EHESS Evaluation de la recherche universitaire Evaluation de la recherche universitaire en Grande-Bretagne (J-F Méla) Février 2005

La Grande-Bretagne concilie un système d’universités publiques très autonomes, avec un pilotage étatique souple, d’une très grande lisibilité.

Il est intéressant d’analyser le système britannique car il comporte un dispositif d’allocation des crédits récurrents qui peut être mis en parallèle avec notre « contrat recherche »

Page 8: Séminaire EHESS Evaluation de la recherche universitaire Evaluation de la recherche universitaire en Grande-Bretagne (J-F Méla) Février 2005

Structure des universitésStructure des universités L’Angleterre compte 131 établissements L’Angleterre compte 131 établissements

d’enseignement supérieur, dont 77 universités.d’enseignement supérieur, dont 77 universités. Chaque université a son organisation propre, Chaque université a son organisation propre,

mais on retrouve partout les mêmes principes mais on retrouve partout les mêmes principes d’organisation.d’organisation.

L’université est présidée par un « chancellor » L’université est présidée par un « chancellor » qui a un rôle honorifique.qui a un rôle honorifique.

Elle est dirigée par le « vice-chancellor » qui Elle est dirigée par le « vice-chancellor » qui est un est un « professionnel » du management universitaire. « professionnel » du management universitaire. Nommé par le « University Council » après Nommé par le « University Council » après consultation du « University Senate », pour une consultation du « University Senate », pour une période renouvelable, il négocie son salaire. période renouvelable, il négocie son salaire.

Page 9: Séminaire EHESS Evaluation de la recherche universitaire Evaluation de la recherche universitaire en Grande-Bretagne (J-F Méla) Février 2005

University Council C’est l’organe dirigeant de l’université du point de vue de la stratégie (consultation du « Senate » pour les aspects académique), du management et des finances. De taille réduite (25-30 membres), la communauté universitaire y est représentée (y compris les étudiants) mais de façon minoritaire.

University Senate Présidé par le vice-chancellor, il est compétent pour les affaires académiques  (recherche, enseignement) et fait des recommandations au « university council ».

Page 10: Séminaire EHESS Evaluation de la recherche universitaire Evaluation de la recherche universitaire en Grande-Bretagne (J-F Méla) Février 2005

Université de SheffieldUniversité de Sheffield University Council : University Council :

The ChancellorThe ChancellorThe Pro-ChancellorsThe Pro-ChancellorsThe TreasurerThe TreasurerThe Vice-ChancellorThe Vice-ChancellorThe Pro-Vice-ChancellorsThe Pro-Vice-ChancellorsThe Chairman of ConvocationThe Chairman of ConvocationOne Person Elected by ConvocationOne Person Elected by ConvocationThirteen Persons Appointed by the CouncilThirteen Persons Appointed by the CouncilTwo Deans of the FacultiesTwo Deans of the FacultiesFive members of the Senate elected by the SenateFive members of the Senate elected by the SenateTwo Officers of the Union of StudentsTwo Officers of the Union of StudentsOne person to be elected by and from the One person to be elected by and from the employees of the University who are not members employees of the University who are not members of the academic or academic related staff.of the academic or academic related staff.

Page 11: Séminaire EHESS Evaluation de la recherche universitaire Evaluation de la recherche universitaire en Grande-Bretagne (J-F Méla) Février 2005

Université de SheffieldUniversité de Sheffield

University Senate :University Senate :

C’est une instance nombreuse qui C’est une instance nombreuse qui comprend, outre l’équipe de comprend, outre l’équipe de direction, les doyens de facultés (7) , direction, les doyens de facultés (7) , les chefs de départements (58), et les chefs de départements (58), et des représentants élus des des représentants élus des professeurs (28) et des étudiants professeurs (28) et des étudiants (15).(15).

Page 12: Séminaire EHESS Evaluation de la recherche universitaire Evaluation de la recherche universitaire en Grande-Bretagne (J-F Méla) Février 2005

Système de financement de Système de financement de la recherchela recherche

Financement structurel de l’enseignement Financement structurel de l’enseignement supérieur et de la recherche, assuré par les supérieur et de la recherche, assuré par les « Higher Education Funding Councils » pour « Higher Education Funding Councils » pour l’Angleterre (HEFCE), l’Ecosse (SHEFC), le l’Angleterre (HEFCE), l’Ecosse (SHEFC), le Pays de Galles (HEFCW), et l’Irlande du Nord Pays de Galles (HEFCW), et l’Irlande du Nord (DENI). (DENI).

Financement sur projets par des agences Financement sur projets par des agences sectorielles (« research councils ») qui sectorielles (« research councils ») qui dépendent de l’OST (« Office of Science and dépendent de l’OST (« Office of Science and technology »), lui-même rattaché au ministère technology »), lui-même rattaché au ministère de l’Industrie et du Commerce. L’OST est de l’Industrie et du Commerce. L’OST est dirigé par le « Chief Scientific Adviser » du dirigé par le « Chief Scientific Adviser » du gouvernement.gouvernement.

Page 13: Séminaire EHESS Evaluation de la recherche universitaire Evaluation de la recherche universitaire en Grande-Bretagne (J-F Méla) Février 2005

Higher Education Funding Higher Education Funding Council for England Council for England

(HEFCE) (HEFCE) Créé en 1992, il a compétence sur Créé en 1992, il a compétence sur

l’ensemble des universités et des instituts l’ensemble des universités et des instituts polytechniques d’Angleterre (devenus polytechniques d’Angleterre (devenus universités).universités).

Dirigé par un Conseil (« Board ») d’une Dirigé par un Conseil (« Board ») d’une vingtaine de membres (scientifiques mais vingtaine de membres (scientifiques mais aussi industriels) nommés par le ministre aussi industriels) nommés par le ministre de l’Education (« Secretary of State for de l’Education (« Secretary of State for Education ») sur proposition conjointe de Education ») sur proposition conjointe de la Direction de l’Enseignement la Direction de l’Enseignement (« Department for Education and Skills ») (« Department for Education and Skills ») et du HEFCE. et du HEFCE. Les positions font l’objet d’une publicité.Les positions font l’objet d’une publicité.

Page 14: Séminaire EHESS Evaluation de la recherche universitaire Evaluation de la recherche universitaire en Grande-Bretagne (J-F Méla) Février 2005

HEFCEHEFCE Il comprend 5 comités principaux dont Il comprend 5 comités principaux dont

celui de la recherche. celui de la recherche. Le HEFCE finance les dépenses Le HEFCE finance les dépenses

d’infrastructure de la recherche, les d’infrastructure de la recherche, les bibliothèques et les équipements bibliothèques et les équipements informatiques collectifs.informatiques collectifs.

Le financement comprend le soutien de Le financement comprend le soutien de base, mais aussi des fonds pour la base, mais aussi des fonds pour la formation doctorale et l’émergence de formation doctorale et l’émergence de nouveaux sujets. Il a vocation à être nouveaux sujets. Il a vocation à être complété par les financements sur complété par les financements sur projets distribués par les agences.projets distribués par les agences.

Page 15: Séminaire EHESS Evaluation de la recherche universitaire Evaluation de la recherche universitaire en Grande-Bretagne (J-F Méla) Février 2005

HEFCEHEFCE Il s’appuie essentiellement sur les Il s’appuie essentiellement sur les

évaluations du « Research Assessment évaluations du « Research Assessment Exercise » (RAE) qui est une campagne Exercise » (RAE) qui est une campagne d’évaluation de la recherche universitaire d’évaluation de la recherche universitaire conduite, jusqu’ici, avec une périodicité conduite, jusqu’ici, avec une périodicité variable, dans l’ensemble du Royaume-Uni. variable, dans l’ensemble du Royaume-Uni.

Le premier RAE date de 1986, suivi d’autres Le premier RAE date de 1986, suivi d’autres en 1989, 1992, 1996 et 2001.en 1989, 1992, 1996 et 2001.

Le budget recherche du HEFCE en 2004-Le budget recherche du HEFCE en 2004-2005 est de 1.081 M£. Il se répartit entre2005 est de 1.081 M£. Il se répartit entre

- Crédits distribués en fonction de - Crédits distribués en fonction de l’évaluation par le RAE (« Quality-related l’évaluation par le RAE (« Quality-related funding ») : 1.061 M£ (98%)funding ») : 1.061 M£ (98%)- Crédits destinés à l’émergence (« Research - Crédits destinés à l’émergence (« Research capability funding ») : 17 M£ capability funding ») : 17 M£

Page 16: Séminaire EHESS Evaluation de la recherche universitaire Evaluation de la recherche universitaire en Grande-Bretagne (J-F Méla) Février 2005

HEFCEHEFCE

Les dotations de QR funding distribuées Les dotations de QR funding distribuées par le HFCE sont calculées à partir des par le HFCE sont calculées à partir des notes attribuées par le RAE à chaque notes attribuées par le RAE à chaque département. Elles sont ensuite globalisées département. Elles sont ensuite globalisées au niveau de chaque université qui répartit au niveau de chaque université qui répartit sa subvention comme elle l’entend.sa subvention comme elle l’entend.

Les notes délivrées par le RAE sont sur une Les notes délivrées par le RAE sont sur une échelle échelle 1, 2, 3b, 3a, 4, 5, 5*.1, 2, 3b, 3a, 4, 5, 5*.

Les départements de recherche qui ont Les départements de recherche qui ont obtenu une note inférieure à 4 ne reçoivent obtenu une note inférieure à 4 ne reçoivent aujourd’hui aucun QR funding. aujourd’hui aucun QR funding.

Page 17: Séminaire EHESS Evaluation de la recherche universitaire Evaluation de la recherche universitaire en Grande-Bretagne (J-F Méla) Février 2005

HEFCEHEFCE En 2004-2005, les coefficients de pondération En 2004-2005, les coefficients de pondération

suivants sont appliqués en fonction des notes :suivants sont appliqués en fonction des notes :Notes :Notes : 3b3b 3a 3a 4 4 5 5 5* 5*Coefficients : Coefficients : 00 0 0 1 1 2,793 2,793 3,3623,362

http://www.hefce.ac.uk/research/funding/QRfunhttp://www.hefce.ac.uk/research/funding/QRfunding/ding/

Le « Research Capability Fund » (17 M£ en Le « Research Capability Fund » (17 M£ en 2004-2005) est destiné à soutenir des 2004-2005) est destiné à soutenir des recherches émergentes dans de nouveaux recherches émergentes dans de nouveaux domaines où la recherche de base n’est pas domaines où la recherche de base n’est pas aussi forte que dans les domaines bien établis. aussi forte que dans les domaines bien établis.

Page 18: Séminaire EHESS Evaluation de la recherche universitaire Evaluation de la recherche universitaire en Grande-Bretagne (J-F Méla) Février 2005

Research councilsResearch councils - Biotechnology & Biological Sciences - Biotechnology & Biological Sciences

Research Council (BBSRC)Research Council (BBSRC) - Council for the Central Laboratory of the - Council for the Central Laboratory of the

Research Councils (CCLRC)Research Councils (CCLRC) - Engineering & Physical Sciences Research - Engineering & Physical Sciences Research

Councils (EPSRC)Councils (EPSRC) - Economic & Social Research Council - Economic & Social Research Council

(ESRC)(ESRC) - Medical research Council (MRC)- Medical research Council (MRC) - Natural Environment Research Council - Natural Environment Research Council

(NERC)(NERC) - Particle Physics & Astronomy Research - Particle Physics & Astronomy Research

Council (PPARC)Council (PPARC) - Arts & Humanities Research Board (AHRB)- Arts & Humanities Research Board (AHRB)

Page 19: Séminaire EHESS Evaluation de la recherche universitaire Evaluation de la recherche universitaire en Grande-Bretagne (J-F Méla) Février 2005

Research Assessment Research Assessment ExerciseExercise

RAE 2001RAE 2001 La recherche est classée en 68 domaines La recherche est classée en 68 domaines

d’évaluation (« units of assessment ») avec d’évaluation (« units of assessment ») avec pour chacun un comité composé pour chacun un comité composé d’universitaires plus quelques d’universitaires plus quelques représentants du secteur des entreprises. représentants du secteur des entreprises.

Un comité comprend de 9 à 18 membres. La Un comité comprend de 9 à 18 membres. La moitié des comités a institué des sous-moitié des comités a institué des sous-comités. comités.

Les comités et sous-comités font appel à des Les comités et sous-comités font appel à des experts extérieurs, notamment étrangers.experts extérieurs, notamment étrangers.

Publicité des méthodes de travail des Publicité des méthodes de travail des comités.comités.

Page 20: Séminaire EHESS Evaluation de la recherche universitaire Evaluation de la recherche universitaire en Grande-Bretagne (J-F Méla) Février 2005

RAE 2001RAE 2001Désignation des comitésDésignation des comités

Les HEFC désignent les présidents Les HEFC désignent les présidents des comités, puis les membres de des comités, puis les membres de chaque comité sur avis de son chaque comité sur avis de son président, parmi les propositions président, parmi les propositions émanant d’un grand nombre émanant d’un grand nombre d’organisations (sociétés savantes, d’organisations (sociétés savantes, associations scientifiques ou associations scientifiques ou professionnelles, monde professionnelles, monde industriel,..). .industriel,..). .

Page 21: Séminaire EHESS Evaluation de la recherche universitaire Evaluation de la recherche universitaire en Grande-Bretagne (J-F Méla) Février 2005

RAE 2001RAE 2001ProcéduresProcédures

Chaque établissement présente des Chaque établissement présente des dossiers, département par département, dossiers, département par département, dans autant de domaines qu’il veut. dans autant de domaines qu’il veut.

Ces dossiers ont une forme standard. Ils Ces dossiers ont une forme standard. Ils comprennent une liste des « chercheurs comprennent une liste des « chercheurs actifs » avec 4 publications (au plus). actifs » avec 4 publications (au plus).

La liste des chercheurs présentés est La liste des chercheurs présentés est laissée à l’initiative de l’université, mais laissée à l’initiative de l’université, mais indique quelle proportion de l’effectif du indique quelle proportion de l’effectif du département cela représente.département cela représente.

Notes attribuées : 1, 2, 3a, 3b, 4, 5, 5* Notes attribuées : 1, 2, 3a, 3b, 4, 5, 5*

Page 22: Séminaire EHESS Evaluation de la recherche universitaire Evaluation de la recherche universitaire en Grande-Bretagne (J-F Méla) Février 2005

Bilan RAE 2001Bilan RAE 2001 Dans le RAE 2001, 80% des départements ont Dans le RAE 2001, 80% des départements ont

obtenu une note 4, 5 ou 5*, et 55% ont obtenu 5 obtenu une note 4, 5 ou 5*, et 55% ont obtenu 5 ou 5*ou 5*

La part de chercheurs actifs classés 4, 5 ou 5* La part de chercheurs actifs classés 4, 5 ou 5* est passée de 43% en 1996 à 64% en 2001. est passée de 43% en 1996 à 64% en 2001.

Coefficients de pondération pour le financement Coefficients de pondération pour le financement 1997-98 basé sur le RAE de 1996 :1997-98 basé sur le RAE de 1996 :Notes :Notes : 3b3b 3a 3a 44 55 5*5*Coefficients : Coefficients : 11 1,51,5 2,252,25 3,3753,375 4,054,05

Coefficients de pondération pour le financement Coefficients de pondération pour le financement 2002-03 basé sur le RAE 2001 :2002-03 basé sur le RAE 2001 :Notes :Notes : 3b3b 3a 3a 44 55 5*5*Coefficients : Coefficients : 00 0,310,31 11 1,891,89 2,712,71

Page 23: Séminaire EHESS Evaluation de la recherche universitaire Evaluation de la recherche universitaire en Grande-Bretagne (J-F Méla) Février 2005

Bilan RAE 2001Bilan RAE 2001

Coefficients de pondération pour le Coefficients de pondération pour le financement 2002-03 basé sur le RAE 2001 :financement 2002-03 basé sur le RAE 2001 :

Notes :Notes : 3b3b 3a 3a 44 55 5*5*

Coefficients : Coefficients : 00 0,310,3111 1,891,892,712,71 CCoefficients de pondération pour le oefficients de pondération pour le

financement 2004-05 basé sur le RAE 2001 :financement 2004-05 basé sur le RAE 2001 :

Notes :Notes : 3b3b 3a 3a 44 55 5* 5*

Coefficients : Coefficients : 00 00 11 2,7932,793 3,3623,362

Page 24: Séminaire EHESS Evaluation de la recherche universitaire Evaluation de la recherche universitaire en Grande-Bretagne (J-F Méla) Février 2005

Bilan RAE 2001Bilan RAE 2001 Les HEFC maîtrisent complètement le Les HEFC maîtrisent complètement le

« cahier des charges » du RAE. « cahier des charges » du RAE. Ils déterminent ce que seront les unités Ils déterminent ce que seront les unités

d’évaluation (« units of assessment ») et d’évaluation (« units of assessment ») et comment la qualité de la recherche sera comment la qualité de la recherche sera évaluée. évaluée.

Ces indications sont publiées avant le Ces indications sont publiées avant le démarrage du RAE. démarrage du RAE.

Les HEFC maîtrisent aussi la clé de Les HEFC maîtrisent aussi la clé de répartition des crédits en fonction de répartition des crédits en fonction de l’évaluation. Mais elle est publiée après le l’évaluation. Mais elle est publiée après le RAE.RAE.

Page 25: Séminaire EHESS Evaluation de la recherche universitaire Evaluation de la recherche universitaire en Grande-Bretagne (J-F Méla) Février 2005

Critiques du RAECritiques du RAE Disproportion entre la quantité de temps et de Disproportion entre la quantité de temps et de

travail qui y est consacrée et le financement travail qui y est consacrée et le financement supplémentaire éventuel correspondant à supplémentaire éventuel correspondant à l’évaluation.l’évaluation.

Le RAE tel qu’il a fonctionné a effectivement Le RAE tel qu’il a fonctionné a effectivement contribué à développer la culture du contribué à développer la culture du management de la recherche dans les management de la recherche dans les universités. Mais aujourd’hui il a des effets universités. Mais aujourd’hui il a des effets pervers (distorsions et lourdeurs). pervers (distorsions et lourdeurs).

C’est l’évaluation et ses règles qui dicte la C’est l’évaluation et ses règles qui dicte la politique, et pas les objectifs scientifiques eux-politique, et pas les objectifs scientifiques eux-mêmes. mêmes.

Page 26: Séminaire EHESS Evaluation de la recherche universitaire Evaluation de la recherche universitaire en Grande-Bretagne (J-F Méla) Février 2005

Critiques du RAECritiques du RAE On peut se demander si la « peer On peut se demander si la « peer

review » est réellement indispensable au review » est réellement indispensable au niveau de l’évaluation nationale. Une niveau de l’évaluation nationale. Une grande partie du financement pourrait grande partie du financement pourrait être attribué en fonction des être attribué en fonction des indicateurs, le détail des attributions indicateurs, le détail des attributions étant laissé à l’université.étant laissé à l’université.

Critique du processus de concentration Critique du processus de concentration induit par le RAE.induit par le RAE.

Critique de la rationalité qui consiste à Critique de la rationalité qui consiste à financer la recherche séparément de financer la recherche séparément de l’enseignement.l’enseignement.

Page 27: Séminaire EHESS Evaluation de la recherche universitaire Evaluation de la recherche universitaire en Grande-Bretagne (J-F Méla) Février 2005

Rapport RobertsRapport Roberts

Un comité présidé par Sir Gareth Un comité présidé par Sir Gareth Roberts a procédé à un audit et a Roberts a procédé à un audit et a formulé des propositions de réforme du formulé des propositions de réforme du RAE.RAE.

Rapport produit en mai 2003 qui a été Rapport produit en mai 2003 qui a été l’objet d’une large consultation dans les l’objet d’une large consultation dans les universités et d’un vaste débat national.universités et d’un vaste débat national.

http://www.ra-review.ac.uk/http://www.ra-review.ac.uk/

Page 28: Séminaire EHESS Evaluation de la recherche universitaire Evaluation de la recherche universitaire en Grande-Bretagne (J-F Méla) Février 2005

Rapport RobertsRapport RobertsRecommandationsRecommandations

L’évaluation doit se baser sur le L’évaluation doit se baser sur le jugement d’experts qui peuvent utiliser jugement d’experts qui peuvent utiliser des indicateurs. des indicateurs.

Evaluation tous les six ans avec un mi-Evaluation tous les six ans avec un mi-parcours de portée limitée.parcours de portée limitée.

Séparer l’évaluation de la qualité de la Séparer l’évaluation de la qualité de la recherche de l’évaluation stratégique. recherche de l’évaluation stratégique. (« competences assessment») (« competences assessment»)

Moduler l’importance de l’évaluation Moduler l’importance de l’évaluation en fonction des enjeux.en fonction des enjeux.

Page 29: Séminaire EHESS Evaluation de la recherche universitaire Evaluation de la recherche universitaire en Grande-Bretagne (J-F Méla) Février 2005

Rapport RobertsRapport RobertsRecommandationsRecommandations

On distinguerait trois catégories :On distinguerait trois catégories :- Les institutions les moins actives en - Les institutions les moins actives en recherche : modalités d’évaluation recherche : modalités d’évaluation particulières déterminées par les HEFC.particulières déterminées par les HEFC.- Les départements les moins compétitifs des - Les départements les moins compétitifs des autres établissements : application de critères autres établissements : application de critères automatiques (« Research Capacity automatiques (« Research Capacity Assessment » RCA).Assessment » RCA). - Départements les plus compétitifs : - Départements les plus compétitifs : véritable évaluation par des experts véritable évaluation par des experts (« Research Quality Assessment » RQA).(« Research Quality Assessment » RQA).

Les institutions choisiraient de soumissionner Les institutions choisiraient de soumissionner au RCA ou au RQA suivant les domaines.au RCA ou au RQA suivant les domaines.

Page 30: Séminaire EHESS Evaluation de la recherche universitaire Evaluation de la recherche universitaire en Grande-Bretagne (J-F Méla) Février 2005

Rapport RobertsRapport RobertsRecommandationsRecommandations

Remplacer les notes par un « profil de qualité » Remplacer les notes par un « profil de qualité » (« quality profile ») des départements.(« quality profile ») des départements.

Une organisation un peu différente des comités Une organisation un peu différente des comités d’évaluation :d’évaluation :

- 4 à 5 super comités chargés de superviser la - 4 à 5 super comités chargés de superviser la constitution des comités et leur constitution des comités et leur fonctionnement. fonctionnement.

- 20 à 25 comités responsables de l’évaluation.- 20 à 25 comités responsables de l’évaluation.

- 60 à 70 sous-comités dans lesquels se fait - 60 à 70 sous-comités dans lesquels se fait une part importante du travail effectif.une part importante du travail effectif.

- Les comités doivent fixer des critères qui - Les comités doivent fixer des critères qui prennent en compte l’excellence de la prennent en compte l’excellence de la recherche appliquée. recherche appliquée.

Page 31: Séminaire EHESS Evaluation de la recherche universitaire Evaluation de la recherche universitaire en Grande-Bretagne (J-F Méla) Février 2005

Réforme du RAERéforme du RAERAE 2008RAE 2008

Le principe du RAE a été réaffirmé, avec des Le principe du RAE a été réaffirmé, avec des modifications limitées qui s’inspirent d’une modifications limitées qui s’inspirent d’une partie seulement des recommandations du partie seulement des recommandations du rapport Roberts.rapport Roberts.

La périodicité sera désormais de 6 ans. Le La périodicité sera désormais de 6 ans. Le prochain RAE est prévu en 2008.prochain RAE est prévu en 2008.

Le RAE est toujours basé sur un examen de Le RAE est toujours basé sur un examen de dossiers par des experts, piloté par 15-20 dossiers par des experts, piloté par 15-20 comités disciplinaires, s’appuyant sur 70 comités disciplinaires, s’appuyant sur 70 sous-comités. sous-comités.

Il n’y aura pas d’évaluation séparée des Il n’y aura pas d’évaluation séparée des « research competences » « research competences »

Page 32: Séminaire EHESS Evaluation de la recherche universitaire Evaluation de la recherche universitaire en Grande-Bretagne (J-F Méla) Février 2005

Réforme du RAERéforme du RAERAE 2008RAE 2008

Des dispositions seront adoptées pour Des dispositions seront adoptées pour donner le poids qu’il convient à la donner le poids qu’il convient à la recherche appliquée, ainsi qu’à recherche appliquée, ainsi qu’à l’émergence et à l’interdisciplinarité. l’émergence et à l’interdisciplinarité.

Les comités s’appuieront sur des Les comités s’appuieront sur des indicateurs quantitatifs.indicateurs quantitatifs.

Allègement de la charge de travail (les Allègement de la charge de travail (les dossiers ne feront toujours mention que dossiers ne feront toujours mention que de 4 publications au plus par chercheur)de 4 publications au plus par chercheur)

Page 33: Séminaire EHESS Evaluation de la recherche universitaire Evaluation de la recherche universitaire en Grande-Bretagne (J-F Méla) Février 2005

Réforme du RAERéforme du RAERAE 2008RAE 2008

Le résultat ne sera plus une note globale, mais Le résultat ne sera plus une note globale, mais un profil de qualité (« quality profile ») pour un profil de qualité (« quality profile ») pour chaque département, qui consiste à classer les chaque département, qui consiste à classer les chercheurs en 4 niveaux, en indiquant les chercheurs en 4 niveaux, en indiquant les proportions de chercheurs aux différents proportions de chercheurs aux différents niveaux. niveaux.

Les unités d’évaluation sont les mêmes que Les unités d’évaluation sont les mêmes que pour le RAE 2001. Mais chaque unité aura son pour le RAE 2001. Mais chaque unité aura son sous-comité.sous-comité.

Les comités principaux contrôlent les critères Les comités principaux contrôlent les critères et les méthodes de travail des sous-comités. Ils et les méthodes de travail des sous-comités. Ils décident des profils de qualité à attribuer à décident des profils de qualité à attribuer à chaque département examiné.chaque département examiné.

Page 34: Séminaire EHESS Evaluation de la recherche universitaire Evaluation de la recherche universitaire en Grande-Bretagne (J-F Méla) Février 2005

Réforme du RAERéforme du RAEComposition des panelsComposition des panels

Les présidents et les membres des comités et sous-Les présidents et les membres des comités et sous-comités sont désignés par les directeurs des quatre comités sont désignés par les directeurs des quatre HEFC. HEFC.

Les présidents de comités seront choisis sur la base Les présidents de comités seront choisis sur la base de candidatures, après publicité. de candidatures, après publicité.

Les autres membres de chaque comité seront Les autres membres de chaque comité seront désignés sur avis du président, parmi des désignés sur avis du président, parmi des personnalités nominées par une grande variété personnalités nominées par une grande variété d’organisations.d’organisations.

Les présidents de sous-comités seront choisis en Les présidents de sous-comités seront choisis en concertation avec les présidents du comité principal concertation avec les présidents du comité principal dont ils dépendent, parmi la liste des «nominés ».dont ils dépendent, parmi la liste des «nominés ».

Les présidents de sous-comités, conjointement avec Les présidents de sous-comités, conjointement avec les présidents des comités dont ils dépendent, les présidents des comités dont ils dépendent, proposeront la désignation de leurs membres, pris proposeront la désignation de leurs membres, pris dans la liste des « nominés ».dans la liste des « nominés ».