Sur l’Usage Récent Des Indicateurs Bibliométriques Comme Outil d’Évaluation de La Recherche Scientifique

Bulletin of sociological methodology

100 | 2008 :October

Ongoing Research/Recherche en cours

Sur lusage rcent desindicateurs bibliomtriquescomme outil dvaluation de larecherche scientifiqueLAURENCE COUTROT

p. 45-50

Texte intgral

Pour le meilleur et pour le pire, les grandes manuvres sont lances dans la

recherche franaise sur le front de la bibliomtrie : celle-ci cesse dsormais dtre

un outil rserv aux documentalistes et spcialistes de linformation. Les princes

qui nous gouvernent sen sont empar des fins dvaluation des disciplines, des

laboratoires, des individus. Les personnels de recherche doivent pouvoir sinformer,

rflchir et critiquer, et, ventuellement inventer des usages de la bibliomtrie qui

en limiterait les possibles effets pervers.

1

Laffaire nest pas neuve : il y a vingt ans dj, la Direction du CNRS, les activits

de construction dindicateurs scientifiques taient la mode. En 2004, une tentative

de classement des revues par le Dpartement SHS du CNRS avait provoqu

quelques ractions1. Mais cette fois, laffaire est srieuse : dans le document de

caractrisation des UMR pour la vague D de contractualisation du quadriennal,

le facteur h figure en bonne place, aux cts de limpact moyen de la discipline,

etc. On est pass du classement des revues celui des individus, ce qui est toute

autre chose.

2

Cette courte note na videmment pas pour fonction de balayer lensemble du

problme de la bibliomtrie. Je vais seulement tenter dapporter quelques

informations essentielles concernant les principes et les outils de la bibliomtrie et

de pointer quelques problmes lis son application des fins dvaluation de la

recherche.

3

A linitiative de Go!doc , rseau de documentalistes CNRS de la rgion4

Sur lusage rcent des indicateurs bibliomtriques comme outil... http://bms.revues.org/index3353.html

1 de 5 06/01/2013 13:26

parisienne (http://www.godoc.u-psud.fr/), et avec le concours du service de

formation permanente du CNRS, une runion dinformation sur les indicateurs

bibliomtriques a eu lieu le mardi 23 septembre 2008. Lamphithtre tait plein :

le sujet attire les foules, ITA et CNRS de toutes disciplines. La sance tait prside

par Rmi Barr, professeur au CNAM, ancien prsident de lOST (Observatoire des

sciences et des techniques) et actif la DGRI au Ministre de la recherche. On

pouvait craindre que cette sance ft uniquement un lieu de diffusion de la vulgate

technocratique sur le sujet, cela ne sest pas vrifi : il y eut des exposs critiques et

un vrai dbat, dautres suivront sans aucun doute.

La sance dbute par une prsentation de lun des outils disponibles pour

analyser les priodiques scientifiques, le Web of Science : Emergence et

construction des outils bibliomtriques dans le Web of Science, rpertoire des outils

et leur justification . Lexpos est fait par Guillaume Rivalle et Nicolas Espeche,

tous deux salaris de Thomson Reuters, compagnie qui a repris lInstitute for

Scientific Information (ISI), cr dans les annes 1950 par E. Garfield. Le Web of

Science (WoS) et le Web of Knowledge, entre autres, cest eux. Le logiciel

documentaire trs rpandu, Endnote , cest galement eux. Lentreprise est base

New York et Philadelphie, cest trs amricain et cest Big Money . Ils recensent

lheure actuelle environ 10.000 revues scientifiques (dont 1.865 pour le Social

Science Citation Index) dans 42 langues diffrentes. Ils emploient plus de 50.000

salaris dans le monde entier. Ces deux prsentateurs sont des commerciaux

excellents : ils vantent les mrites de leur outil. Le site de Thomson Reuters vaut la

visite2.

5

Pour faire vite, on part du principe que la publication est une trace essentielle de

lactivit scientifique et que la notorit , le fait dtre cit, est un indicateur de

linfluence dun auteur. Qui cite qui, qui est cit par qui et combien de fois On

calcule ainsi un facteur dimpact dun auteur ou dun groupe dauteurs, dun

laboratoire, dune institution, etc.

6

Les revues recenses sont en principe slectionnes en fonction de critres de

srieux .

7

Chaque article recens fait lobjet dune indexation (par mots-cl), les noms des

auteurs sont rpertoris par leur institution de rattachement. L, les problmes

commencent : linstitution est celle mentionne par la revue et cette information est

trs lacunaire, en France et en SHS en particulier. Do la volont de nautoriser que

deux institutions de rattachement par chercheur affiche dans le projet

Normadresse .

8

Les principaux outils (accessibles via le portail de lINIST pour les agents CNRS)

sont les suivants : Search History, Analyse Research, Journal Citation report (JCR),

Cited reference search. En outre, le RSG (Research Service Group) offre des

traitements personnaliss, payants. Le JCR fournit un certain nombre dinformation

sur les revues regroupes en catgories : nom du priodique, nombre darticles

publis pour une anne donne, nombre de fois o un article a t cit (par anne

ou cumul), liste des priodiques qui ont cit un article de ce priodique pour une

anne de rfrence (Cited search). On peut ainsi retrouver des articles cits dans des

revues non incorpores dans la base de donnes du WoS. Malheureusement, les

bugs sont nombreux : on trouve ainsi dans la liste des revues qui citent ARSS (Actes

de la recherche en sciences sociales Oeuvres compltes , et Condition Lit

Double , sic).

9

Toutes ces informations permettent de dterminer le facteur dimpact du

priodique ( Journal Impact Factor ), calcul partir du quotient : nombre de fois

o, en 2007, les articles du priodique X publis en 2005 et 2006 sont cits dans un

ensemble de priodiques de la catgorie, rapport au nombre darticles publis en

2005 et 2006 dans le priodique X. Ainsi, les 77 articles de lAmerican Journal of

Sociology publis en 2005 et 2006 sont rputs avoir t cits 257 fois en 2007, ce

10


2 de 5 06/01/2013 13:26

qui donne un facteur dimpact de 257/77= 3,338.

On peut aussi regarder les choses sous un autre angle (Citing) et regarder dans

quelles revues sont publis les articles cits dans les articles dun priodique donn

pour une anne de rfrence.

11

Un premier coup dil cette base montre quelle analyse 96 revues sous la

rubrique sociologie , 57 sous Sciences sociales et interdisciplinaires et que,

pour tre prcis, il faudrait aussi considrer dautres catgories, notamment

lanthropologie (ainsi la Revue franaise de sociologie est rpertorie dans la

premire catgorie, mais Actes de la Recherche en sciences sociales dans la seconde).

Limmense majorit de ces revues sont amricaines, il y a quelques grandes revues

franaises et allemandes, mais peu ditaliennes ou despagnoles. En gros, tout ce qui

nest pas anglophone est largement sous-reprsent et souffre de bugs vidents (les

umlaut et autres accents aigus, c cdille, etc. sont royalement ignors).

12

Un second expos portait sur Indicateurs de positionnement institutionnel

pour laide la dcision : comment les indicateurs bibliomtriques sont lheure

actuelle utiliss pour guider la politique scientifique (G. Filiatreau, Directrice de

lObservatoire des sciences et des techniques, OST). Il a galement t question du

projet Normadresse , do il ressort que la politique de normalisation des

adresses est en fait un levier pour pouvoir appliquer la bibliomtrie des fins de

pilotage de la recherche. Chercheurs et publiants , lordre dans lequel vous

mentionnez vos institutions de rattachement est tout sauf trivial. Par exemple,

modifier lordre dune publication lautre, cest sexposer ne pas tre recens

dans la base bibliomtrique.

13

Les deux premiers exposs de laprs-midi ont t faits par des chercheurs : Yves

Langevin, Prsident de la section 17 du Comit national (Sciences de la Terre et

Univers lointains) a expos comment en commission 17 les indicateurs

bibliomtriques ont t utiliss, aux cts dautres critres, pour le concours DR2.

14

Deux points importants : Y. Langevin montre comment la commission a construit

une batterie dindicateurs extrmement complexes (et non pas un simple facteur

h brandi comme une hache) : pas moins de 14 indicateurs bibliomtriques ont t

utiliss. Si cette batterie dindicateurs permet, en gros, de confirmer si les candidats

se trouvent ou non dans la premire moiti du classement final, en revanche la

corrlation avec les positions dans les premiers rangs nest pas bonne. Dautres

indicateurs (jugements par les pairs, positions de responsabilit dans le milieu

scientifique, etc.) sont de poids quand il sagit de dterminer les positions dans les

premiers rangs.

15

Un dtail amusant : en section 17, toutes les revues scientifiques sont considres

comme tant de rang A. Y. Langevin souligne que lutilisation de la bibliomtrie

pour lvaluation pnalise les chercheurs qui ont une mobilit thmatique (puisquil

faut plusieurs annes pour se refaire une rputation lintrieur dun groupe

thmatique donn).

16

Enfin, ce systme entrane une srie deffets pervers dont luniformisation des

pratiques scientifiques, la multiplication des publications avec trononnement des

rsultats, etc. Comme Y. Langevin est optimiste, il prdit qu terme ce systme

dvaluation par la bibliomtrie sautodtruira par uniformisation des pratiques.

17

Luc Segoufin, chercheur et membre de la commission dvaluation de lINRIA a

montr sur un exemple prcis, comment si lon prend des bases diffrentes (Google

scholar, Web of Science, Scopus, Citeseer, DBLP), on obtient des mesures dimpact

diffrentes pour un mme chercheur. Cest irrfutable : tout index a un biais, le

mode de calcul des index est dterminant, ce nest pas pertinent pour les

valuations interdomaines. Enfin, le cot des outils payants est lourd (il semblerait

quon ait du mal savoir le montant exact des contrats passs entre le CNRS et ses

partenaires universitaires avec Thomson Reuters...).

18

L. Segoufin a repris dans son expos les grandes lignes du rapport labor par la19


3 de 5 06/01/2013 13:26

Notes

commission dvaluation de lINRIA sur le sujet. Voir http://www.inria.fr/inria/

organigramme/ce.fr.html puis cliquer sur indicateurs bibliomtriques .

On peut y lire en conclusion : Si les indicateurs peuvent donner des tendances

sur un nombre rduit daspects de la vie scientifique, il convient dtre trs

circonspect dans leur usage en raison de la possibilit dinterprtations errones,

des erreurs de mesure (souvent considrables) et des biais dont ils sont affects. Un

usage abusif des indicateurs est facilit par la nature chiffre du rsultat qui

introduit la possibilit dtablir dans lurgence toutes sortes de statistiques, sans se

proccuper den analyser la qualit et le contenu, et en occultant lexamen dautres

lments de la vie scientifique comme, par exemple, linnovation et le transfert

intellectuel et industriel.

20

Suivent un certain nombre de recommandations qui invitent la plus grande

prudence dans le maniement dinformations dont le caractre lacunaire et entach

derreurs est constamment soulign. Dans son expos L. Segoufin conclut en

montrant que ces indicateurs bibliomtriques peuvent ventuellement servir

dgager le haut de la pyramide , mais que le jugement par les pairs reste loutil le

plus sr et, paradoxalement, le moins subjectif...

21

Cette runion a t utile, un certain nombre dobjections ont pu tre exprimes

librement, refltant souvent linquitude par rapport cette question : la notorit

peut-elle tre prise pour un bon indicateur de la qualit scientifique ?

22

Un dernier point : il faut se garder de croire que les rticences lgard de la

bibliomtrie comme outil dvaluation concernent les seules Sciences de lHomme

et de la Socit. Cette runion le montrait clairement, rejoignant ainsi les rflexions

que lon trouve dans cet excellent rapport produit par un groupe de mathmaticiens

amricains3. Vous trouverez l un rappel des principales notions de bibliomtrie, y

compris le mode de calcul du facteur h 4. Une lecture complmentaire nous est

fournie par un chercheur canadien, Yves Gingras5. On y trouve un expos clair des

principes de calcul des indicateurs, du facteur h et du classement de Shanga.

23

Les grandes manuvres actuelles autour de la bibliomtrie me rappellent

trangement les querelles passes autour de la mesure de lintelligence par le

Quotient intellectuel : mesurer rassure, mais lon ne mesure pas ce que lon

croyait ou voulait mesurer.

24

En tout tat de cause, il faut se garder doublier que les articles cits sont le

rsultat de filtrages successifs : ils ne sont que le dernier niveau, troit, dune fuse

plusieurs tages : les chercheurs produisent dabord des communications ou des

rapports, puis rdigent des articles, quils soumettent des revues ; une fraction

variable de ces manuscrits arrive publication, un sur dix ou un sur vingt, parfois

moins. Enfin, un article publi peut, par une srie de processus sociaux que lon

connat fort mal6, parvenir tre cit. La citation est une mesure raisonnable de la

visibilit dun rsultat scientifique. Quand bien mme lon voudrait dpartager les

chercheurs qui travaillent de ceux qui ne travaillent pas ( supposer que cette

expression ait un sens), le critre de citation est une mesure bien rustique. Sous des

parures dobjectivit, cet indicateur rintroduit en fait ce quil prtendait liminer ;

cest--dire, le jugement par les pairs.

25

Il est urgent pour la communaut scientifique en SHS de sinformer et dlaborer

une rflexion collective sur le sujet : que nous le voulions ou non, pour de bonnes

ou de mauvaises raisons, ces outils bibliomtriques sont dj utiliss. Certains de

ces usages peuvent tre relativement raisonnables, mais ils ne sont ni neutres ni

sans effet de retours sur les pratiques de recherche. Dautres usages de ces

indicateurs sont illgitimes. Il reste obtenir que des outils qui ont quelque intrt

ne soient pas utiliss en dpit du sens commun.

26


4 de 5 06/01/2013 13:26

1 Pour une Realpolitik de la recherche au sujet de lenqute du CNRS sur les priodiquesaids par le dpartement des sciences sociales et de la socit, Actes de la recherche en sciencessociales, 2004/5, n. 155, pp.101-104.

2 http://scientific.thomsonreuters.com/products/wos/

3 Texte intgral : http://www.mathunion.org/fileadmin/IMU/Report/Citation Statistics.pdfRsum disponible sur http://www.sauvons larecherche.fr/ spip.php?article2004

4 Voir Hirsch J.E. (2005), An Index to quantify an individuals scientific output, Proceedingsof the National Academy of Sciences, vol. 102, n. 46, pp. 16569-16572.

5 Gingras Y., (2008) La fivre de lvaluation de la recherche. Du mauvais usage de fauxindicateurs. CIRST, UQAM. http://www.cirst.uqpam.ca Voir ci-dessous l Introduction dece mme rapport.

6 Il y a vingt ans, Suzanne Cozzens la NSF Washington stait dj penche sur leproblme : Cozzens S. (1989), What do citations count? Scientometrics, vol. 15, n. 5-6, pp.437-447.

Pour citer cet article

Rfrence lectronique

Laurence Coutrot , Sur lusage rcent des indicateurs bibliomtriques comme outildvaluation de la recherche scientifique , Bulletin de mthodologie sociologique,100 | 2008, [En ligne], Mis en ligne le 01 octobre 2008. URL : http://bms.revues.org/index3353.html. Consult le 05 janvier 2013.

Auteur

Laurence CoutrotCMH-CNRS-ENS-EHESS, [email protected]

Droits d'auteur

BMS


5 de 5 06/01/2013 13:26

Documents

Sur l’Usage Récent Des Indicateurs Bibliométriques Comme Outil d’Évaluation de La Recherche Scientifique