Upload
jean-francois-lutz
View
3.572
Download
0
Tags:
Embed Size (px)
DESCRIPTION
Formation à destination des doctorants donnée le 14/02/2014 dans le cadre du programme "Domptez la Doc" sur la thématique des innovations en cours dans le domaine de l'édition scientifique et notamment : - le peer-reviewing - le contenu et la structure des articles - les modalités d'accès - l'évaluation de l'impact Beaucoup de slides, beaucoup de screenshots, des redites et sans doute des oublis... désolé :)
Citation preview
Page
Publications scientifiques :changements et innovations
Domptez la Doc 11 février 2014
Page
Au programme…
• Introduction
• Processus de contrôle de la qualité
• Typologie et structure des contenus
• Modalités d'accès aux publications
• Evaluation de l'impact des publications
• Conclusion
Domptez la Doc - 11 février 2014 2
Page
Introduction
A quoi sert une publication scientifique (article, communication, livre ou chapitre…) ?
•à communiquer entre chercheurs
Domptez la Doc - 11 février 2014 3
PageDomptez la Doc - 11 février 2014 4
1. Lettre d'Isaac Newtonà Edmond Halley, 1724
S'écrire
PageDomptez la Doc - 11 février 2014 5
2. Lettre de Heinrich Schliemannà Achilleas Postolakas, 187?
S'écrire
PageDomptez la Doc - 11 février 2014 6
3. Fondation de l'Académiedes Sciences, 1666
Se rencontrer
PageDomptez la Doc - 11 février 2014 7
4. Premier congrès Solvay, 1911Se rencontrer
PageDomptez la Doc - 11 février 2014 8
5. Première revue scientifique, 1665
Publier
PageDomptez la Doc - 11 février 2014 9
6. Alpher (27 ans) Bethe & Gamow, 1948
Publier
PageDomptez la Doc - 11 février 2014 10
7. Watson (25 ans) & Crick, 1953
Publier
PageDomptez la Doc - 11 février 2014 11
Science, octobre 2013
Page
Introduction
A quoi sert une publication scientifique (article, communication, livre ou chapitre…) ?
•à communiquer entre chercheurs
•à évaluer la recherche
Domptez la Doc - 11 février 2014 12
PageDomptez la Doc - 11 février 2014 13
Evaluation individuelle (obtention d'un post-doc)
PageDomptez la Doc - 11 février 2014 14
Recommandations pour l'avancement de grade,CNU section 67 (biologie des populations et écologie)
Evaluation individuelle (progression de carrière)
PageDomptez la Doc - 11 février 2014 15
Critères d'éligibilité aux bourses de l'ERC, ERC 2014
Evaluation individuelle (obtention de financements)
PageDomptez la Doc - 11 février 2014 16
Evaluation collective (laboratoire)
Rapport d'évaluation du laboratoire HISCANT-MA, AERES 2012
PageDomptez la Doc - 11 février 2014 17
Evaluation collective (établissement)
Critères d'établissement du classement mondial des universités (Shanghai Ranking)
PageDomptez la Doc - 11 février 2014 18
Evaluation collective (pays)
Classement par pays en fonction de la production scientifique 1996-2012(SCImago Ranking)
PageDomptez la Doc - 11 février 2014 19
Page
Avertissements…
Traits communs entre disciplines et grande hétérogénéité à la fois.
Nombreux exemples issus des sciences "dures" mais évolution rapide et profonde des SHS (digital humanities).
Les évolutions sont très… progressives !
TOUS les changements sont liés au web…
Domptez la Doc - 11 février 2014 20
Page
1. Processus de contrôle de la qualité
Domptez la Doc - 11 février 2014 21
Nick D. Kim, scienceandink.com
Page
1. Processus de contrôle de la qualité
Constat, situation dominante :
• le peer-reviewing "en double aveugle" est la norme pour la plupart des sciences dures…
• … mais ce mécanisme est de plus en plus critiqué (opacité, risques de blocages par rivalité, fraudes non détectées…)
• évaluation a prioriDomptez la Doc - 11 février 2014 22
PageDomptez la Doc - 11 février 2014 23
Article rétracté de Hwang Woo-Suk (biotechnologie)
PageDomptez la Doc - 11 février 2014 24
Publication rétractée de Diederik Stapel (psychologie sociale)
Page
1. Processus de contrôle de la qualité
Evolution 1 : open peer-review anonyme
Principe : tous les échanges entre referee, editor et auteur sont rendus publics ; l'identité du referee reste confidentielle.
Exemple : revues de l'European Geosciences Union
Domptez la Doc - 11 février 2014 25
PageDomptez la Doc - 11 février 2014 26
PageDomptez la Doc - 11 février 2014 27
Page
1. Processus de contrôle de la qualité
Evolution 2 : open peer-review nominatif
Principe : tous les échanges entre referee, editor et auteur sont rendus publics ; l'identité du referee est connue (responsabilisation).
Exemple : BMC Medicine
Domptez la Doc - 11 février 2014 28
PageDomptez la Doc - 11 février 2014 29
Page
1. Processus de contrôle de la qualité
Evolution 3 : public peer-review
Principe : en parallèle du circuit de peer-review classique, les articles sont soumis à commentaire public
Exemple : expérimentation Nature de juin à décembre 2006.
Domptez la Doc - 11 février 2014 30
PageDomptez la Doc - 11 février 2014 31
Page
1. Processus de contrôle de la qualité
Retours :
• 5% des auteurs ont accepté le public PR
• sur les articles soumis à commentaires seuls 54% ont été commentés
• la plupart des commentaires portaient sur la forme et non le fond
• 38 articles commentés sur 1369 reviewés
Domptez la Doc - 11 février 2014 32
Page
1. Processus de contrôle de la qualité
Evolution 4 : les "mega-journals"
Principe : l'importance potentielle de l'article n'est pas prise en compte mais seulement la rigueur de la méthode et du recueil de données
Exemple : PLoS One, PeerJ
Domptez la Doc - 11 février 2014 33
PageDomptez la Doc - 11 février 2014 34
Page
2. Typologie et structure des contenus
Domptez la Doc - 11 février 2014 35
Page
2. Typologie et structure des contenus
Constat, situation dominante :
• on observe une très très grande stabilité dans le forme de l'article scientifique,
Domptez la Doc - 11 février 2014 36
PageDomptez la Doc - 11 février 2014 37
1931 2014
PageDomptez la Doc - 11 février 2014 38
1931 2014
PageDomptez la Doc - 11 février 2014 39
1931 2014
Page
2. Typologie et structure des contenus
Constat, situation dominante :
• on observe une très très grande stabilité dans le forme de l'article scientifique,
• or le web ouvre un nombre important de nouvelles possibilités…
Domptez la Doc - 11 février 2014 40
Page
2. Typologie et structure des contenus
Evolutions 1 : éléments basiques
En-dehors du PDF de l'article on trouve souvent plusieurs éléments :
• liens vers les articles cités et citant,
• nombre de téléchargements de l'article,
• accès direct et distinct aux figures et tables.
Domptez la Doc - 11 février 2014 41
PageDomptez la Doc - 11 février 2014 42
Page
2. Typologie et structure des contenus
Evolutions 2 : l'article enrichi
• navigation facilitée
• un super-résumé en plus de l'abstract
• interview de l'auteur
• lien avec les données
• impact de l'article sur les réseaux sociaux
• …
Domptez la Doc - 11 février 2014 43
PageDomptez la Doc - 11 février 2014 44
PageDomptez la Doc - 11 février 2014 45
PageDomptez la Doc - 11 février 2014 46
PageDomptez la Doc - 11 février 2014 47
Page
2. Typologie et structure des contenus
Evolutions 3 : le lien avec les données
Parmi les sources d'enrichissement des publications, l'accès aux données est un enjeu important dont s'emparent les éditeurs...
Domptez la Doc - 11 février 2014 48
PageDomptez la Doc - 11 février 2014 49
PageDomptez la Doc - 11 février 2014 50
PageDomptez la Doc - 11 février 2014 51
PageDomptez la Doc - 11 février 2014 52
Page
2. Typologie et structure des contenus
Evolutions 4 : l'article-vidéo
Principe : nouvelle forme d'article valable en particulier pour tous les articles concernant des expérimentations et manipulations.
Exemple : Jove
Domptez la Doc - 11 février 2014 53
PageDomptez la Doc - 11 février 2014 54
Page
2. Typologie et structure des contenus
Evolutions 5 : vers une nouvelle forme de revues
Principe : les "épi-journaux" sont des revues scientifiques s'appuyant sur un réservoir d'articles en accès libre.
Exemple : projet Episciences-Math porté par le CNRS (CCSD) et l'Université Joseph Fourier
Domptez la Doc - 11 février 2014 55
PageDomptez la Doc - 11 février 2014 56
Page
3. Modalités d'accès aux publications
Domptez la Doc - 11 février 2014 57
Page
3. Modalités d'accès aux publications
Constat, situation dominante :
• l'accès aux publications scientifiques suppose de payer un abonnement.
• dans les disciplines des sciences dures on observe une concentration des éditeurs et un fort renchérissement du coût des revues.
Domptez la Doc - 11 février 2014 58
PageDomptez la Doc - 11 février 2014 59
RechercheRecherche RédactionRédaction
Peer-reviewingPeer-reviewing
EditionEditionBibliothèquesBibliothèques
Financement privé
Financement public
PageDomptez la Doc - 11 février 2014 60
Indice 1984 Indice 2005
Consumer Price Index 100 188
Higher Ed. Price Index 105 239
Revues Chimie 100 821
Revues Ingénierie 100 701
Revues Médecine 100 766
Brenda Dingley, US Periodicals Prices - 2005
PageDomptez la Doc - 11 février 2014 61
Reed Elsevier 2011 results, 16 février 2012
Page
3. Modalités d'accès aux publications
Evolution générale : développement de l'Open Access
Définition : libre accès, en ligne, à la production scientifique
Historique 1 : naissance dans les années 1990 en lien avec des communautés pionnières (phys.)
Domptez la Doc - 11 février 2014 62
Page
3. Modalités d'accès aux publications
Historique 2 : forte croissance dans les années 2000 sous l'impulsion des universités et des organismes de recherche.
Historique 3 : principe de diffusion par défaut adopté par l'UE (Horizon 2020) et l'ERC.
Domptez la Doc - 11 février 2014 63
Page
3. Modalités d'accès aux publications
Evolution 1 : développement des archives ouvertes (green open access)
Principe : le chercheur dépose son article dans une base visible librement sur le web
Exemple : arXiv, HAL, ORBi, Pétale - ResearchGate
Domptez la Doc - 11 février 2014 64
PageDomptez la Doc - 11 février 2014 65
Articles de Grigory Perelman résolvant la conjecture de Poincaré.
PageDomptez la Doc - 11 février 2014 66
PageDomptez la Doc - 11 février 2014 67
PageDomptez la Doc - 11 février 2014 68
PageDomptez la Doc - 11 février 2014 69
PageDomptez la Doc - 11 février 2014 70
PageDomptez la Doc - 11 février 2014 71
PageDomptez la Doc - 11 février 2014 72
PageDomptez la Doc - 11 février 2014 73
Page
3. Modalités d'accès aux publications
Evolution 2 : développement de revues en accès libre (gold open access)
Principe : les coûts d'édition de la revue sont couverts par d'autres moyens que l'abonnement
Exemples : titres PLoS, Digital Medievalist, plateformes ScieLo, Revues.org
Domptez la Doc - 11 février 2014 74
PageDomptez la Doc - 11 février 2014 75
PageDomptez la Doc - 11 février 2014 76
PageDomptez la Doc - 11 février 2014 77
PageDomptez la Doc - 11 février 2014 78
PageDomptez la Doc - 11 février 2014 79
Page
3. Modalités d'accès aux publications
Evolution 2bis : émergence d'une offre d'ebooks en accès libre (gold open access)
Principe : les coûts d'éditions sont couverts par d'autres dispositifs que la vente (souscription, freemium, subvention…)
Exemples : OpenEdition, OAPEN
Domptez la Doc - 11 février 2014 80
PageDomptez la Doc - 11 février 2014 81
PageDomptez la Doc - 11 février 2014 82
PageDomptez la Doc - 11 février 2014 83
Page
4. Evaluation de l'impact des publications
Domptez la Doc - 11 février 2014 84
Page
4. Evaluation de l'impact des publications
Constat, situation dominante :
• le facteur d'impact (IF) de la revue comme critère essentiel (Eugene Garfield, ISI)
• fondé sur le nombre de citations
• évaluation bibliométrique a posteriori
Domptez la Doc - 11 février 2014 85
PageDomptez la Doc - 11 février 2014 86
Page
4. Evaluation de l'impact des publications
Critiques et limites :
• la valeur porte sur une revue et non un article
• opacité des données
• dérives avérées (autocitations, obligations de citation de la revue…)
• faible prise en compte des disciplines
Domptez la Doc - 11 février 2014 87
PageDomptez la Doc - 11 février 2014 88
Page
4. Evaluation de l'impact des publications
Evolution 1 : prise de conscience "politique"
Mise en garde envers l'évaluation bibliométrique comme unique critère de qualité.
Souhait de voir prise en compte la seule qualité du contenu scientifique et non de la publication.
Domptez la Doc - 11 février 2014 89
PageDomptez la Doc - 11 février 2014 90
PageDomptez la Doc - 11 février 2014 91
Page
4. Evaluation de l'impact des publications
Evolution 2 : nouvelles métriques sur les citations
Eigenfactor et SCImago Journal Ranking
Utilisation du PageRank (Google) pour le calcul d'indicateurs.
Domptez la Doc - 11 février 2014 92
PageDomptez la Doc - 11 février 2014 93
PageDomptez la Doc - 11 février 2014 94
Page
4. Evaluation de l'impact des publications
Evolution 3 : article-level metrics
Quelles données ?
- citations
- commentaires
Domptez la Doc - 11 février 2014 95
PageDomptez la Doc - 11 février 2014 96
Page
4. Evaluation de l'impact des publications
Evolution 3 : article-level metrics
Quelles données ?
- citations
- commentaires
- téléchargements (usage brut)
- enregistrement dans outil biblio (Zotero…)
- relais sur les réseaux sociauxDomptez la Doc - 11 février 2014 97
PageDomptez la Doc - 11 février 2014 98
Page
Conclusion
Le modèle actuel (surtout en STM) est – trop – entre les mains des éditeurs.
Le changement est – un peu – entre les mains des institutions (modes d'évaluation)
Le changement est – beaucoup – entre les mains des (jeunes) chercheurs.
Domptez la Doc - 11 février 2014 99