Lettre à la CRUS concernant une évaluation bibliométrique
[ français | deutsch | english ]
Swiss Association for Research in Information Technology (SARIT)
Le Président
Prof. Dr. Daniel Thalmann
EPFL-VRlab
1015 Lausanne
Au
Président de la Conférence des Recteurs
des Universités Suisses (CRUS)
Monsieur le Professeur Hans Weder
Case postale 607
3000 Berne 9
Lausanne, 16.01.2008
CRUS — Projet d'analyse des prestations de recherche des universités suisses basé sur des critères bibliométriques
Monsieur le Président,
Nous avons appris que la CRUS a démarré un projet visant à recueillir les données bibliométriques afin d'analyser les performances de recherche des universités suisses (Projet «Bibliométrie 2007»).
Ce projet soulève les plus grandes réticences auprès des soussignés, professeurEs d'informatique des universités suisses, représentés par SARIT [1], pour plusieurs raisons:
1. La mesure de la performance scientifique par une analyse bibliométriques suscite des comportements préjudiciables à l'informatique et à la science elle-même (en favorisant la quantité par rapport à la qualité, la publication de résultats incrémentaux de moins en moins significatifs, l'apparition de plus en plus fréquente de co-auteurs dont les contributions sont négligeables, la complaisance des citations croisées, pour ne citer que quelques problèmes bien connus). Nous nous référons aussi à cet égard à l'article paru récemment, «Stop the numbers game» de David Parnas [2], l'un des plus grands chercheurs en informatique
2. Les enquêtes bibliométriques sont notoirement peu fiables, voir à ce sujet l'article "Pour l'évaluation de l'informatique au moyen d'analyses bibliométriques" de Friedemann Mattern [3]. En particulier, la «fréquence de citation» ne rend pas compte de la qualité des chercheurs, car
- elle dépend souvent plus de la reconnaissance sociale du chercheur que de l'excellence de son travail scientifique
- elle favorise les chercheurs qui traitent préférentiellement de thèmes à la mode
- elle avantage les domaines de connaissance qui traditionnellement publient des articles plus courts par rapport à ceux dont les publications sont plus longues
- elle ne peut différencier le respect et l'importance d'une publication, ou autrement dit distinguer la mode de la substance
- elle peut avantager les auteurs de «surveys», qui sont très frequemment cités, par rapport aux auteurs d'articles de pointe
- un article polémique voire erroné peut être beaucoup critiqué et par conséquent beaucoup cité.
S'ajoutent encore à ces critiques les distorsions par l'absence de distinction entre les citations externes et personnelles, les «cartels de citation» et les grandes listes d'auteurs. Il en va de même du «facteur d'impact», qui malgré des avertissements pertinents et répétés (par exemple, Amin et Mabe 2000 [4]), est encore utilisé à tort aujourd'hui comme critère d'appréciation individuel d'une personne.
3. Les mesures d'impact à l'aide des indices de citation de l'ISI fournissent dans le domaine de l'informatique des résultats très souvent erronés. Cela s'explique surtout par le fait que la culture de publication de l'informatique est très différente de celle des autres sciences. Alors que dans d'autres domaines scientifiques, les publications dans les magazines prestigieux sont plus reconnues que les travaux publiés lors de conférences, il n'en va pas de même en informatique: l'acceptation de contributions lors de conférences de renom, voire de certains ateliers, est au moins aussi sélective que dans les revues de premier ordre. Étant donné que les indices de citation de l'ISI ne référencent que les contributions d'articles de revues scientifiques, et ne couvrent pas les comptes-rendus de conférences, leur utilisation comme facteurs d'évaluation mènerait donc à de fausses conclusions.
Par ailleurs, certains magazines d'informatique, qui se sont forgé une excellente réputation, ne sont malheureusement pas couverts par ces indices en raison de leur âge relativement jeune.
Les signataires ne s'opposent pas à une évaluation des prestations de recherche du corps professoral en informatique. Nous demandons cependant qu'une telle appréciation soit basée sur des critères d'évaluation scientifiquement reconnus et légitimes. Dans l'état actuel des connaissances, seule une évaluation par des experts (peer review) nous semble apte à répondre à ces attentes, mais certainement pas une analyse purement bibliométrique. Une telle analyse, même soigneusement menée, pourrait tout au plus servir à affiner l'évaluation d'une institution ou éventuellement d'un chercheur en informatique. Mais l'application irréfléchie d'une mesure bibliométrique automatisée et recouvrant toutes les disciplines scientifiques de manière indifférenciée s'avérerait gravement nuisible à la science et à l'informatique en particulier.
Pour reprendre les mots d'Albert Einstein : «Pas tout ce qui compte peut être compté, et pas tout ce qui peut être compté, compte».
Prof. Daniel Thalmann Président SARIT Ainsi que les professeures et professeurs d'informatique suivants:
1. Tous les Professeurs d'Informatique de Suisse sont normalement membres de SARIT
2. David Parnas (2007). "Stop the numbers game", Communications of the ACM 50, 11: 19-21.
3. Friedemann Mattern (2002). "Zur Evaluation der Informatik mittels bibliometrischer Analyse", Informatik-Spektrum 25, 1: 22-32. Friedemann Mattern (2002). "Bibliometric Evaluation of Computer Science — Problems and Pitfalls" http://www.vs.inf.ethz.ch/publ/slides/Mattern-Bibliometry-SARIT06.pdf
4. Mayur Amin, Michael Mabe (2000). Impact Factors: Use and Abuse. Perspectives in Publishing, No. 1 (October 2000). Elsevier Science. 1-6.
Signatures
| Name / Nom | Institution |
| Prof. Andrea Back | U. St. Gallen |
| Prof. François Bavaud | U. Lausanne |
| Prof. Abraham Bernstein | U. Zürich |
| Prof. Hanspeter Bieri | U. Bern |
| Prof. Torsten Braun | U. Bern |
| Prof. Didier Buchs | U. Genève |
| Prof. Joachim Buhmann | ETH Zürich |
| Prof. Horst Bunke | U. Bern |
| Prof. George Candea | EPF Lausanne |
| Prof. André Csillaghy | Fachhochschule Nordwestschweiz |
| Prof. Jacques Duparc | U. Lausanne |
| Prof. Boi Faltings | EPF Lausanne |
| Prof. Pascal Felber | U. Neuchâtel |
| Prof. Pascal Fua | EPF Lausanne |
| Dr. Patrick Furrer | Euresearch |
| Prof. Harald Gall | U. Zürich |
| Prof. Walter Gander | ETH Zürich |
| Prof. Benoît Garbinato | U. Lausanne |
| Prof. Solange Ghernaouti-Hélie | U. Lausanne |
| Prof. Eduard Glatz | Fachhochschule Ostschweiz |
| Prof. Martin Glinz | U. Zürich |
| Prof. Gaston Gonnet | ETH Zürich |
| Prof. François Grize | U. Lausanne |
| Prof. Markus Gross | ETH Zürich |
| Prof. Thomas R. Gross | ETH Zürich |
| Prof. Matthias Grossglauser | EPF Lausanne |
| Prof. Dominik Gruntz | Fachhochschule Nordwestschweiz |
| Prof. Jürg Gutknecht | ETH Zürich |
| Prof. Rolf Haenni | Berner Fachhochschule |
| Prof. Jürgen Harms | U. Genève |
| Prof. Pius Hättenschwiler | U. Fribourg |
| Prof. Matthias Hauswirth | U. Lugano |
| Prof. Michael Hess | U. Zürich |
| Prof. Lorenz Hilty | EMPA |
| Prof. Hans Hinterberger | ETH Zürich |
| Prof. Béat Hirsbrunner | U. Fribourg |
| Prof. Juraj Hromkovic | ETH Zürich |
| Prof. Jean-Pierre Hubaux | EPF Lausanne |
| Prof. Paolo Ienne | EPF Lausanne |
| Prof. Rolf Ingold | U. Fribourg |
| Prof. Gerhard Jäger | U. Bern |
| Prof. Mehdi Jazayeri | U. Lugano |
| Prof. Rolf Jufer | Berner Fachhochschule |
| Prof. Gerhard F. Knolmayer | U. Bern |
| Prof. Jürg Kohlas | U. Fribourg |
| Prof. Dimitri Konstantas | U. Genève |
| Prof. Peter Kropf | U. Neuchâtel |
| Prof. Martin Kropp | Fachhochschule Nordwestschweiz |
| Prof. Viktor Kuncak | EPF Lausanne |
| Prof. Friedemann Mattern | ETH Zürich |
| Dr. Jacques Menu | U. Genève |
| Prof. Hansjürg Mey | Prof. em. U. Bern |
| Prof. Bernard Moret | EPF Lausanne |
| Prof. Peter Müller | ETH Zürich |
| Prof. Thomas Myrach | U. Bern |
| Prof. Oscar Nierstrasz | U. Bern |
| Prof. Jürg Nievergelt | Prof. em. ETH Zürich |
| Prof. Martin Odersky | EPF Lausanne |
| Prof. Renato Pajarola | U. Zürich |
| Prof. Christine Parent | U. Lausanne |
| Prof. Cesare Pautasso | U. Lugano |
| Prof. Christian Pellegrini | U. Genève |
| Prof. Claude Petitpierre | EPF Lausanne |
| Prof. Rolf Pfeifer | U. Zürich |
| Prof. Yves Pigneur | U. Lausanne |
| Prof. Bernhard Plattner | ETH Zürich |
| Prof. Marc Pollefeys | ETH Zürich |
| Prof. Thierry Pun | U. Genève |
| Prof. Lutz Richter | Prof. em. U. Zürich |
| Prof. José D. P. Rolim | U. Genève |
| Prof. Timothy Roscoe | ETH Zürich |
| Prof. Ivo Sbalzarini | ETH Zürich |
| Prof. Helmut Schauer | U. Zürich |
| Prof. André Schiper | EPF Lausanne |
| Prof. Heiko Schuldt | U. Basel |
| Prof. Gerhard Schwabe | U. Zürich |
| Prof. Stefano Spaccapietra | EPF Lausanne |
| Prof. Burkhard Stiller | U. Zürich |
| Prof. Kilian Stoffel | U. Neuchâtel |
| Prof. Thomas Strahm | U. Bern |
| Prof. Peter Stucki | Prof. em. U. Zürich |
| Prof. Sabine Süsstrunk | EPF Lausanne |
| Prof. Nesime Tatbul | ETH Zürich |
| Prof. Stephanie Teufel | U. Fribourg |
| Prof. Daniel Thalmann | EPF Lausanne |
| Prof. Marco Tomassini | U. Lausanne |
| Prof. Christian Tschudin | U. Basel |
| Prof. Ulrich Ultes-Nitsche | U. Fribourg |
| Prof. Serge Vaudenay | EPF Lausanne |
| Prof. Thomas Vetter | U. Basel |
| Prof. Roger Wattenhofer | ETH Zürich |
| Prof. Alain Wegmann | EPF Lausanne |
| Prof. Eric Wehrli | U. Genève |
| Prof. Emo Welzl | ETH Zürich |
| Prof. Peter Widmayer | ETH Zürich |
| Prof. Carl August Zehnder | Prof. em. ETH Zürich |