Reproductibilité

Les résultats de nombreuses recherches sont difficiles -parfois impossibles- à reproduire. La science avance par essais et erreurs : ne pas reproduire un résultat n’est pas toujours un échec mais fait partie d’un processus qui est censé, in fine, s’autocorriger.

D’ailleurs, lorsque l’on planifie une expérience scientifique, on accepte un risque -relativement faible- de conclure à tort qu’un effet existe. Chaque étape de la méthode scientifique est capitale pour garantir que ce risque soit totalement maitrisé. Mais en pratique, de nombreux problèmes peuvent venir impacter ce processus. Il peut s’agir d’insuffisances méthodologiques, d’un manque de puissance des expériences, d’une flexibilité trop importante dans la réalisation des analyses statistiques, de la publication sélective des résultats, etc.

Des travaux ont été menés pour évaluer la reproductibilité des résultats publiés dans la littérature scientifique, par exemple dans les domaines de la psychologie et de la biologie du cancer. Ils ont permis de montrer que des difficultés à reproduire les résultats d’expériences publiés dans des revues considérées comme prestigieuses sont fréquentes.

La notion de reproductibilité recoupe différentes facettes d’une recherche digne de confiance. Ainsi, on peut distinguer :

• la reproductibilité des méthodes, qui indique que les procédures et les données de l’étude sont décrites avec suffisamment de précision pour pouvoir être exactement répétées.
• la reproductibilité des résultats, qui correspond à l’obtention réelle de résultats identiques lors de la réalisation indépendante d’une nouvelle étude dont les procédures sont identiques à celles de l’étude initiale.
• la reproductibilité des inférences, qui va encore au delà, et prend en compte l’interprétation des résultats. Elle correspond au fait que des conclusions identiques puissent être faites à partir d’une ré-analyse de l’étude originale ou d’une nouvelle expérience.

Tous les aspects de la reproductibilité peuvent être fortement améliorés par une démarche de science ouverte, et par de nombreux outils comme ceux présentés ci-dessous .

Florian Naudet