S’interroger sur nos pratiques de recherche doit être au cœur de nos activités scientifiques. En faisant des pratiques de recherche un objet d’étude, la “recherche sur la recherche” vise à comprendre ce qui rend la recherche digne de confiance.

Elle étudie comment la recherche se fait et est interprétée, de façon à :

  • comprendre ce qui rend l’activité de recherche reproductible ;
  • définir les interventions utiles à l’amélioration des pratiques de recherche et en évaluer l’impact ;
  • améliorer les méthodes d’évaluation de la recherche, des personnes, des équipes ;
  • améliorer les méthodes de communication de la recherche entre scientifiques et vers le public.

La recherche sur la recherche s’appuie sur des méthodes qui peuvent être qualitatives ou quantitatives, observationnelles (études méta-épidémiologiques) ou interventionnelles, mais aussi utiliser des méthodes de simulation ou de modélisation.

Prenons pour exemple la recherche sur la reproductibilité. Dans une première approche des études qualitatives ou quantitatives permettent d’évaluer les perceptions à propos du partage des données, nécessaire à la reproductibilité des analyses. Une autre approche est de passer en revue les études publiées dans plusieurs journaux donnés pour évaluer combien des signataires de l’étude seraient d’accord pour partager leurs données. Une étude randomisée peut chercher à évaluer si un incitatif particulier permet d’augmenter le taux de partage.

Partager les données n’est bien sûr pas suffisant pour assurer la reproductibilité. Une autre approche peut alors être de ré-analyser des études partageant leurs données afin d’en reproduire les résultats. On peut aussi prendre un même jeu de données et le faire analyser par différents statisticien(ne)s afin de voir dans quelles mesures leurs conclusions divergent entre analystes. On peut aussi faire varier les différents paramètres de l’analyse statistique pour explorer en quoi cela peut impacter le résultat. Il est même envisageable de reproduire à l’identique certaines expériences afin d’explorer si elles conduisent ou non à des résultats identiques à l’étude princeps. C’est ce qui a été fait par exemple dans le domaine de la cancérologie. On peut aussi vouloir mieux comprendre le phénomène à l’aide d’une approche par modélisation, comme par exemple pour explorer les liens entre la pression à publier (le système du publish or perish) et les problèmes de reproductibilité. Des études méta-épidémiologiques permettent également de mieux comprendre certains biais limitant la reproductibilité, comme par exemple le biais de publication. C’est en triangulant les résultats issus de ces différentes approches que l’on peut finalement cerner ce qui rend un résultat de recherche reproductible.

Florian Naudet

Actualités

Voir toutes les actualités

La recherche sur la recherche est un domaine nouveau qui se structure en tant que champ de recherche à part entière, très internationalisé et très dynamique, avec le développement rapide de nombreux centres et équipes comme par exemple :

La recherche sur la recherche s’intéresse à toutes les disciplines. A l’international, l’Association for Interdisciplinary Meta-Research and Open Science (AIMOS) fédère des travaux sur plusieurs d’entre elles. En Europe le domaine se structure tout particulièrement à travers différents réseaux interconnectés, les « reproducibility networks », comme par exemple le réseau anglais et allemand.

Mise à jour le 04/10/2023.

La forte expansion du domaine de la recherche sur la recherche et son caractère très international exigent une démarche institutionnelle et scientifique dynamique, fédérant les différentes initiatives déjà en cours à l’Inserm. N’hésitez pas à nous contacter pour signaler votre intérêt, rapporter des initiatives et nous faire part de vos questions et réflexions.

Les ressources

Voir toutes les ressources