S’interroger sur nos pratiques de recherche doit être au cœur de nos activités scientifiques. En faisant des pratiques de recherche un objet d’étude, la “recherche sur la recherche” vise à comprendre ce qui rend la recherche digne de confiance.
Elle étudie comment la recherche se fait et est interprétée, de façon à :
- comprendre ce qui rend l’activité de recherche reproductible ;
- définir les interventions utiles à l’amélioration des pratiques de recherche et en évaluer l’impact ;
- améliorer les méthodes d’évaluation de la recherche, des personnes, des équipes ;
- améliorer les méthodes de communication de la recherche entre scientifiques et vers le public.
La recherche sur la recherche s’appuie sur des méthodes qui peuvent être qualitatives ou quantitatives, observationnelles (études méta-épidémiologiques) ou interventionnelles, mais aussi utiliser des méthodes de simulation ou de modélisation.
Prenons pour exemple la recherche sur la reproductibilité. Dans une première approche des études qualitatives ou quantitatives permettent d’évaluer les perceptions à propos du partage des données, nécessaire à la reproductibilité des analyses. Une autre approche est de passer en revue les études publiées dans plusieurs journaux donnés pour évaluer combien des signataires de l’étude seraient d’accord pour partager leurs données. Une étude randomisée peut chercher à évaluer si un incitatif particulier permet d’augmenter le taux de partage.
Partager les données n’est bien sûr pas suffisant pour assurer la reproductibilité. Une autre approche peut alors être de ré-analyser des études partageant leurs données afin d’en reproduire les résultats. On peut aussi prendre un même jeu de données et le faire analyser par différents statisticien(ne)s afin de voir dans quelles mesures leurs conclusions divergent entre analystes. On peut aussi faire varier les différents paramètres de l’analyse statistique pour explorer en quoi cela peut impacter le résultat. Il est même envisageable de reproduire à l’identique certaines expériences afin d’explorer si elles conduisent ou non à des résultats identiques à l’étude princeps. C’est ce qui a été fait par exemple dans le domaine de la cancérologie. On peut aussi vouloir mieux comprendre le phénomène à l’aide d’une approche par modélisation, comme par exemple pour explorer les liens entre la pression à publier (le système du publish or perish) et les problèmes de reproductibilité. Des études méta-épidémiologiques permettent également de mieux comprendre certains biais limitant la reproductibilité, comme par exemple le biais de publication. C’est en triangulant les résultats issus de ces différentes approches que l’on peut finalement cerner ce qui rend un résultat de recherche reproductible.
Florian Naudet
Actualités
Un réseau doctoral sur le partage des données des essais cliniques
Inclure les deux sexes n’augmente pas la taille des échantillons en expérimentation animale
La santé mentale des scientifiques en péril ?
Reproductibilité de la recherche dans différentes disciplines scientifiques
La recherche sur la recherche est un axe important du programme LORIER. A ce titre des équipes du programme s’impliquent dans différents projets de recherche.
OSIRIS (Open Science to Increase Reproducibility in Science)
On pense que les pratiques de science ouverte – par exemple l’enregistrement a priori des protocoles ou le partage des données – permettent d’augmenter la transparence et la reproductibilité de nos recherches. Le consortium Européen OSIRIS –Open Science to Increase Reproducibility in Science – financé par Horizon Europe (Grant agreement n° 101094725) se propose de le vérifier. Pour cela, il vise à développer, implémenter et évaluer l’impact des pratiques de science ouverte sur la reproductibilité et la transparence de la recherche scientifique.
LORIER est impliqué dans deux interventions. La première propose de définir et de tester des méthodes de vérifications de reproductibilité. Pour cela, nous établirons ensemble une liste des pratiques de science ouverte pouvant améliorer la reproductibilité de la recherche scientifique, de les traduire en indices observables puis d’appliquer ces reproductibility checks à une série de projets de recherche afin d’en évaluer l’impact sur la transparence et la reproductibilité.
La seconde intervention vise à mettre en place un observatoire des pratiques de science ouverte puis à en évaluer l’impact sur les pratiques des chercheurs. De plus en plus de tableaux de bords reposant sur des indicateurs de science ouverte – tels que l’enregistrement des protocoles ou l’ouverture des données – sont mis au point, comme par exemple le baromètre français de la Science ouverte. OSIRIS vise à identifier les indicateurs les plus pertinents et à les déployer dans les institutions partenaires pour en évaluer l’impact.
En savoir plus
Si vous êtes intéressés par le développement et/ou l’implémentation de ces « reproducibility checks » ou bien par l’observatoire des pratiques de science ouverte, alors n’hésitez pas à nous contacter pour vous inscrire au groupe d’animation scientifique « reproductibilité » de LORIER.
SHARE-CTD (Sharing and re-using clinical trial data to maximize impact)
La réutilisation des données de la recherche médicale – qui est conditionnée par l’accès aux données individuelles des patients – est censée maximiser la valeur de la recherche médicale. Elle permet de tester différentes hypothèses, de valider des affirmations, d’explorer des controverses, de restaurer des essais non publiés, d’éviter la duplication des efforts et de produire de nouvelles connaissances à partir d’ensembles de données existants. Le partage des données de la recherche clinique, du fait de leur caractère sensible, est néanmoins une pratique complexe qui nécessite d’être mise en place par des équipes expérimentées. L’enjeu du réseau doctoral SHARE-CTD, financé par la commission européenne dans le cadre de l’action Marie Sklodowska-Curie (Grant agreement n° HORIZON-MSCA-2022-DN-01 101120360) est de former une nouvelle génération de chercheurs capables à la fois de rendre possible le partage des données des essais cliniques, de les ré-utiliser mais aussi de mesurer l’impact de cette pratique sur l’écosystème de la recherche clinique.
Onze doctorants seront recrutés dans différentes villes Européennes et participeront à différentes activités de recherche sur la recherche autour de la question du partage des données issues des essais cliniques. De nombreuses mobilités dans les institutions partenaires sont proposées (METRICS à l’université de Stanford, YODA à l’université de Yale, etc.). SHARE-CTD a aussi pour vocation de créer du contenu pédagogique et de le diffuser à un public large avec pour objectif une adoption durable des bonnes pratiques en matière de partage des données à travers toute l’Europe. LORIER sera impliqué dans la diffusion auprès de l’Inserm des productions de SHARE-CTD.
Le recrutement des doctorants est prévu pour l’année 2024. Si vous êtes intéressés pour plus de détails, contactez-nous.
La recherche sur la recherche est un domaine nouveau qui se structure en tant que champ de recherche à part entière, très internationalisé et très dynamique, avec le développement rapide de nombreux centres et équipes comme par exemple :
La recherche sur la recherche s’intéresse à toutes les disciplines. A l’international, l’Association for Interdisciplinary Meta-Research and Open Science (AIMOS) fédère des travaux sur plusieurs d’entre elles. En Europe le domaine se structure tout particulièrement à travers différents réseaux interconnectés, les « reproducibility networks », comme par exemple le réseau anglais et allemand.
La forte expansion du domaine de la recherche sur la recherche et son caractère très international exigent une démarche institutionnelle et scientifique dynamique, fédérant les différentes initiatives déjà en cours à l’Inserm. N’hésitez pas à nous contacter pour signaler votre intérêt, rapporter des initiatives et nous faire part de vos questions et réflexions.
