A la recherche de la recette pour construire une science plus reproductible en 2025
Sous un titre un peu provocateur, l’article de John P. A. Ioannidis « Why Most Published Research Findings Are False », publié en 2005, a mis en lumière un problème de taille : une grande partie des résultats scientifiques publiés dans le domaine biomédical ne serait pas reproductible. Et en 2016, dans un sondage de la revue Nature, jusqu’à 90 % des chercheurs estimaient qu’il existe bien « une crise de la reproductibilité », alimentant encore davantage les débats. Triste constat, que l’on préférerait ne pas avoir à évoquer en cette période festive.
C’est pourtant d’autant plus nécessaire que les problèmes de reproductibilité perdurent, y compris pendant les fêtes et pour beaucoup d’expériences. Par exemple, avez-vous déjà tenté de cuisiner des sapins de Noël à la meringue ? A LORIER, nous avons fait l’expérience, et force a été de constater qu’il n’était pas si facile de reproduire les jolis petits sapins présentés sur la photo accompagnant la recette.
Pour analyser une situation si déplaisante, il nous a fallu d’abord comprendre que la reproductibilité est un concept présentant 3 facettes différentes selon Steven Goodman et ses collègues :
- D’abord, la reproductibilité des méthodes qui consiste à disposer d’une méthode qui nous permet de répéter exactement une expérience. Dans notre cas, cela suppose que la recette des sapins de Noël en meringue soit suffisamment détaillée pour que nous puissions cuisiner à l’identique.
- Ensuite, la reproductibilité des résultats qui consiste à ce qu’on puisse obtenir des résultats identiques si on suit scrupuleusement la méthode décrite. En ce qui concerne nos meringues, force est de constater qu’en dépit d’un suivi très scrupuleux de la recette, nos meringues ressemblaient plutôt à des petites crottes vertes qu’à de mignons petits sapins.
- Enfin, la reproductibilité des inférences qui concerne la capacité à tirer les mêmes conclusions à partir des résultats obtenus, même s’ils ne sont pas exactement identiques. Et dans notre cas, les invités au repas étaient unanimes, non seulement les sapins étaient moches, mais en plus ils n’étaient pas bons. Ils ont donc fini à la poubelle, comme la plupart des expériences scientifiques ratées !
A ce stade de l’analyse, nous n’avions aucun doute : les meringues ratées ne pouvaient l’être de notre fait ! Cela ne pouvait être qu’un problème de reproductibilité des méthodes, et la recette était sans doute à blâmer. Mais comme à LORIER nous avons le goût de la recherche sur la recherche, nous avons décidé d’explorer cela de manière beaucoup plus rigoureuse.
Avec nos collègues du consortium OSIRIS (Open Science to Improve Reproducibilty in Research) et avec des étudiants en médecine de Rennes, nous avons conçu une expérience pour vérifier si améliorer la reproductibilité des méthodes (i.e. améliorer la recette) permet d’améliorer la reproductibilité des résultats (i.e. c’est beau et c’est bon) et la reproductibilité des inférences (les gens veulent manger ces meringues). Nous avons donc conçu une étude randomisée contrôlée, dans laquelle des étudiants en médecine, des collègues et des amis ont été tirés au sort dans deux groupes. Ils devaient tous préparer plusieurs sapins de Noël en meringue. Soit ils recevaient une recette classique, soit ils recevaient une version améliorée grâce à un pâtissier. La version améliorée était réalisée conformément aux lignes directrices TiDieR (Template for Intervention Description and Replication, une liste d’items à ne pas oublier pour décrire des interventions complexes, comme par exemple des pratiques chirurgicales ou une psychothérapie) et était complétée par une vidéo détaillant les étapes clefs de la recette. Cet essai, réalisé avec la rigueur d’une étude clinique, s’est conclu par une grande vente de meringues lors d’un événement public à Rennes, permettant de sensibiliser un large public au concept de reproductibilité.
Mais voilà, il faut se rendre à l’évidence car les résultats parlent d’eux-mêmes : les meringues réalisées en suivant soigneusement la recette améliorée n’étaient ni plus réussies, ni plus belles, ni meilleures et ne se sont pas vendues plus vite que celles préparées avec la recette initiale. Une option aurait été de mettre la poussière sous le tapis et de ne pas parler de ce tragique épisode, dès lors qu’il remet en question notre narcissisme à la fois en tant que cuisiniers et que scientifiques.
Mais franchement, les petits sapins de Noël en meringue -et tous les participants que nous remercions- méritent mieux. Nous avons donc choisi de rendre ces résultats publics, à la fois avec un pre-print nous permettant une communication rapide dans l’attente d’une publication, mais aussi au travers d’un article pédagogique publié à l’occasion des fêtes dans la revue PLOS BIOLOGY.
En réalité, cette expérience visait avant tout à parler de la (non) reproductibilité de la recherche à un public large, avec des termes simples et en gardant un regard positif et plein de confiance. Tout au long de cette étude, nous avons pu expliquer quelles pratiques de recherche permettent d’améliorer vraiment la reproductibilité comme l’enregistrement du protocole et le partage des données. L’analyse a été réalisée en direct avec les participants à l’étude. Cela nous a permis d’aborder de manière ludique, pratique et pédagogique ces aspects clefs d’une recherche digne de confiance. Et franchement, même si les meringues n’étaient pas parfaites, et certaines franchement bizarres, le public s’est régalé.
En pratique, le mystère de la (non)reproductibilité des petits sapins de Noël en meringue reste non résolu. Il reste sans doute des paramètres inconnus et des degrés de liberté non maîtrisés, responsables de résultats non reproductibles : qualité des ingrédients, température de four inadéquate malgré les recommandations, ou même des facteurs imprévus comme l’humidité ambiante. Et précisément, ces degrés de liberté, nous les rencontrons sous une forme ou une autre dans nos cuisines comme dans nos labos. Dans cette affaire, il est aussi très clair que l’expérience, du cuisinier comme du chercheur, est un facteur important. Mais il y en a d’autres comme, par exemple, la ténacité pour apprendre, la lucidité sur ses compétences, le fait de s’y mettre à plusieurs, … Cela soulève aussi la nécessité d’avoir dans nos laboratoires du personnel technique compétent sur des postes stables afin de maintenir un certain savoir-faire lorsque des méthodes ont été développées.
A ce propos, que vous soyez débutant ou expert en pâtisserie, la recette est ici (dans sa version améliorée), nous vous laissons cuisiner et nous envoyer une photo de vos créations. Vous pouvez nous faire part également de votre analyse critique de votre expérience.
Constant Vinatier et Florian Naudet
Toute l’équipe de LORIER vous adresse ses meilleurs vœux pour une année 2025
placée sous le signe de la recherche éthique et responsable
Et toutes nos meilleures meringues pour 2025 !
