Nous savons tous plus ou moins comment fonctionne la science. Les scientifiques font des expériences puis rédigent des articles pour faire connaître leurs découvertes. Dans les revues scientifiques, les articles sont examinés par d'autres scientifiques avant d'être publiés, pour s'assurer que la méthode scientifique est correctement suivie. Mais peut-on pour autant faire confiance aux articles scientifiques ? Et sinon, à quelles sources scientifiques pouvons-nous nous fier ?
Les problèmes
Quand le hasard s’en mêle...
Dans le monde réel, de nombreuses expériences scientifiques sont rendues plus complexes par la présence de phénomènes aléatoires. Intéressons-nous à l’exemple des sourciers, qui prétendent pouvoir trouver de l'eau dans le sol à l'aide d'une branche en forme de Y. Aujourd'hui, nous savons que cette technique ne fonctionne pas, car nous l'avons testée à plusieurs reprises et avons conclu qu’elle était inefficace. Mais pourquoi y a-t-on cru pendant des siècles ? Lorsqu'il essaie de trouver de l'eau, un sourcier peut en trouver par chance, il est donc difficile de détecter si le sourcier a un vrai talent ou s'il est simplement chanceux. Les outils mathématiques appropriés pour distinguer correctement les deux cas n'ont été développés que récemment dans l'histoire, au XIXème siècle.
Imaginons qu'on veuille tester si un sourcier est capable de trouver de l'eau. Une expérience possible consiste à enterrer plusieurs tuyaux dans le sol (cette expérience a réellement été faite). Dans certains tuyaux, de l'eau est envoyée, tandis que d'autres restent vides. Disons par exemple qu'il y a 10 tuyaux et que la moitié d'entre eux contiennent de l'eau. Maintenant, un candidat sourcier passe au-dessus de chaque tuyau et essaie de dire s'il contient de l'eau.
Imaginons que le candidat n°1 ne donne une réponse correcte que la moitié du temps, alors il est clair qu'il s'agit d'un escroc car il ne fait pas mieux que ce qui est attendu par hasard. D'un autre côté, imaginons un candidat n°2 qui a raison pour les 10 tuyaux, il semble alors crédible que son talent soit authentique, non ? Enfin, un candidat n°3 réussit 8 fois, mais fait 2 erreurs. Son talent est-il réel ? Ce n'est pas évident à dire…
Les scientifiques ont développé un outil mathématique pour résoudre ce problème. C'est ce qu'on appelle un test statistique. Cela permet de calculer la probabilité d’avoir un résultat « aussi bon » par hasard dans le cas où le choix est fait au hasard. Les scientifiques appellent cette probabilité une « p-value » (pour Probability Value, soit valeur de probabilité). S'il est peu probable que l'observation se produise par hasard, on peut dire que le candidat sourcier a probablement un vrai talent. Si le résultat est susceptible de survenir par hasard, cela signifie que le sourcier est un escroc (ou pour être plus précis, que son talent n'est pas assez fiable pour être mis en évidence par un test de cette taille). Alors qu'est-ce que ça donne pour nos 3 candidats imaginaires ?
Candidat n°1 : S’est trompé la moitié du temps => Probabilité d'être aussi bon par hasard: 74% (très probable) => De toute évidence un escroc
Candidat n°2 : Correct les 10 fois => Probabilité d'être aussi bon par hasard: 0,4% (très improbable) => Probablement un talent authentique
Candidat n°3 : Correct 8 fois sur 10 => Probabilité d'être aussi bon par hasard: 10% (assez probable en fait) => Cela pourrait être juste du hasard
Combien « improbable » doit être le résultat pour convaincre les scientifiques qu'un sourcier a un vrai talent ? La convention pour les tests statistiques est d'exiger une p-value inférieure à 5% ou 1%. Avec ce critère, un article affirmant qu’un sourcier peut trouver de l’eau avec un candidat comme le n°3 serait rejeté par les revues scientifiques comme « non statistiquement significatif », tandis qu'un article affirmant que la technique du sourcier fonctionne avec un candidat comme le n°2 pourrait être publié. Notez qu'un article avec des résultats comme le candidat n°1 ou n°3 pourrait quand même être publié du moment qu'il ne conclut pas qu'il a prouvé l’efficacité de la technique.
Tout cela a une implication importante : certains scientifiques vont faire de fausses découvertes à cause de la malchance. Supposons qu'un scientifique fasse une expérience avec un sourcier et obtienne un résultat parfait comme avec le candidat n°2. La probabilité d'obtenir un aussi bon score par hasard est de 0,4%, ce qui est suffisamment faible pour être considéré comme « statistiquement significatif » et donc publiable. Mais même si un « coup de chance » avec une probabilité de 0,4% semble très faible, il se produira en moyenne pour 0,4% des expériences. Cela signifie que si 1000 expériences sont faites avec des sourciers, et même en l’absence d’efficacité de cette technique, environ 40 expériences vont obtenir un score parfait de 10/10 avec leur candidat et penseront alors avoir prouvé l’efficacité de la technique. Ce genre de problème est fréquent en pratique, car il y a des milliers d'articles scientifiques publiés chaque jour, il y a donc probablement plusieurs articles par jour qui prétendent découvrir des choses qui ne sont en fait que dues au hasard.
Conclusion: Il y a tellement de publications scientifiques que certaines seront forcément « malchanceuses » et prétendront confirmer des hypothèses qui sont en réalité fausses.
Autres problèmes des publications scientifiques
Nous avons expliqué ci-dessus pourquoi les scientifiques peuvent parfois faire de fausses découvertes à cause du hasard. Mais d'autres problèmes peuvent conduire à encore plus de résultats incorrects publiés dans des revues scientifiques :
Biais de publication : les découvertes surprenantes sont plus intéressantes, donc un article affirmant que la technique des sourciers fonctionne (ce qui est inattendu) est plus susceptible d'être publié qu'un article constatant qu’elle ne fonctionne pas, comme des centaines d'articles auparavant. En effet, les revues scientifiques préfèrent les résultats « intéressants » plutôt qu'« ennuyeux ». Un exemple concret de ce problème est que les études médicales constatant qu’un médicament est efficace sont plus souvent publiées que celles qui trouvent qu'un médicament est inefficace.
Protocole expérimental incorrect : si l'expérience n'est pas soigneusement contrôlée, certains biais peuvent conduire à de fausses découvertes. Par exemple, lors des tests de médicaments, dire aux patients s'ils ont un vrai médicament ou un placebo (un faux médicament) les influencera et conduira à un meilleur rétablissement pour ceux qui pensent avoir le vrai médicament, même si le médicament est inefficace (c’est ce qu’on appelle l’effet placebo).
Tests statistiques malhonnêtes : les scientifiques ont souvent beaucoup de pression pour publier de nombreux articles. Certains sont alors tentés de tricher un peu avec des tests statistiques. Par exemple, avec notre test de sourciers, imaginez un scientifique qui propose plusieurs essais à un candidat, mais ne mentionne que le résultat le plus réussi dans l'article, sous-estimant ainsi la probabilité que ce résultat puisse se produire par hasard.
Fraude pure et simple : c'est rare mais cela arrive parfois. Certains scientifiques inventent délibérément des résultats qui ne correspondent pas du tout aux observations réelles.
Pourquoi la science fonctionne malgré tout
Avec tous les problèmes que j'ai exposés dans la section précédente, il pourrait sembler que la science a tellement de failles qu’on ne peut pas lui faire confiance. Cependant, je crois fermement que nous pouvons en réalité faire confiance à la science, car elle a une solution pour surmonter la plupart de ces problèmes évoqués : la reproduction des résultats.
La reproduction des expériences est très importante en sciences. Même si un article est affecté par l'un des problèmes que nous avons mentionnés, il n'y a aucune raison pour qu'un laboratoire indépendant rencontre exactement le même problème. Par exemple, si une étude trouve accidentellement (ou frauduleusement) que les sourciers peuvent trouver de l’eau, d'autres scientifiques trouveront cela intéressant et essaieront de contredire ou de confirmer la découverte. Même si l'article d'origine présente des problèmes, il est peu probable que le nouvel article présente les mêmes. Bien sûr, ça peut être le deuxième article qui a tort, donc si deux articles ne sont pas d'accord il peut être intéressant de faire des recherches supplémentaires.
La chose importante à retenir est que vous ne devriez jamais croire une hypothèse qui est soutenue par un seul article scientifique. Faire confiance à un article seul peut avoir de terribles conséquences. Par exemple, la controverse sur les vaccins et l'autisme est née d'un seul article frauduleux publié en 1998. Le lien de causalité revendiqué n'a pas été confirmé par de nouvelles études qui ont tenté de reproduire les résultats, nous sommes donc sûrs maintenant qu'il n'y a aucun lien entre le vaccin ROR et l'autisme. Cependant, la médiatisation de cet article a conduit à une forte baisse du taux de vaccination, entraînant de nombreux décès évitables causés par les maladies contre lesquelles ce vaccin protège.
Plus récemment, un problème similaire s'est produit avec l’affaire Séralini (2012). L'article affirmait que des rats nourris avec du maïs génétiquement modifié traité avec du Roundup étaient plus susceptibles de développer des tumeurs. L'article a été critiqué par d'autres scientifiques comme étant le produit de tests statistiques incorrects, ce qui signifie que les observations auraient facilement pu être le résultat du hasard. L'article a ensuite été rétracté, ce qui signifie que la revue reconnaît qu'elle n'aurait pas dû le publier. Mais la réfutation et la rétractation ont été beaucoup moins médiatisées, de sorte que le public se souvient surtout de la fausse découverte, et croit très largement que manger des aliments génétiquement modifiés est dangereux, même si le consensus scientifique les considère comme sûrs.
De l'article au consensus
Pour toutes les raisons que nous avons expliquées précédemment, un article scientifique seul peut être erroné pour de nombreuses raisons. Et deux articles alors ? Là ça dépend. Si deux articles trouvent quelque chose qui contredit 50 autres articles qui ont fait la même expérience, leur résultat est encore susceptible d'être faux. Cependant, si ce sont les deux seuls articles faisant cette expérience et qu'ils se confirment l'un l'autre, cela pourrait être une bonne indication qu'il s'agit d'une bonne hypothèse.
Quand il y a beaucoup d'articles sur un même sujet, il commence à être difficile de voir ce qui est vrai car il y a souvent plusieurs articles qui se contredisent. Pour les raisons que nous avons exposées précédemment, s'il existe des milliers d'articles sur une seule question, il y a forcément des fausses découvertes. Pour voir les choses clairement, les scientifiques écrivent souvent un type spécial d'article, appelé méta-analyse, qui analyse tous les articles publiés, compare leurs méthodes et conclut s'il existe un consensus clair ou non entre eux. Cela donne une bonne indication de l'existence d'un consensus scientifique.
Le consensus scientifique est le niveau de confiance le plus élevé qui puisse être atteint. Cela signifie que les théories ont été testées à plusieurs reprises et sont confirmées par de nombreuses expériences de haute qualité. Dans le diagramme ci-dessous, j'ai essayé de donner quelques exemples de théories et de leur niveau de certitude. Paradoxalement, si vous voulez connaître le consensus scientifique sur un sujet, la meilleure source est probablement de regarder Wikipédia (la version anglaise est encore plus fiable car elle est beaucoup relue) car cette encyclopédie a pour politique de présenter les choses selon le consensus scientifique (ou dire qu'il n'y en a pas si c'est le cas), et fait un très bon travail dans ce domaine.
Une autre alternative est de regarder ce que disent les institutions scientifiques officielles, en gardant à l'esprit qu'un gouvernement peut aussi se tromper pour des raisons politiques. Mais par exemple, si les CDC (États-Unis) et l'ECDC (UE) sont d’accord sur quelque chose en rapport avec la santé, ou la FDA et l'EFSA sur quelque chose en rapport avec l'alimentation, il y a de fortes chances que ce soit le consensus scientifique. Encore une fois, Wikipédia peut encore être utile pour savoir s'il existe un consensus entre ces institutions.
Conclusion
La méthode scientifique est l'outil le plus puissant jamais créé par l'humanité pour découvrir le fonctionnement du monde dans lequel elle vit. Mais cela ne signifie pas que tout ce qu'un article scientifique dit est automatiquement vrai. La science progresse en faisant beaucoup d'erreurs en cours de route, mais est capable de les surmonter en reproduisant plusieurs fois les résultats. Le consensus scientifique apparaît lorsqu'il existe des preuves suffisantes qui vont dans la même direction. C'est le meilleur niveau de certitude que la science puisse atteindre et le signe qu’une théorie est presque certainement vraie.
Absence de conflit d’intérêt : L’auteur de cet article et ce blog ne reçoivent aucun financement de l’industrie pharmaceutique, agrochimique ou biotechnologique.