La pandémie a mis en exergue les limites du fonctionnement actuel de la publication scientifique et de sa communication au public. Pour autant, l'Open Science, qui propose des solutions élégantes, a potentiellement eu des conséquences néfastes car elle a fait l'objet d'un non-respect de ses règles du jeu.
au sommaire
Lors de cette pandémie, les projecteursprojecteurs ont été braqués sur la science. Le fonctionnement de la science (et celui des médias) semble être à revoir de fond en comble. Pourquoi ? Parce qu'il peut encore permettre à des personnes mal intentionnées de braquer tous les projecteurs sur elles, en propageant des informations erronées (si l'on part du principe que le but de la science est de produire de la connaissance et des médias d'informer sur cette même connaissance). Voyons de quels problèmes nous parlons et surtout quelles solutions la science ouverte (plus connue sous le nom d'Open Science) peut apporter. Plusieurs chercheurs viennent de prépublier un papier conformément aux règles de l'Open Science, et argumentent pour que le fonctionnement de la science se dirige vers plus de transparencetransparence.
Pandémie : une mauvaise utilisation des outils de l'Open Science
Les auteurs de ce papier sont partis du constat que plusieurs principes de l'Open Science avaient été adoptés durant cette pandémie pour faire face à la demande de l'accélération de la « création du savoir ». En effet, habituellement, le fonctionnement de la science est assez lent et il est... payant. Eh oui, pour avoir accès aux papiers publiés par d'autres universités, il faut être abonné aux revues dans lesquelles les articles sont publiés. Mais il existe des outils phares pour accélérer l'accès et réduire le coût d'un article scientifique : le préprint (ou prépublication) et l'Open Access (ou Open Accès).
Les préprints sont des articles scientifiques rédigés par une équipe de chercheurs, mais qui n'ont pas encore passé les étapes de relecture par la communauté scientifique. Ils sont donc surtout destinés aux scientifiques.
« On a assisté à une explosion du recours au préprint. Dans l'absolu c'est une très bonne chose. Malheureusement, ils ont été énormément utilisés pour communiquer des informations à la population, souvent avec trop peu de vigilance. Il faut faire preuve de beaucoup de nuance et de prudence lorsqu'on communique les résultats d'un préprint [c'est aussi le cas avec une étude publiée mais isolée, ndlr]. C'est un outil qui sert à communiquer entre personnes maîtrisant les bases du fonctionnement et de la méthode scientifique. Leur but est, entre autres, de lancer une conversation avec d'autres scientifiques pour avoir un feed-back sur les résultats et la méthodologie employée et non de vociférer à tort et à travers qu'on a raison. Notre discours n'est pas de dire que le peer-review est infaillible : aucune méthode ne l'est. Mais cela permet de limiter certains biais. » détaille Lonni Besançon, auteur principal de l'étude.
L'Open Access, c'est lorsqu'un éditeur scientifique met des articles disponibles gratuitement. Pour autant, ces outils ont été mal utilisés par les éditeurs et par certaines personnes de la communauté scientifique.
« L'Open Accès a été pseudo-utilisé, la plupart des éditeurs ne mettaient en accès gratuit que les papiers qui parlaient de Covid. Cela est problématique. Par exemple pour l'élaboration d'un vaccin, des papiers moins centrés sur la Covid elle-même, mais sur des sujets de recherches plus fondamentaux (virologie, immunologie, etc.), pourraient grandement servir à l'ensemble de la communauté et aider les chercheurs travaillant sur le SARS-CoV-2. La stratégie d'une grande majorité d'éditeurs a été de faire de l'Open Accès pour redorer un peu leur image moins pour servir à lutter véritablement contre la pandémie. On ne sait même pas quand les offres Open Accès s'arrêtent. » détaille Lonni Besançon.
Des problèmes dans...
Par l'utilisation inadéquate des outils de l'Open Science, on pouvait alors s'attendre à divers problèmes, qui ont été constatés. Voyons un peu plus en détail quels inconvénients cela a fait peser sur le monde de la recherche.
La collecte et l'interprétation des données
On a notamment vu fleurir des études à la méthodologie douteuse, des interprétations de données hâtives et erronées ou encore des recherches qui concernaient le même sujet mais dont les équipes ne collaboraient pas. Des principes qui existent déjà au sein de l'Open Science auraient pourtant pu pallier ces erreurs. Le préenregistrement du protocoleprotocole et de la méthodologie et surtout son reviewing doivent être validés avant que l'étude ne commence. Actuellement, pour des essais cliniques, le protocole est juste publié et doit seulement respecter des règles éthiques pour être validé. La validité scientifique du protocole n'est pas vraiment évaluée.
« Tout cela fait déjà partie des principes de l'Open Science. Mais le préenregistrement n'est pas suffisant. Quand un article est reviewé, on regarde juste la cohérence entre le préenregistrement et la méthode utilisée dans l'article final. Il faudrait que les protocoles puissent être reviewés en amont de la collecte de données pour éviter la publication d'études qui ne font que dépenser du temps de recherche dans le vide. De même, cela peut permettre de mettre en collaboration les chercheurs qui veulent répondre à une même question, pour qu'ils puissent discuter du meilleur protocole à mettre en place pour le faire. Dans l'affaire de l'hydroxychloroquine, chacun a travaillé dans son coin et a publié sa petite étude sur le sujet. Du temps et des ressources ont été perdus. Si à court terme, cela donne l'impression que cela prend un peu plus de temps, en réalité, on y gagne en production de préservation de ressource et de connaissance de qualité sur le moyen et long terme. » affirme Lonni Besançon.
Le processus de publication
De même, des problèmes déjà connus et actifs ont été exacerbés durant la pandémie, comme la peer review (évaluation par les pairs) trop expéditif, les conflits d'intérêts possibles entre les auteurs et les éditeurs et la crise de la reproductibilité.
« Qu'un papier soit relu assez vite n'est pas vraiment un problème. Il m'arrive, dans mon domaine d'expertise, de faire la relecture d'un papier en une seule journée. Mais quand vous voyez que plus de 700 papiers ont été soumis, relus puis acceptés et publiés en une journée ou moins pendant la pandémie, vous vous posez des questions, surtout quand vous constatez que pour certains, les auteurs sont de très proches collaborateurs de l'éditeur en chef de la revue ou sont eux-mêmes membre du comité éditorial de la revue. Quand le papier est soumis, il faut que l'éditeur de la revue prenne le temps d'en prendre connaissance, de faire appel à des scientifiques qu'il estime compétents pour relire le papier en question, que ces derniers relisent le papier, qu'ils le renvoient, etc. La totalité du processus prend rarement une journée, même lorsqu'on veut l'accélérer au maximum. » explique Lonni Besançon.
Pour cela, l'Open Science propose ce qu'on nomme l'Open Review. Il en existe deux sortes. Premièrement, l'Open Review consiste à mettre en ligne les commentaires de relecture effectués pendant la peer review. Cela pour plusieurs choses. « Si je lis un papier publié très rapidement, j'ai envie de vérifier si la peer review a bien été faite. Ce n'est pas un problème de confiance mais de transparence. Si la peer review a bien été faite, pourquoi ne pas la rendre accessible à tous ? » questionne Lonni Besançon. Cela permet aussi de s'assurer de la validité des critiques et de ne pas perdre du temps à reformuler les mêmes critiques, si l'article final n'a pas pris toutes les critiques en compte.
Deuxièmement, l'Open Review se fait à un second niveau grâce à des plateformes telles que PubPeer. Le papier est mis à disposition de tous (et donc de toute la communauté scientifique) et tous les scientifiques peuvent commenter le papier. Cela permet une plus grande interdisciplinarité de la critique et un gain de temps. « Ces plateformes sont essentielles mais le problème c'est que leur utilisation n'est pas valorisée par le système. On prend sur notre temps libre de scientifique pour formuler ces commentaires et on ne peut pas les valoriser auprès de nos institutions, elles ne considèrent pas cela comme du travail. » déplore Lonni Besançon.
La crise de la reproductibilité est le gros problème du fonctionnement des sciences actuellement et va de pair avec l'adage « publier ou périr ». Faire des recherches pour reproduire les résultats d'une autre équipe, ce n'est peut-être pas très valorisant ni exceptionnel aux yeuxyeux de l'université qui emploie les scientifiques, mais c'est absolument nécessaire au bon déroulement de la science et à l'obtention de résultats fiables. Mais il n'y a pas que le « publier ou périr » qui vient mettre des bâtons dans les roues à la reproductibilité des recherches. L'accès parfois limité à l'ensemble des données et des codes sourcescodes sources des programmes utilisés pour réaliser une recherche sont aussi une partie importante de l'équationéquation. « L'Open DataOpen Data, c'est avoir accès à l'ensemble des données utilisées pour l'élaboration de l'article et pas juste les résultats. Jusque-là, rien de compliqué. L'Open SourceOpen Source, cela date au départ du milieu de l'informatique. L'idée est simple. Si une personne vous vend un programme de transaction banquier par exemple, et qu'il vous le vante comme hyper sécurisé, comment pouvez-vous vérifier la validité de ce qu'il énonce si vous n'avez pas accès audit programme ? Pour la recherche, c'est différent. C'est plutôt pour vérifier qu'il n'y a pas d'erreur dans un programme utilisé à des fins d'obtention de résultats ou pour réutiliser le programme à des fins de reproductibilité de l'expérience en question. Si le programme n'est pas accessible, la reproductibilité de l'expérience est impossible. » explique Lonni Besançon.
La communication de la science
C'est le sujet phare de cette pandémie. L'information. La communication. Qu'est-ce qui est vraisemblable à la lumièrelumière des données scientifiques obtenues dans le paradigme actuel de l'exercice du travail scientifique ? Une question plutôt simple quand on y pense. Les experts devraient pouvoir nous répondre. Nous dire ce que nous savons, ce que nous ne savons pas et ce que cela implique. Pourtant, l'information scientifique et sa communication, c'est compliqué. Lors de cette pandémie, on a surtout assisté, comme nous l'avons vu, à des affronts. Certains scientifiques sont sortis de leur domaine de compétence. Et cela n'est pas problématique en soi. On peut sortir de son domaine de compétence et, en ayant une connaissance suffisante du corpus actuel d'une discipline, apporter de nouveaux éléments, de nouveaux arguments, de nouvelles pistes de réflexions. Mais cela n'était pas le cas et a eu de graves conséquences. Didier RaoultDidier Raoult, pour parler de lui encore une fois, défend toutes ses conclusions sur la base d'arguments tangibles et qui sont clairement réfutés sans problème par les spécialistes de la discipline qu'il maltraite sans cesse : l'épistémologie. Sans son épistémologie opportuniste, pour reprendre le titre de l'article de Florian Cova, chercheur en philosophie et psychologie au Centre interfacultaire en Sciences Affectives de l'université de Genève, rien ne tient. Tout s'effondre. Pourtant, les médias continuent de l'inviter sans cesse.
Alors, comment revenir à une communication scientifique plus consciencieuse ? Qui respecte la méthode dans ce qu'elle implique, le savoir dans sa complexité et les incertitudes dans ce qu'elles ont d'angoissant. « Dans notre article nous avons appelé à une communication plus responsable de la part de tous les acteurs concernés. C'est tout ce qu'on peut faire », déplore Lonni Besançon. Pour aller plus loin concernant la question de la communication, nous avons interrogé un confrère, Florian Gouthière, journaliste scientifique et auteur d'un ouvrage d'une très grande qualité « Santé, Sciences : doit-on tout gober ? ».
Futura : Florian, tu es l'auteur de l'ouvrage « Sciences, santé : doit-on tout gober ? », qui est un petit manuel pour ne pas se faire berner par des biais classiques en sciences, et qui retrace la « chaîne de l'information » pour mettre en évidence tous les problèmes qu'elle comporte. Selon toi, qu'est-ce que l'Open Science apporte à la science et à l'information scientifique ?
Florian Gouthière : Les principes de la démarche de l'Open Science, c'est ce qui permettrait à la science, en tant que pratique, de fonctionner au mieux. À vrai dire, c'est sur ces principes-là qu'elle est, fondamentalement, supposée fonctionner. Comme je le souligne dans mon ouvrage, l'exercice de la science est un processus collectif, cumulatif et correctif [ça vaut aussi pour le journalisme, ndlr]. Afin qu'un tel processus puisse effectivement être mis en place, il est essentiel que toutes les données récoltées et utilisées soient accessibles (Open Data), et que l'on puisse plus aisément regarder le détail des méthodes employées. Ce que l'on nomme couramment « méthodes scientifiques » - ou, par raccourci, « méthode scientifique » - c'est une série de garde-fousgarde-fous. Cette méthode vise à réduire l'influence des observateurs sur les résultats, et force autant à la prudence qu'à l'honnêteté intellectuelle face auxdits résultats. Autrement dit, c'est un contrat intellectuel. L'Open Science renforce ce contrat. Elle ouvre les portesportes du laboratoire aux autres chercheurs, qui peuvent plus facilement repérer des erreurs involontaires de leurs pairs (bien plus nombreuses que les fraudes). Mais l'Open Science a d'autres vertus. Ainsi, dans le fonctionnement actuel, le débat scientifique autour de travaux de recherches débute essentiellement lors de la publication des résultats. Il pourrait commencer bien en amont, dès qu'une équipe se positionne sur un projet de recherche, pour aider à anticiper des critiques méthodologiques, ou favoriser la mise en commun de moyens.
Dans un monde où les principes de l'Open Science seraient devenus une norme, on pourrait imaginer qu'un article scientifique ne puisse être publié dans une revue spécialisée sans que sa méthodologie, ses outils statistiques et ses données préliminaires n'aient été suffisamment commentés par des chercheurs valorisés pour cette contribution. Ceci accroissant le niveau de confiance que l'on pourrait accorder aux articles publiés.
Futura : Qu'est-ce qui peut aider les principes de l'Open Science à se généraliser ?
Florian Gouthière : « Ouvrir les portes du laboratoire » ne sert à rien si les pairs n'ont d'intérêt qu'intellectuel à voir ce qui s'y passe. La pratique scientifique contemporaine est soumise à des contraintes de production et de publication, qui ne valorisent pas le travail de veille, de critique et de réplicationréplication des expériences. Il faut réfléchir à une façon de mesurer le travail du chercheur qui ne serait pas cantonnée au nombre de fois qu'il appose sa signature à un article. Dans un autre ordre d'idée, il me semblerait également important de valoriser la profession et l'expertise des méthodologistes, spécialisation essentielle pour produire une connaissance de qualité.
Futura : Selon toi, l'Open Science est bénéfique à la pratique scientifique proprement dite. Mais qu'en est-il de ses effets sur l'information scientifique vers le grand public ?
Florian Gouthière : Je suis plus réservé sur ce point. Les sciences - les controverses scientifiques, les recherches en cours, les études fraîchement publiées... - ne sont pas forcément médiatisées par des personnes qui ont un recul minimum sur la nature des différentes productions scientifiques. Le temps « chaud » des médias n'est pas celui des sciences qui, comme on l'a dit, est celui de la critique par les pairs et de la réplication des résultats. Le constat n'est pas nouveau : les résultats scientifiques sont souvent commentés dans les médias avant même qu'ils n'aient été discutés par des membres de la communauté scientifique. Il est à craindre que la situation ne s'améliore pas avec le développement de l'Open Science, comme l'illustre la reprise massive de résultats en « prépublication » (préprint) dans les médias au plus fort de la pandémie de Covid-19Covid-19. De nombreux journalistes généralistes ont sauté sur des données préliminaires ou des études isolées, lors même que la plupart de ces préprints ne passeront pas l'étape de peer review. Les mêmes acteurs des médias semblaient découvrir, quelque temps plus tard, que des études caduquescaduques peuvent être rétractées suite à l'exercice de la vigilance scientifique collective...
On a donc de bonnes raisons de craindre que les approches vertueuses de l'Open Science soient mal comprises par ceux qui, déjà, médiatisent mal les pratiques scientifiques. On doit s'attendre à voir des discussions préliminaires entre chercheurs fallacieusement présentées comme des « controverses », ou des résultats partiels d'expériences être médiatisés à tort comme des résultats définitifs. Cela pourrait accroître l'idée reçue selon laquelle les scientifiques sont perpétuellement dans l'erreur, si le grand public n'est pas bien sensibilisé à la façon dont fonctionnent les sciences.
Avec l'avènement de l'Open Science, les journalistes peuvent observer « la science en train de se faire » à des stades bien plus embryonnaires qu'à l'accoutumée. Alors même que, comme on l'a dit, la montée en épingle de résultats non répliqués est déjà à l'origine d'une part importante de la mésinformation du public. Avec l'Open Science (open data, open source...), le journaliste peut s'inviter à la machine à café devisent des chercheurs. Il a accès à plein d'informations, mais il doit rester plus vigilant que jamais quant au statut des énoncés qui sont prononcés. Toutefois, on peut voir cette ouverture comme une opportunité de parler différemment des sciences, de faire comprendre les étapes de la production du savoir scientifique, et de déconstruire la vision idéalisée que peuvent avoir certaines personnes à son propos.
Futura : Est-il possible d'éviter que la médiatisation de résultats en « Open Science » accroisse l'incompréhension et la défiance à l'égard des sciences ?
Florian Gouthière : Cette pandémie, qui amenait la recherche au centre des préoccupations collectives, aurait dû être l'occasion d'améliorer la perception du public du caractère collectif, cumulatif et - autant que faire se peut - correctif des sciences. La médiatisation de résultats prépubliés ou publiés trop hâtivement a inversement, selon moi, beaucoup contribué à la défiance. Peut-être faut-il repenser un peu les règles de l'Open Science, et que les données « ouvertes » le soient, durant un temps, aux membres de la communauté scientifique. On pourrait imaginer une plateforme d'échanges où les prépublications et les données soient accessibles aux membres de n'importe quel membre d'une institution de recherche à l'international, puis dans un second temps à n'importe quel média spécialisé qui en ferait la demande - et qui s'engagerait à ne médiatiser les résultats intermédiaires que d'une façon très prudente, c'est-à-dire en faisant état de toute l'incertitude qui leur est attachée.
Au-delà de ces considérations, il est évidemment possible de continuer, en tant que journalistes scientifiques travaillant dans la presse d'information, de continuer à vulgariser ce « que sont les sciences » avant de vulgariser les résultats. Il faut que les lecteurs apprennent à s'étonner de l'absence de précisions sur les limites des études qui leur sont présentées, comme ils s'étonneraient qu'on leur relate un fait divers sans leur préciser « quand » et « où » celui-ci a eu lieu...
