Y’a quelque chose qui cloche là-dedans !

• Maths et démocratie

« L’affaire NK603 »

Mardi 18 septembre après-midi : coup de téléphone d’un journaliste d’un grand quotidien : « une nouvelle étude de 2 ans de G.E.Séralini montre des effets du maïs NK603. Le Nouvel Obs sort demain un dossier sur le sujet. Nous allons nous aussi sortir un papier. Qu’en pensez-vous ? au fait… j’ai dû signer un accord de confidentialité,vous ne pouvez donc pas lire l’article de Séralini en question avant sa publication demain 15h00 »

Euh… un peu comme si on me demandait ce que je pense du prochain disque de Mireille Matthieu sans avoir le droit de l’écouter…

Bien que faisant partie du Conseil Scientifique du Haut Conseil des Biotechnologies (en tant que statisticien), j’ai dû me résigner à faire comme le commun des mortels (vous savez, tout ce qui n’est pas journaliste de grand hebdo ou quotidien) et patienter jusqu’à la levée de l’embargo, fixée au mercredi 15h00.

Entre temps, le « buzz » a commencé, on a appris par la presse qu’il avait été démontré de façon indiscutable et définitive que tous les OGM étaient des poisons (même à faible dose, dixit Guillaume Malaurie du Nouvel Obs)…

Bon… si les journaux le disent… c’est que ça doit être vrai !

Une fois l’article de Séralini atterri dans ma boîte mail à 15:01, il ne me restait plus qu’à le lire pour expliquer à mes collègues du HCB pourquoi nous allions tous mourir dans d’atroces souffrances si nous avions eu le malheur de consommer cet OGM (même à faible dose, j’insiste, dixit Guillaume Malaurie du Nouvel Obs).

.

Ben tiens, c’est curieux… y’a quelque chose qui cloche là-dedans… j’y retourne immédiatement !

Les conclusions de l’étude

Y’a quelque chose qui cloche là-dedans !

.

Un échantillon de 200 rats, constitué de 100 mâles et 100 femelles, a été randomisé en 20 groupes de 10 rats de même sexe : on dispose ainsi pour chaque sexe d’1 groupe contrôle et de 9 groupes expérimentaux (9 régimes à base de NK603 traité ou non avec du RoundUp et de RoundUp administré sous forme liquide). L’étude a duré 2 ans durant lesquels plusieurs analyses ont été effectuées :

• Une analyse de mortalité,
• Une étude de pathologies anatomiques,
• Une analyse de paramètres biochimiques.

Le corps de l’article se limite essentiellement à une description des résultats obtenus lors de cette étude. Les remarques concernant cette partie de l’article concernent le choix des différences observées mis en avant. En effet, une telle analyse descriptive ne devrait pas soulever de remarques particulières si les auteurs se contentaient de décrire de façon objective ce qu’ils ont observé chez les différents groupes de 10 rats (courbes de mortalité, pathologies anatomiques,…). Ils ont malheureusement parfois tendance à sélectionner soigneusement quelles comparaisons présenter. On peut ainsi lire §3.1 “Before this period, 30% control males (three in total) and 20% females (only two) died spontaneously, while up to 50% males and 70% females died in some groups on diets containing the GM maize (Fig. 1).” ¹ Avant cette période, 30% des mâles contrôlés (3 au total) et 20 % des femelles (seulement 2) sont morts spontanément, tandis que jusqu’à 50 % des mâles et 70 % des femelles sont morts dans certains groupes ayant un régime contenant du maïs GM.. Mais si quelques groupes expérimentaux de mâles présentent en effet un taux de mortalité de 50% (5 rats morts) à la date de 600 jours, les groupes expérimentaux de mâles ayant reçu les plus grandes doses de NK603 et/ou de Roundup présentent des taux de mortalité de seulement 10% ou 20% (1 ou 2 rats morts). Pourquoi ne pas avoir décrit cette différence ?

Et pourquoi ne montrer que des photos de rats issus des groupes expérimentaux ? Les tumeurs des rats des groupes contrôles ne sont-elles pas semblables ? Là encore, comme pour les courbes de mortalité, une présentation partielle (et partiale) des résultats ne rend pas compte de l’expérience telle qu’elle a été réellement menée.

Le contenu de l’article devient franchement critiquable lorsque les auteurs sortent du domaine purement descriptif des observations en cherchant à expliquer les résultats obtenus et à les généraliser. On peut ainsi lire en conclusion :

• The results of the study presented here clearly demonstrate that lower levels of complete agricultural glyphosate herbicide formulations, at concentrations well below officially set safety limits, induce severe hormone-dependent mammary, hepatic and kidney disturbances.
• Altogether, the significant biochemical disturbances and physiological failures documented in this work confirm the pathological effects of these GMO and R treatments in both sexes, with different amplitudes. ²– Les résultats de l’étude présentée ici démontrent clairement que de faibles niveaux de préparations complètes d’herbicide agricole à base de glyphosate, à des concentrations bien inférieures aux limites de sécurité fixées officiellement, induisent des troubles hormono-dépendant sévères d’ordre mammaire, hépatique et rénal. Au final, les perturbations biochimiques significatives et les troubles physiologiques présentés dans ce travail confirment les effets pathologiques de ces traitements OGM et R pour les deux sexes, avec des amplitudes différentes.
  

De telles affirmations ainsi formulées et ne laissant la place à aucun doute, devraient impérativement être rigoureusement justifiées et validées. Or, il est ici absolument impossible de conclure de façon définitive à la toxicité du NK603 sur la base de données aussi limitées.

Le rôle de la statistique inférentielle consiste précisément à évaluer les incertitudes et les probabilités de se tromper en concluant à la présence ou à l’absence d’effets. Il est regrettable que les auteurs aient totalement négligé cet aspect de la statistique, tout en s’autorisant à des surinterprétations non justifiées de leurs résultats expérimentaux.

En suivant la démarche des auteurs (qui consiste à généraliser directement ce qui est observé sur un échantillon réduit à l’ensemble de la population), pourquoi ne pas avoir repris la différence observée entre mâles nourris au NK603 33% et le groupe contrôle pour conclure qu’une forte dose de NK603 réduit le taux de mortalité chez les mâles ? (tout ceci est bien sûr ironique… personne n’oserait remettre en question le fait que cette différence n’est due qu’aux fluctuations d’échantillonnage… tout comme les autres différences observées…)

Le protocole et les outils statistiques utilisés souffrent de graves lacunes et faiblesses méthodologiques qui remettent totalement en question les conclusions avancées par les auteurs. Une analyse statistique rigoureuse des résultats obtenus lors de cette étude ne met en évidence

• aucune différence significative de la mortalité des rats dans les groupes contrôle et expérimentaux,

• aucune différence significative des paramètres biochimiques.

Voir l’analyse statistique détaillée.

Autres études, autres conclusions

Y’a quelque chose qui cloche là-dedans ! Mais la presse nous réserve aussi des surprises… On pouvait ainsi lire en février 2009

.

Ou, plus récemment

.

Cette « une » se base elle aussi sur une publication scientifique de Snell et al. (publiée… toujours dans la même revue Food and Chemical Toxicology). Cet article passe en revue 24 études sur le sujet et conclut

– The studies reviewed present evidence to show that GM plants are nutritionally equivalent to their non-GM counterparts and can be safely used in food and feed. ³Les études passées en revue démontrent que les PGM sont nutritionnellement équivalentes à leur contrepartie non transgéniques et peuvent être utilisées en toute sécurité.

Mais là encore, la conclusion telle qu’elle est formulée par les auteurs de l’article va bien au-delà de ce que les études permettent de dire. Rappelons en effet que beaucoup d’études portent sur des groupes de seulement 10 animaux (parfois même 5 ou 3). On peut faire aux auteurs les mêmes reproches qu’à Séralini : conclure systématiquement de façon aussi définitive sur la base d’informations aussi limitées n’a pas de sens ! D’autre part, les tests mis en œuvre dans ces études sont des tests statistiques de comparaison qui n’autorisent en rien à conclure sur l’absence totale de risque ou sur la notion d’équivalence biologique. L’outil de statistique inférentielle théoriquement adapté à cette question est le test statistique d’équivalence.

n des rôles du statisticien est d’éviter que des raccourcis soient pris sans précaution. Ainsi,

• l’étude de Séralini conclut à la toxicité des OGM car elle emprunte un raccourci assez surprenant (que personne n’avait encore osé emprunter…) :

Effet observé => Effet statistiquement significatif => Effet biologiquement significatif

=> DANGER !

• les pétitionnaires et de nombreuses études concluent à l’innocuité des OGM en empruntant allègrement des raccourcis très fréquentés (surtout par nos collègues biologistes…) :

Effet statistiquement non significatif => Effet biologiquement non significatif => Equivalence OGM/non OGM

=> PAS DE DANGERLe rôle des agences et d’instances comme l’AESA, l’ANSES et le HCB est de signaler l’utilisation de tels raccourcis, et de fournir des recommandations pour un meilleur usage de l’outil statistique.

Ainsi, de nouvelles lignes directrices de l’EFSA recommandent la mise en œuvre de nouvelles procédures statistiques comme l’analyse de puissance,

L’ANSES a également publié des Recommandations pour la mise en œuvre de l’analyse statistique des données issues des études de toxicité sub-chronique de 90 jours chez le rat dans le cadre des demandes d’autorisation de mise sur le marché d’OGM.

Ces nouvelles lignes directrices ne permettront pas de clore le débat de façon définitive, mais elles devraient permettre d’aboutir à l’avenir à un consensus sur les conclusions que l’on peut tirer d’une étude de toxicité.

L’attitude de certains médias

.

Cette « une » du Nouvel Obs est emblématique. Elle illustre très bien le besoin toujours accru pour les journaux de publier le plus rapidement possible des sujets les plus médiatiques et vendeurs possible. On peut le comprendre… mais de là à traiter les OGM comme les seins nus de la princesse d’Angleterre… pfff… On peut quand même imaginer que le journaliste qui a conçu ce dossier a de solides connaissances scientifiques (je le crois vraiment). D’accord, mais sa culture statistique est-elle à ce point limitée pour ne pas savoir qu’une étude portant sur des groupes de 10 rats a immanquablement des limites ? que le niveau d’incertitude est terriblement élevé dans un tel contexte ?

.

Quel raisonnement a-t-il pu suivre pour, à partir d’une étude sur des groupes de 10 rats, portant sur un unique OGM, en déduire que tous les OGM sont des poisons (sous-entendu, pour l’homme) ?

.

… faible dose ? … se révèle ? … lourdement toxique ? … souvent mortel ? Mais sur quelles informations se base-t-il pour énoncer toutes ces affirmations en une seule et même phrase ?

Conclure de la sorte sur des bases aussi fragiles et sans avoir pris la peine de regarder de près les résultats de l’étude, est surréaliste et totalement irresponsable !

Je pense en effet à tous mes collègues scientifiques, et plus particulièrement statisticiens, chercheurs et enseignants, qui, travaillent inlassablement pour publier des articles prônant les bonnes pratiques statistiques, qui transmettent avec patience à leurs étudiants ou élèves la culture de l’environnement incertain. Mais que peuvent-ils penser aujourd’hui ? Quel message faire passer quand de telles contre-vérités peuvent être assénées à la une d’un grand hebdomadaire sans le moindre contrôle ?

De plus, il y a des précédents qui auraient dû alerter ces journalistes : plusieurs travaux de G.E.S avaient déjà été critiqués par la communauté scientifique. Pourquoi ne pas avoir alors pris le temps de s’assurer de la validité des conclusions de l’étude avant de publier ce dossier ?

L’article publié dans Food and Chemical Toxicology n’a été en ligne que le mercredi 19 septembre à 15h00… Le nouvel Obs était en kiosque le lendemain même ! Certains journalistes ont pu recevoir l’article bien avant sa mise en ligne, à la condition de signer un accord de confidentialité… et donc de ne pas le diffuser avant la date fatidique de sortie. De telles pratiques sont inadmissibles lorsque l’on sait pertinemment que des telles études réclament obligatoirement une contre-expertise (voir à ce sujet le billet de Sylvestre Huet ou celui de Pascal Lapointe).

Quelles seront maintenant les conséquences d’un tel battage médiatique ? Un amalgame entre lanceur d’alertes et lanceur d’alertes à la bombe… un amalgame entre véritable scandale et opération politico-médiatique montée de toutes pièces… un amalgame entre journalisme scientifique et journalisme à sensation… un amalgame entre intérêt général et intérêt personnel…

Une chose est sûre en ce qui me concerne… je saurai maintenant à quoi m’en tenir avec les unes du Nouvel Obs !

La crédibilité des scientifiques

Nous sommes confrontés à une situation paradoxale où l’expertise est reconnue comme incontournable par tous pour évaluer les risques sanitaires liés aux OGM, mais où les scientifiques ont énormément de mal à se faire entendre… et à être écoutés !

Il y a ainsi plusieurs choses vraiment frappantes pour un scientifique dans cette histoire :

1) Tout commentaire d’ordre purement scientifique est systématiquement assimilé à une prise de position !

J’en ai moi-même fait l’expérience à plusieurs reprises :

J’ai toujours été critique et intransigeant face à une étude qui prétend démontrer l’absence totale de risques sanitaires liés aux OGM (Le Monde, Les Echos). En effet, la méthodologie statistique mise en œuvre ne permet généralement pas de formuler de conclusions aussi définitives. Pour beaucoup, de telles prises de position « publique » faisaient de moi un anti-OGM ! J’ai, de la même façon, toujours été critique et intransigeant face à une étude qui prétend démontrer l’existence de risque sur la base d’arguments incorrects (Inf’OGM). M’exprimer ouvertement en ce sens m’a alors converti en pro-OGM ! Et bien non… comme la très grande majorité de mes collègues, je ne suis manipulé par aucun mouvement anti-OGM, ni par aucun lobby, et je ne suis financé par aucune industrie des biotechnologies. De la même façon que l’on peut dire en toute indépendance que non ! 2 et 2 ne font pas 5 ! on doit pouvoir affirmer que non ! l’expérimentation réalisée ne permet pas de conclure comme le font les auteurs de l’article.

2) Un avis scientifique argumenté n’a guère plus de poids qu’un commentaire infondé !

Tout d’abord, on ne peut pas indéfiniment continuer à accorder le même crédit scientifique à toute étude sous prétexte qu’elle a été publiée dans une revue scientifique internationale avec comité de lecture. Toute la communauté scientifique sait parfaitement bien que les 2 ou 3 referees en charge d’évaluer un article soumis à publication ne sont pas plus compétents que d’autres et qu’il est fréquent que des articles soient publiés alors qu’ils contiennent des imprécisions, des lacunes, voir des erreurs. Un article publié ne contient pas que des vérités gravées dans le marbre. On en trouve une illustration particulièrement savoureuse dans le même numéro du même journal où un article de Zhu et al. prétend démontrer l’innocuité d’un maïs OGM tolérant au Glyphosate. On peut ainsi lire dans le résumé « These results indicated that the GM glyphosate-tolerant maize was as safe and nutritious as conventional maize ». Ces deux articles ont suivi le même processus de révision et ont été acceptés tous les deux… Tout le monde peut être satisfait puisqu’on peut, au choix :

• affirmer que les OGM sont des poisons grâce à l’article de Séralini,
• affirmer que les OGM sont sans danger grâce à l’article de Zhu.

Cet exemple illustre bien le fait que la crédibilité scientifique d’un article peut et doit être continuellement remise en cause. C’est bien évidemment le rôle d’instances comme le Conseil Scientifique du HCB d’émettre un avis scientifique sur le contenu scientifique de telles études. Mais c’est aussi le rôle de tout scientifique de porter un regard critique sur une étude, même publiée. Lorsqu’il y a une telle controverse, il ne s’agit pas pour la communauté scientifique de distribuer des bons et des mauvais points, de donner raison à l’un et tort à l’autre, mais de faire preuve « d’autorité ». C’est-à-dire rappeler ce que la connaissance scientifique actuelle autorise à dire et écrire.

Dans le cas particulier qui nous intéresse, les très nombreuses faiblesses méthodologiques décrites plus haut sont indiscutables. Aucun statisticien ne peut raisonnablement les réfuter ! Aucun statisticien ne peut justifier rigoureusement les conclusions que l’on trouve dans cet article. Mais qu’importe… certains médias, certains politiques ne s’encombrent visiblement pas de telles considérations pour répéter inlassablement les mêmes contre-vérités.

Plusieurs articles précédents de G.E. Séralini ont été largement médiatisés (sans atteindre le niveau de cet article sur le NK603) mais aussi largement critiqués par la communauté scientifique pour leur manque de rigueur et leurs faiblesses méthodologiques.

Une mémoire bien courte : Un article de G.E. Séralini paru en 2007 prétendait démontrer la toxicité du maïs MON863.

.

Une contre analyse de cette étude a été menée et a clairement montré que cet article comportait plusieurs erreurs (confusion entre effets fixes et effets aléatoires pour analyser les courbes de poids, mauvaise prise en compte de la multiplicité des tests statistiques). Ces erreurs remettent totalement en question les conclusions de l’article qui ne démontre en fait aucun signe de toxicité (je n’affirme pas pour autant que les OGM ne sont pas toxiques : je me contente de dire que l’étude en question ne permet absolument pas de conclure à la toxicité). Ce processus de contre-analyse est tout à fait sain et souhaitable : on peut s’en réjouir et penser que puisqu’il a été démontré que le contenu scientifique de cet article est faux, alors il ne devrait en aucun cas à nouveau être cité pour démontrer une éventuelle toxicité du MON863. Et bien non… certains journaux comme le Nouvel Obs ressortent cette étude 5 ans plus tard sans aucun état d’âme…

.

La même histoire recommence 2 ans plus tard avec cette fois-ci un nouvel article qui prétend mettre en évidence la toxicité de 3 maïs OGM. Même scenario : des journaux s’emparent de cette étude, n’hésitant pas à parler de « preuve » et de « démonstration » ( !!!)

.

Une contre-expertise réfute dans la foulée les conclusions de cette étude (toujours pour des raisons méthodologiques…)

Malgré ce passif, la nouvelle étude de G.E. Séralini sortie en 2012 a été prise pour argent comptant par la plupart des médias et publiée sans le moindre contrôle, sans la moindre vérification…

.

Pas de doute… y’a quelque chose qui cloche là-dedans !