Inexactitudes et incertitudes des sondages

Prenons un exemple imaginaire : Ouest-France annonce un sondage Louis Harris, disant que 51% des français répondent oui à la question « Êtes-vous favorable au travail du dimanche ? ». Cette info pose des questions extra-mathématiques importantes. Par exemple, les réponses auraient-elles été les mêmes si on avait demandé « Souhaitez-vous que les magasins soient ouverts le dimanche ? », ou « Souhaitez-vous travailler le dimanche ? ».

Mais je voudrais pointer une lacune, qui est de nature mathématique : ce ne sont pas 51% des français qui ont répondu oui à la question posée, mais 51% d’un échantillon de 1000 à 2000 personnes. De tels échantillons possibles, il y en a des milliards de milliards, et beaucoup donneraient des réponses aberrantes à la question posée. Soyons plus précis. La conclusion qu’on peut vraiment tirer d’un sondage est, grosso modo, celle-ci : 95% des échantillons de 1500 personnes (ceux qui sont « bons ») vont donner une réponse qui s’écarte de moins de 2% de la moyenne réelle des opinions.

Autrement dit, si par malchance l’échantillon se situait parmi les 5% de « mauvais », on ne peut en tirer aucune conclusion. Si par chance on a tiré un « bon » échantillon, cela veut dire qu’entre 49 et 53% des français sont favorables au travail du dimanche. Dans ce cas, on ne sait pas avec certitude où se situe la majorité. Quant à savoir si l’échantillon est bon ou mauvais, c’est impossible, sauf à organiser un référendum !

Pour conclure, il manque deux chiffres dans l’information que j’ai (sans malice) attribuée à Ouest-France : la marge d’erreur qu’on se donne, ici 2%, et la proportion d’échantillons de 1500 personnes qui sont aberrants pour cette marge, 5%.