Le paradoxe de Simpson

Petit paradoxe pour rappeler qu'il faut toujours aller au-delà des apparences, pour ne pas se faire piéger par des raisonnements tout fait, et pour illustrer la citation de Mark Twain : Il y a trois types de mensonges : les petits mensonges, les gros mensonges et les statistiques.

Petite illustration classique : vous souffrez d'une maladie, et il existe deux types de traitements : les médicaments ou la chirurgie. Comment choisir le meilleur traitement pour vous? Avec les statistiques de rémission suite aux traitements? :)

On vous affiche les résultats suivants :
59% de succès avec les médicaments et 46% avec la chirurgie.
Le choix semble simple non?

Mais du coup, vous vous demandez pourquoi on propose encore la chirurgie, tellement la différence semble énorme... encore un coup du lobby des chirurgiens qui poussent à l'opération?

Du coup, on vous dit qu'en fait les résultats dépendent de la gravité de la maladie... ce qui semble logique après tout : la chirurgie est sans doute plus adaptée aux cas graves.
On vous donne donc les stats pour les cas graves :
35% de succès pour les médicaments et 40% pour la chirurgie.

Vous vous dites alors que vous avez compris, et que donc sans doute, la chirurgie donne de mauvais résultats pour les cas les moins graves, puisqu'au global elle semble moins bonne.
On vous donne alors les stats pour les cas les moins graves :
65% de succès pour les médicaments et 70% pour la chirurgie.
??? non non, il n'y a pas d'erreur : la chirurgie est bien plus efficace, y compris dans ce cas.

Comment est ce possible?
C'est simplement lié à la pondération des échantillons.
Pour la chirurgie, les cas traités sont essentiellement des cas graves, avec un pourcentage de réussite tiré vers le bas donc. La moyenne pondérée des 40% (poids de 0.8) et 70% (poids de 0.2) de réussite est tirée vers les 40% pour atteindre 46%
Pour les médicaments, c'est le contraire : très peu de cas graves sont traités par les médicaments. Les médicaments traitent donc des cas "faciles", ce qui augmente le pourcentage de réussite global. La moyenne pondérée des 35% (poids de 0.2) et 65% (poids de 0.8) de réussite est tirée vers les 65% pour atteindre 59%

L'explication est donc simple : la chirurgie est un traitement plus lourd ou simplement plus cher, on le réserve donc aux cas les plus sérieux... et nécessairement, il est plus difficile d'obtenir des bons résultats sur les cas difficiles.
Bref, les statistiques, les mesures sont biaisées dès le début : on mesure la qualité du traitement après avoir fait un diagnostique et choisi le traitement. La mesure, la statistique ne fait donc que confirmer notre choix initial : elle ne donne pas d'indication sur la qualité du traitement, mais sur la qualité de notre choix, sur notre capacité à détecter les cas difficiles (et à les envoyer en chirurgie).
Certains appellent ceci un facteur de confusion : une cause cachée qui influence à la fois le résultat et la répartition des échantillons.

Comment le détecter ou s'en protéger?
Le plus simple est de toujours essayer de comprendre les phénomènes, et de ne pas s'arrêter aux apparences. Les statistiques ne sont que des apparences, elles demandent à être interprétées et comprises... ce qui peut s'avérer parfois très délicat.

L'autre solution pour s'en protéger est de s'assurer que les échantillons sont pris de manière aléatoire : les études ne doivent pas être faites à posteriori sur des événements, mais à priori. Si vous basez une étude sur une population ciblée, vous risquez de ne faire que de tourner autour d'une cause cachée en faisant apparaître des corrélations plus ou moins arbitraires.
Quelques exemples pour illustrer ceci :
- vous vous intéressez à la famine : vous voyez qu'elle est présente essentiellement dans l'hémisphère sud. Vous en déduisez que c'est lié au climat et à la géographie ou bien à un autre facteur caché tel que le niveau de développement des pays?
- vous vous intéressez aux accidents de la route : vous voyez qu'ils sont provoqués à 45% par l'alcool, et donc à 55% par des gens sobres : vous en déduisez qu'il vaut mieux boire, ou bien qu'il y a une sur-représentation des gens ivres dans les accidents (on ne croise pas 45% de gens ivres dans la rue :) )