Au chapitre XXV du Prince, Machiavel compare la fortune à un fleuve furieux dont les crues sont irrésistibles. Mais, ajoute-t-il, on peut bâtir des digues et des remparts pour en prévenir les effets destructeurs. C’est tout l’objet de la théorie statistique : canaliser l’impétuosité d’une réalité qui échappera toujours, obstinément, aux lois dans lesquelles on aimerait l’enfermer. Comprendre, au-delà des calamités, les règles de l’incertain pour rendre ce monde un peu plus hospitalier. Quitter les certitudes rassurantes mais illusoires pour penser, en un mot, en termes de probabilités.

Il existe deux interprétations concurrentes – et complémentaires – des probabilités : l’une, dite « fréquentiste », soutient que la probabilité d’un événement est la fréquence d’apparition de cet événement lors d’un grand nombre d’expériences ; l’autre, dite « bayésienne », considère que la probabilité exprime un degré de certitude sur l’apparition de cet événement. Prenons le lancer d’un dé à six faces parfaitement équilibré : la probabilité d’obtenir un cinq est alors d’un sixième. Pour le fréquentiste, cela signifie qu’en lançant un grand nombre de fois le dé, la valeur cinq apparaîtra en moyenne une fois sur six. Pour le bayésien, cela signifie qu’au moment où je lance le dé, ma certitude d’obtenir cinq est d’un sixième.

Cela peut sembler redondant, mais ces deux interprétations sont fondamentalement opposées : l’approche fréquentiste considère en effet que la probabilité mesure une incertitude dans le monde, la fréquence limite vers laquelle elle tend étant une propriété des choses ; tandis que l’approche bayésienne quantifie une incertitude de nos croyances, la probabilité de l’événement mesurant les chances qu’il a d’advenir en fonction des connaissances que j’ai amassées.

Ces deux visions des probabilités conduisent à deux manières d’appréhender la statistique : l’une va tenter de modéliser le monde et, plus précisément, son aspect aléatoire (la fréquentiste) ; l’autre va tenter de modéliser notre état de pensée et, plus exactement, le degré de certitude de nos croyances (la bayésienne). Si la statistique bayésienne a aujourd’hui le vent en poupe, il faut bien admettre que durant plusieurs décennies la statistique a quasi-exclusivement été fréquentiste.

La première des raisons qui expliquent cette préférence, et probablement la principale, est sa simplicité de mise en œuvre, comparée à l’inférence bayésienne. Basée sur la loi de Bayes, cette dernière exige en effet des calculs complexes et, presque systématiquement, des techniques d’analyse numérique permettant d’approximer les valeurs intéressantes tant les sommes et les intégrales mises en œuvre sont complexes. Il faut toute la force de l’informatique contemporaine pour parvenir à élaborer des modèles bayésiens efficaces. A contrario, l’inférence fréquentiste implique des calculs beaucoup plus simples.

La seconde raison de préférer l’inférence fréquentiste est beaucoup moins légitime : cette approche serait, soutiennent ses défenseurs, plus objective. L’inférence bayésienne suppose en effet de déterminer une distribution de probabilité a priori, c’est-à-dire plus ou moins arbitraire, que les données vont actualiser, mais dont l’influence n’est pas neutre. Hérésie pour les fréquentistes qui, de leur côté, vont regarder les données obtenues (ou la configuration de l’expérience) et tenter de les faire coller avec un modèle connu – les données ne peuvent pas parler avant qu’on les ait récoltées, diraient-ils sans doute.

On peut cependant défendre qu’il y a tout autant d’arbitraire dans le choix du modèle fréquentiste, des tests qui le valident, de la structure des erreurs tolérées (pourquoi 5 %, et pas 3,14 % ?) que dans celui de la loi a priori bayésienne. L’approche bayésienne a, elle, au moins le mérite d’assumer la part d’arbitraire inhérente à toute inférence statistique en lui donnant une loi de probabilité. Car il n’y a pas d’inférence sans hypothèses : le fréquentiste choisit son modèle et son seuil de significativité ; le bayésien choisit sa loi a priori. La différence, c’est que l’un revendique l’objectivité tandis que l’autre assume sa subjectivité.

Il y a me semble-t-il un argument encore plus décisif en faveur de l’approche bayésienne : elle semble bien mieux correspondre à l’intuition que nous nous faisons des statistiques. L’approche fréquentiste perd beaucoup de son sens lorsque les événements modélisés sont uniques, comme lors d’une élection politique ou d’un match de football. Elle recourt alors à une répétition contrefactuelle de l’expérience pour tenter de faire sens : si le match était joué des milliers de fois, le nombre de buts serait en moyenne de tant et tant – mais le match n’est joué qu’une seule fois. Dire que, si l’élection était rejouée des milliers de fois, le candidat obtiendrait en moyenne 48 % des voix n’a pas beaucoup plus de sens, puisque l’élection n’aura lieu qu’une fois. Ce que nous désirons vraiment savoir, ce sont plutôt les chances de succès du candidat compte tenu des informations dont nous disposons. Bien souvent, nous comprenons la prédiction statistique (le candidat fera tel score, ou l’équipe de football marquera tel nombre de buts) comme l’événement qui a le plus de chance de se produire ou, plus précisément, comme celui qu’il est le plus raisonnable de croire.

Ce « bayésiannisme intuitif » s’observe aussi dans l’interprétation des marges d’erreur. Les sondages d’opinion sont systématiquement assortis d’intervalles de confiance, mais leur interprétation est presque toujours erronée – y compris dans la présentation que les instituts en font. Un intervalle de confiance à 95 % ne dit pas que le paramètre observé a 95 % de chances de se trouver dans l’intervalle, mais que si l’on répète le sondage un grand nombre de fois, 95 % des intervalles construits avec cette méthode contiendront le vrai paramètre, ce qui n’est pas du tout pareil. A contrario, l’inférence bayésienne permet de construire un intervalle de crédibilité à 95 % : en tenant compte des données collectées et des hypothèses (modèle et loi a priori), j’ai 95 % de certitude que la vraie valeur se situe dans l’intervalle. C’est ainsi que l’on a envie, spontanément, de comprendre l’intervalle de confiance.

L’approche bayésienne s’avère donc à la fois plus intuitive et plus transparente. Elle implique que l’on fasse le deuil des certitudes apportées par l’approche fréquentiste, mais ce prix n’est pas si cher qu’il y paraît : en fait de certitudes, nous avions largement affaire à des illusions dont le degré de robustesse ne tenait qu’à l’obfuscation de certaines hypothèses. Il y a, chez le bayésien, plus d’humilité et de transparence. Oserais-je écrire, plus d’esprit scientifique, car c’est bien ainsi que se construit la connaissance : par l’actualisation des croyances antérieures lorsqu’elles se trouvent confrontées à des réalités nouvelles. Bien souvent, l’incertitude n’est pas dans les choses (à part, peut-être, en mécanique quantique), mais dans nos têtes : si nous connaissions toutes les forces et tous les moments, nous saurions de quel côté va tomber la pièce ; de même, si nous interrogions tous les électeurs pour connaître leur opinion (cela s’appelle une élection), nous n’aurions pas besoin d’inférence statistique pour déduire de l’avis de quelques-uns les aspirations de tous. On mesure alors combien l’inférence statistique est, par essence, bayésienne.