Qu’est-ce qu’une prévision calibrée ?

Calibration et discrimination sont deux choses différentes

Un météorologue qui annonce 30 % de pluie chaque jour dans une région où il pleut 30 % du temps est parfaitement calibré, et pourtant totalement inutile : il ne distingue jamais un jour pluvieux d’un jour sec. C’est la discrimination, ou résolution, qui mesure cette capacité à séparer les cas.

Une bonne prévision demande les deux. La calibration garantit que les chiffres sont honnêtes, la discrimination qu’ils sont informatifs. Le score de Brier se décompose d’ailleurs exactement en ces deux composantes, plus l’incertitude intrinsèque du phénomène.

Comment on la mesure

On range toutes les prévisions par tranches de 10 %, puis on compare la fréquence observée dans chaque tranche à sa valeur centrale. Le graphe obtenu est la courbe de calibration : la diagonale représente la perfection, une courbe qui passe au-dessous signale un excès de confiance.

L’erreur de calibration espérée, souvent notée ECE, résume la courbe en un nombre : la moyenne des écarts entre annoncé et observé, pondérée par le nombre de prévisions dans chaque tranche. Sous 0,05, la calibration est bonne.

L’excès de confiance est le défaut dominant

Les travaux de psychologie du jugement montrent de façon constante que les gens annoncent des probabilités trop extrêmes. Ce qui est déclaré certain arrive typiquement dans 80 à 90 % des cas, pas 100 %. Le défaut inverse, la sous-confiance, existe mais reste beaucoup plus rare.

La bonne nouvelle est que la calibration s’améliore avec l’entraînement, à condition d’avoir un retour chiffré. C’est précisément ce qu’un historique public de prévisions résolues fournit.

Questions fréquentes

À lire ensuite