Le score de Brier, expliqué simplement
La formule
Pour une prévision unique, le score de Brier vaut (f − o)², où f est la probabilité annoncée entre 0 et 1, et o vaut 1 si l’événement s’est produit, 0 sinon. Sur une série de prévisions, on prend la moyenne de ces écarts.
Annoncer 80 % sur un événement qui se produit coûte (0,8 − 1)² = 0,04. Annoncer 80 % sur un événement qui ne se produit pas coûte (0,8 − 0)² = 0,64, soit seize fois plus. C’est cette asymétrie qui punit l’assurance mal placée.
Pourquoi il force à dire la vérité
Le score de Brier est une règle de score strictement propre. La propriété mathématique est la suivante : l’espérance du score est minimisée si, et seulement si, le prévisionniste annonce exactement sa probabilité subjective réelle. Exagérer sa confiance, ou la minorer par prudence, dégrade mécaniquement son score espéré.
C’est ce qui en fait l’outil de référence des tournois de prévision : on n’a pas besoin de faire confiance aux participants, l’incitation à la sincérité est dans la règle de calcul.
Les repères d’interprétation
0,00 correspond à la perfection absolue. 0,25 correspond à l’ignorance déclarée honnêtement : répondre 50 % à tout. Au-dessus de 0,25, le prévisionniste fait moins bien que s’il avait avoué ne rien savoir. 1,00 correspond à l’erreur systématique et catégorique.
Un score brut se lit mal seul, parce qu’il dépend de la difficulté des questions. Prévoir des événements réellement incertains plafonne le score atteignable : un prévisionniste parfaitement calibré sur des questions à 50/50 ne peut pas descendre sous 0,25. C’est pourquoi on compare presque toujours au score d’une référence plutôt que de lire la valeur absolue.
Le score de compétence
Le score de compétence vaut 1 − (score du prévisionniste ÷ score de la référence). La référence est en général le consensus des autres participants au moment de la prise de position. Un résultat positif signifie mieux que la référence, zéro exactement équivalent, négatif moins bon.
Cette normalisation annule la difficulté de la question : répondre à une question facile ne rapporte plus mécaniquement, puisque la référence en profitait autant. Elle rend aussi le fait de recopier le consensus strictement sans valeur, ce qui est exactement l’effet recherché.
Questions fréquentes
Quelle différence entre score de Brier et taux de bonnes réponses ?
Le taux de bonnes réponses ignore la confiance : il traite « 51 % » et « 99 % » de la même façon. Le score de Brier tient compte de l’assurance, et pénalise beaucoup plus lourdement une erreur affirmée avec certitude.
Un bon score de Brier, c’est combien ?
Cela dépend entièrement de la difficulté des questions. Sur un ensemble de questions réellement incertaines, descendre durablement sous 0,20 est déjà une performance. Le seul chiffre universel est 0,25, obtenu en répondant 50 % partout.
Existe-t-il d’autres règles de score propres ?
Oui, la principale alternative est le score logarithmique, qui pénalise beaucoup plus sévèrement les erreurs affirmées à 99 %. Il est plus discriminant mais tolère mal les certitudes déçues, jusqu’à rendre un score infiniment mauvais s’il n’est pas borné.
À lire ensuite
Qu’est-ce qu’une prévision calibrée ?
Une prévision est calibrée quand ses pourcentages correspondent aux fréquences réelles. Parmi tous les événements annonc…
Sondage ou marché prédictif : quelle différence ?
Un sondage mesure la distribution d’une opinion dans une population représentative. Un marché prédictif estime la probab…