32 bons résultats sur 62 : pourquoi cela ne suffit pas à valider un modèle

Bonjour à tous,

Je travaille sur un modèle de probabilités de football, et un premier bilan illustre bien un piège : compter les bons résultats ne suffit pas.

Sur un échantillon encore incomplet de 62 matchs avec référence de marché, répartis sur sept championnats et joués du 5 au 12 octobre, le résultat le plus probable du modèle était correct 32 fois. Celui du marché aussi : 32 sur 62.

Pourtant, le marché donnait de meilleures probabilités. Le score de Brier 1X2 était de 0,611695 pour le modèle, contre 0,587778 pour le marché ; plus ce score est faible, mieux c'est. Il évalue les probabilités des trois issues, pas seulement le choix arrivé en tête. Une confiance excessive peut donc coûter cher dans cette mesure, même avec le même nombre de bons résultats.

Ce bilan inclut aussi des matchs pour lesquels le modèle s'abstenait de proposer une sélection. Ce n'est ni une série de 62 paris joués, ni un calcul de rendement, ni une preuve d'avantage sur les bookmakers.

Autre distinction utile : une cote théorique calculée à partir d'une probabilité n'est pas une cote réellement disponible. Je souhaite garder ces deux informations séparées dans les analyses.

Dans vos suivis, comment distinguez-vous le taux de réussite, la qualité des probabilités et les cotes réellement prises ? Vos retours sur cette façon d'évaluer un modèle m'intéressent.

Deux exemples concrets pour prolonger la discussion ce samedi : Manchester City–Ipswich et Bayern–Leipzig.

Dans la mise à jour du 16 octobre, le modèle estime City à 75,1 % et le Bayern à 66,7 %. Les deux sont favoris sans signal d'abstention, mais cela ne suffit pas à valider un pari au prix proposé.

Les cotes théoriques sont respectivement d'environ 1,33 et 1,50, tandis que l'export affiche 1,22 et 1,21. À 1,21, il faudrait gagner environ 82,6 % du temps pour simplement atteindre l'équilibre : c'est très différent des 66,7 % estimés pour le Bayern.

Je garde donc les favoris comme tendances de résultat, mais je passe à ces prix. Les probabilités restent provisoires et les cotes théoriques ne sont pas des offres de bookmaker.

Bonjour scoresight,

Merci pour ce sujet, il pointe une confusion très répandue : un bon taux de réussite ne fait pas un bon modèle.

Sur le score de Brier. Un écart de 0,024 sur 62 matchs reste probablement dans la marge du hasard : l'écart-type de la différence, match par match, est du même ordre. Avant de conclure dans un sens ou dans l'autre, il faudra plusieurs centaines de matchs. Deux compléments utiles :

la log-loss, qui punit plus durement les excès de confiance ;
un tableau de calibration par tranches (50-60 %, 60-70 %…). On vérifie si les issues annoncées à 70 % se réalisent bien environ 7 fois sur 10.
Sur la comparaison avec le marché. Pensez à retirer la marge du bookmaker avant de comparer. À 1,21, la probabilité brute est de 82,6 %, mais une fois la marge enlevée, le marché voyait plutôt le Bayern autour de 78-80 %. L'écart avec vos 66,7 % reste énorme. Sur les gros favoris, un écart pareil vient souvent du modèle lui-même : il sous-estime peut-être la force des grosses équipes. C'est justement la tranche à surveiller dans la calibration.

Sur City et le Bayern. Les deux ont gagné (3-2 et 6-1), mais cela ne prouve pas que passer était une erreur. Avec vos propres probabilités, ce doublé arrivait environ une fois sur deux. Juger une décision sur un seul résultat est le piège inverse de celui que vous décrivez. Seule la série dira si le 66,7 % était mieux calibré que le marché.

Pour le suivi, je tiendrais trois registres séparés :

la qualité des probabilités : Brier et log-loss, comparés au marché à la clôture ;
les paris réellement pris : la cote obtenue, l'heure et la mise ;
le résultat financier : rendement et ROI.
Pour le deuxième registre, la CLV (comparer la cote prise à la cote de clôture) est le meilleur indicateur quand on a peu de paris. Battre régulièrement la clôture dit beaucoup plus vite que le ROI si un avantage existe.

Combien de matchs comptez-vous suivre avant de tirer un premier bilan ? Et prévoyez-vous de relever les cotes de clôture ?