Точность прогнозов: как её проверять — калибровка и Brier score

Точность прогнозов нельзя честно измерить одним процентом угаданных исходов. Прогноз на футбол — это вероятность, поэтому проверять нужно, насколько эти вероятности совпадают с реальностью: сбываются ли события, которым дали 70%, примерно в 70% случаев. Для этого используют калибровку вероятностей, Brier score и бэктест на прошлых матчах. Ниже о том, как работает каждый инструмент и как с их помощью проверить любого прогнозиста.

Почему процент угаданных обманывает

Представьте двух прогнозистов. Первый выбирает только крупных фаворитов и угадывает большую часть исходов. Второй прогнозирует равные матчи и угадывает реже. По проценту попаданий первый выглядит сильнее, но это ничего не говорит о качестве: он просто выбирает события, которые и так почти всегда происходят.

У процента угаданных три проблемы:

• Он не учитывает уверенность. Прогноз «70% на победу хозяев» и прогноз «51% на победу хозяев» засчитываются одинаково, хотя это разные утверждения.
• Он зависит от подбора матчей. Высокий процент легко получить, выбирая очевидные исходы.
• Он ничего не говорит о коэффициентах. Для ставок важно не только «зашло или нет», но и по какой цене. Угадывать 60% исходов при коэффициентах, которые подразумевают 70%, — значит проигрывать дистанцию.

Поэтому точность прогнозов оценивают метриками, которые работают с вероятностями, а не с бинарным «да/нет».

Калибровка вероятностей

Модель откалибрована, если её вероятности означают ровно то, что написано. Проверяется это просто: все прогнозы делят на группы по заявленной вероятности (например, 50–60%, 60–70%, 70–80%) и в каждой группе считают, какая доля реально сбылась.

• Если в группе «60–70%» сбылось около 65% — модель хорошо откалибрована.
• Если сбылось 50% — модель самоуверенна: обещает больше, чем даёт.
• Если сбылось 80% — модель излишне осторожна: занижает вероятности.

Калибровка вероятностей важнее, чем кажется. Даже правильно выбранный фаворит бесполезен для оценки ставки, если заявленная вероятность завышена: именно её сравнивают с коэффициентом.

На xG.Football калиброванная вероятность считается именно так. Система смотрит, как часто сбывались прошлые прогнозы с тем же рынком, линией, числом баллов и решением модели. Сначала берутся матчи этого турнира: нужно не меньше 200 рассчитанных исходов. Если их меньше, используются все турниры, и тогда нужно не меньше 500. Если набрать выборку не удаётся, вероятность не показывается как калиброванная. Подробнее о критериях — в статье о том, как работает модель.

Brier score: одна цифра для качества вероятностей

Brier score — это средний квадрат ошибки вероятности. Для каждого прогноза берут заявленную вероятность p и фактический исход o (1, если событие случилось, 0, если нет), считают (p − o)² и усредняют по всем прогнозам.

Пример: прогноз дал событию 0,7, и оно случилось. Ошибка — (0,7 − 1)² = 0,09. Если бы событие не случилось, ошибка была бы (0,7 − 0)² = 0,49. Уверенный промах наказывается сильнее всего.

Как читать результат для событий «да/нет»:

• 0 — идеальные прогнозы (недостижимо в футболе);
• 0,25 — уровень прогноза «50% на всё»: ориентир, ниже которого модель должна опускаться, чтобы в ней был смысл;
• чем меньше, тем лучше.

Главное свойство Brier score: его нельзя «обмануть» подбором лёгких матчей так же просто, как процент угаданных. Он одновременно учитывает, угадан ли исход и насколько правильно выбрана уверенность. Сравнивать Brier score имеет смысл только на одном и том же наборе событий: у рынка с частыми исходами и у рынка с редкими исходами базовый уровень разный.

Backtest прогнозов: проверка на прошлом без подглядывания

Бэктест — это прогон модели на уже сыгранных матчах, как будто она работала в тот момент. Backtest прогнозов полезен, только если соблюдено главное правило: для каждого матча используются только данные, известные до его начала. Если в расчёт попадает хоть что-то из будущего (итоговая таблица сезона, статистика матчей, сыгранных позже), модель выглядит точнее, чем есть на самом деле. Эту ошибку называют утечкой данных или «заглядыванием вперёд».

В xG.Football бэктест строится по сохранённой статистике, и калибровка для каждого матча использует только матчи, начавшиеся раньше него. Но даже честный бэктест остаётся проверкой на прошлом. Настоящая проверка — прогнозы, сохранённые до матча и сверенные с результатом после. Такой журнал открыт на странице, где собрана статистика прогнозов.

Сколько прогнозов нужно, чтобы делать выводы

Точность прогнозов на маленькой выборке почти ничего не значит. Десять угаданных из пятнадцати — это 67%, но при такой выборке реальная точность может с одинаковым успехом оказаться и заметно ниже, и заметно выше.

Для оценки неопределённости используют доверительный интервал. На xG.Football рядом с калиброванной вероятностью хранится 95-процентный интервал Уилсона: он показывает, в каком диапазоне, скорее всего, находится истинная вероятность при данном размере выборки. Чем меньше выборка, тем шире интервал и тем меньше стоит доверять одной цифре.

Как проверить прогнозиста: чек-лист

Эти же принципы работают, когда вы оцениваете любой сервис или автора прогнозов:

1. Прогнозы опубликованы до начала матча, и это можно проверить. Прогноз, появившийся задним числом, ничего не стоит.
2. Журнал полный. Проигрышные прогнозы не удаляются и не «забываются».
3. Указаны вероятности или коэффициенты. Без них нельзя оценить ни калибровку, ни ценность.
4. Выборка большая. Десятки прогнозов — это ещё удача или неудача, сотни уже что-то говорят.
5. Метод объяснён. Понятно, на каких данных строится прогноз, и нет обещаний «гарантированных» результатов.
6. Заявленная вероятность совпадает с фактом. Если средняя уверенность высокая, а процент сбывшихся заметно ниже, это самоуверенность, а не точность.

Последний пункт можно проверить на странице статистики xG.Football: там рядом показаны средняя расчётная вероятность и точность по рассчитанным прогнозам. Журнал фильтруется по рынку, статусу и датам. Актуальные прогнозы на футбол на ближайшие матчи попадают в тот же журнал и проверяются так же, после финального свистка.

Коротко о главном

Точность прогнозов измеряется не процентом угаданных, а тем, насколько вероятности соответствуют реальности. Калибровка показывает, можно ли верить заявленным процентам, Brier score сводит качество вероятностей к одной цифре, честный бэктест проверяет модель на прошлом без подглядывания, а размер выборки говорит, насколько всем этим цифрам можно доверять.