Прогноз вероятности сделки: как сравнить модели по Brier score

Какое решение помогает принять оценка

Владелец сервисной компании проверяет, полезна ли новая оценка вероятности выигрыша сделки. Сравниваются два заранее сохранённых прогноза на одних и тех же возможностях. Нужен показатель, который учитывает не только сторону порога «больше или меньше 50%», но и само заявленное значение вероятности.

Взвешенный прогноз воронки уже связывает вероятность с событием и сроком, сохраняет исторический снимок и проверяет ожидаемые суммы. Здесь более узкая задача: сравнить среднюю квадратичную потерю вероятностных прогнозов по отдельным случаям после наблюдения результатов.

Рабочий результат — воспроизводимое сравнение двух способов прогнозирования. Решение о внедрении потребует также проверки данных, устойчивости результата и последствий для процесса продаж.

Событие, вероятность и наблюдённый исход

Для примера событие одно: сделка выиграна в течение 30 дней после даты прогноза. Вероятность p лежит от 0 до 1. После полного наблюдения окна исход y равен 1, если событие произошло, и 0, если известно, что в этом окне его не было.

Сделка может остаться открытой после тридцатого дня и всё равно иметь y = 0 для этого конкретного события. Это не утверждение, что она проиграна навсегда. Если история неполна и неизвестно, произошёл ли выигрыш вовремя, такое отсутствие сведений нельзя молча заменить нулём.

Один исход не раскрывает «истинную вероятность» отдельной сделки. Победа при прогнозе 70% не доказывает, что надо было поставить 100%. Проигрыш также не делает всякий ненулевой шанс ошибочным. Оценка сравнивает прогнозы с наблюдениями по установленному правилу, а не восстанавливает недоступную индивидуальную вероятность.

Формула и соглашение о шкале

Это бинарная версия Brier loss со значениями от 0 до 1; меньшее значение означает меньшую наблюдённую потерю на данном наборе. Ноль достигается, когда все прогнозы равны соответствующим нулевым или единичным исходам. Он сам по себе не доказывает качество будущего прогноза.

Официальная документация scikit-learn приводит эту форму и отдельно описывает вариант с суммой по всем категориям. В бинарном случае без деления на два он даёт шкалу 0–2. Поэтому при сверке двух отчётов сначала проверьте формулу, положительное событие и масштаб. scikit-learn: brier_score_loss.

Подставлять нужно доли: 70% записываются как 0,7. Если вместо этого в расчёт попадёт 70, результат не будет корректной оценкой вероятностного прогноза. Отсутствующее значение тоже не должно автоматически превращаться в нулевую вероятность.

Для одного неслучившегося события прогноз 0,9 даёт потерю 0,9² = 0,81; прогноз 0,6 — 0,36. Уверенное несовпадение с исходом получает больший вклад. Но по одной такой строке нельзя объявить всю модель лучшей или худшей.

Учебное сравнение: совпали и сумма, и ответы по порогу

Все записи условные. Четыре сделки D1–D4 имеют полностью наблюдённые исходы 1, 1, 0, 0. Обе версии прогноза были сохранены до появления этих результатов, не менялись и применяются к одним и тем же четырём случаям с равным весом.

• Модель A: вероятности 0,70; 0,70; 0,30; 0,30.
• Модель B: вероятности 0,51; 0,51; 0,49; 0,49.

Сумма вероятностей в обоих случаях равна двум. Фактически тоже получены две победы, поэтому ошибка общего ожидаемого числа побед в этом примере равна нулю у обеих моделей.

По заранее выбранному правилу «p ≥ 0,5 означает прогноз победы» обе модели выдают 1, 1, 0, 0 и получают четыре совпадения из четырёх. Эта проверка использует только сторону порога и теряет различие между 0,70 и 0,51.

На этой группе A имеет меньшую потерю вероятностного прогноза. Это более точное описание результата, чем «обе модели абсолютно точны». Но четыре учебных случая не доказывают превосходство A в рабочей системе и не позволяют оценить статистическую устойчивость разницы.

Добавьте заранее выбранный базовый прогноз

Пусть до теста отдельно выбран простой ориентир: вероятность 0,5 для любой сделки. В учебной истории основанием послужили 50 своевременных побед среди 100 сопоставимых случаев прежнего, уже завершённого периода. Это условные сведения, а не статистика SABSUS или реального бизнеса.

Для тестовых четырёх сделок базовый вариант даёт потерю 0,25 в каждой строке, значит BS_base = 0,25. A лучше этого ориентира по выбранной оценке на 0,25 − 0,09 = 0,16, B — на 0,25 − 0,2401 = 0,0099.

Сравнение показывает, почему четыре правильных ответа по порогу ещё не говорят, насколько вероятности полезнее почти постоянного значения. Эти разницы не выражены в рублях, процентах выручки или числе дополнительно выигранных сделок.

Базовый вариант нельзя подобрать после просмотра тестовых исходов и затем представить заранее доступным. Используйте одинаковую группу и одинаковое правило обработки пропусков для всех вариантов. Если модель не дала прогноз части сделок, покажите покрытие отдельно; сравнение только удобных строк может изменить вывод.

Почему единичная победа не требует вероятности 100%

Отдельный математический пример: предположим, что в условном повторяемом процессе вероятность события действительно равна q = 0,7. Это заданное допущение для объяснения, не вывод о наших четырёх сделках.

При прогнозе p = 0,7 средняя ожидаемая потеря равна 0,7 × 0,3² + 0,3 × 0,7² = 0,21. При постоянной уверенности p = 1 она равна 0,3, потому что оставшиеся 30% исходов получают потерю один. Таким образом, единичная удачная уверенная ставка не определяет лучший вероятностный прогноз.

При заданном q минимум достигается в p = q. Это иллюстрирует свойство правильной оценки вероятности в среднем. Gneiting и Raftery рассматривают квадратичное правило среди строго правильных scoring rules; в их записи оценка имеет противоположный знак, поскольку максимизируется. Gneiting и Raftery, 2007: Example 1.

Чего меньший Brier score ещё не доказывает

Меньшая потеря не является отдельным доказательством лучшей калибровки. Документация scikit-learn объясняет: оценка одновременно отражает несколько свойств прогноза и данных; улучшение различения случаев может сопровождаться ухудшением калибровки. scikit-learn: Probability calibration.

Поэтому для реального сравнения рядом нужны калибровка сопоставимых групп, разбор важных сегментов и независимая оценка на завершённых горизонтах, которые не использовались для подбора модели. Если по тестовой группе уже выбрали параметры, она перестала быть нетронутой проверкой этой версии.

Наш BS даёт каждой сделке одинаковый вес. Ошибка на маленьком и большом проекте вносит одинаковый вклад при тех же p и y. Он не заменяет прогноз суммы выигранных сделок, проверку порядка приоритетов или оценку стоимости рабочих действий. Вес по сумме изменил бы поставленную задачу; его нельзя добавить после расчёта только ради желаемого победителя.

Не называйте 1 − BS процентом правильных сделок. Для A это 0,91, хотя в пороговой проверке совпали все четыре исхода. Ошибки точечного прогноза спроса тоже имеют собственные единицы и смысл; их проценты нельзя напрямую сопоставлять с потерей вероятностей.

Приёмочный набор для сравнения

1. Положительное событие и тридцатидневный горизонт одинаковы у всех прогнозов.
2. Сохранены исходные вероятности до появления результатов; значения лежат в диапазоне 0–1.
3. Четыре известные исхода дают BS 0,09 для A, 0,2401 для B и 0,25 для базового варианта.
4. Одинаковые сумма вероятностей и точность по порогу не стирают различие Brier loss.
5. Известное отсутствие победы в завершённом окне отделено от неполной истории.
6. Пропуски прогнозов, размер группы, веса и соглашение о шкале видны в отчёте.
7. Меньшая тестовая потеря не подписана как доказательство калибровки, роста продаж или будущей победы.

Для SABSUS обсудите доступность исходных снимков CRM и выгрузки отчётов. Исторические вероятности, бинарные исходы и готовый расчёт Brier score необходимо проверить в конкретной конфигурации; встроенная модель здесь не предполагается.

Источники проверены 11 октября 2026 года. Все числа и примеры редакционные учебные; они не являются результатами внедрения или рекомендацией менять процесс продаж без проверки.