WAPE, MAPE и смещение прогноза: как сравнивать спрос при нулевых продажах

Выберите ошибку, которая отвечает рабочему решению

Прогноз может точно попадать в общий объём и регулярно ошибаться по отдельным дням. Излишек в понедельник не компенсирует нехватку в пятницу, если товар нужен именно в момент обращения. Поэтому одного показателя «точность 90%» недостаточно: нужны определение ошибки, уровень детализации и правила для нулевых значений.

Здесь сравниваются точечные прогнозы одной и той же величины. Для каждого наблюдения сохраняются прогноз, фактическое значение, период выпуска прогноза и горизонт. Качество исходных данных и отличие наблюдаемых продаж от спроса разобраны в руководстве по прогнозированию. Настоящий материал отвечает на более узкий вопрос: как правильно посчитать и прочитать ошибку уже подготовленных прогнозов.

Зафиксируйте знак и единицу

В этой статье ошибка равна прогнозу минус факту. Положительное значение означает завышение, отрицательное — занижение. В других отчётах знак может быть обратным, поэтому определение нужно писать рядом с показателем.

MAE — среднее абсолютное отклонение в исходных единицах. Оно показывает средний размер промаха, не позволяя положительным и отрицательным ошибкам погасить друг друга. RMSE сначала возводит ошибки в квадрат, усредняет и извлекает корень; крупные промахи сильнее влияют на этот показатель. AWS описывает RMSE и нормированные показатели в перечне метрик временных рядов. AWS: Objective metrics.

Не складывайте штуки, килограммы и часы в один MAE. Даже одинаковая единица «штука» у дорогого оборудования и дешёвого расходника может иметь разное значение для бизнеса. Для общего обзора нужна явно выбранная группировка или дополнительная денежная оценка последствий.

WAPE и MAPE используют разные знаменатели

Для неотрицательной целевой величины WAPE считаем как сумму абсолютных ошибок, делённую на сумму фактических значений. MAPE сначала делит абсолютную ошибку каждой строки на факт этой строки, затем усредняет доли. Вторая метрика придаёт каждой строке одинаковый вес независимо от её объёма.

AWS описывает WAPE и отдельно отмечает, что при близкой к нулю сумме наблюдений нормированная величина не определена. Документация также предупреждает об историческом различии названий WAPE и MAPE в конкретном сервисе. Это ещё одна причина проверять формулу экспорта, а не доверять подписи колонки. AWS: Evaluating predictor accuracy.

При отдельном нулевом факте MAPE для этой строки не определён. Самовольная замена нуля на единицу или незаметное удаление строки создаёт уже другую методику. Если по всей группе фактический объём равен нулю, WAPE тоже нельзя выдать как 0% или 100% без отдельного правила. Покажите абсолютную ошибку и отметку о неприменимости процента.

Учебный пример: нулевое смещение при ошибке 20%

Четыре условных периода одного товара имеют фактический спрос 0, 10, 20 и 70 единиц. Прогноз модели А: 5, 15, 15 и 65. История полна, нулевой первый период действительно означает отсутствие спроса, а не закрытую точку или отсутствие товара. Четыре наблюдения нужны только для арифметики, их недостаточно для вывода о качестве рабочей модели.

Ошибки по принятому знаку: +5, +5, −5, −5. Их сумма равна нулю, но сумма абсолютных ошибок составляет 20. Общий факт равен 100.

• MAE = 20 ÷ 4 = 5 единиц.
• WAPE = 20 ÷ 100 × 100 = 20%.
• Средняя подписанная ошибка = 0 ÷ 4 = 0.
• Нормированное смещение в выбранной методике = 0 ÷ 100 × 100 = 0%.
• RMSE = квадратный корень из [(25 + 25 + 25 + 25) ÷ 4] = 5 единиц.

Нулевое смещение означает только взаимную компенсацию направлений. В каждом из четырёх периодов есть промах. Если ошибку первого периода убрать ради MAPE, оставшиеся проценты составят 50%, 25% и примерно 7,14%; их среднее около 27,38%. Это MAPE только трёх ненулевых строк, а не показатель всех четырёх. Такой результат нельзя сопоставлять с WAPE 20% как две оценки одной формулы.

Одинаковый WAPE может скрывать другой риск

Модель Б прогнозирует 0, 12, 24 и 84. Её ошибки: 0, +2, +4 и +14. Сумма абсолютных ошибок тоже 20, поэтому WAPE снова 20%, а MAE снова 5. Но нормированное смещение равно +20%: модель систематически завышает общий объём примера.

RMSE модели Б равен квадратному корню из [(0 + 4 + 16 + 196) ÷ 4], то есть корню из 54, около 7,35. Более крупный промах в последнем периоде заметнее, чем у А. Какая модель предпочтительнее, зависит от стоимости нехватки и излишка, доступности повторной поставки и срока хранения. Одно совпавшее число WAPE не решает этот выбор.

Не называйте 100% минус WAPE вероятностью правильного прогноза. Величина 80% в первом примере не означает, что 80% дней, покупателей или заказов обслужены без ошибки. Она также не является уровнем наличия или долей исполненного спроса.

Проверяйте модель рядом с простым ориентиром

Добавим условный базовый прогноз: 0, 8, 22 и 60, сформированный до появления этих фактов. Ошибки равны 0, −2, +2 и −10; сумма абсолютных ошибок 14. WAPE составляет 14%, MAE — 3,5 единицы, нормированное смещение −10%.

На этой крошечной выборке базовый вариант имеет меньшую абсолютную ошибку, чем А и Б, но склонен недооценивать общий объём. Это не доказательство превосходства метода в будущем. Для рабочего сравнения нужны несколько исторических точек выпуска, одинаковый горизонт, сопоставимые данные и периоды, не использованные для подбора параметров.

Сохраняйте исходный прогноз до ручных правок. Тогда можно отдельно проверить модель, вмешательство планировщика и фактически использованную версию. Оценка только последнего исправленного числа не объясняет, помогла ли новая автоматизация.

Что скрывает общий итог

WAPE по всей сети сильнее зависит от крупных объёмов. Хороший результат массового товара может скрыть систематический дефицит маленькой критичной категории. Покажите общий показатель вместе с разрезами, на которых принимаются решения: SKU, точка, срок поставки, акция и обычный период.

Не усредняйте WAPE категорий простым средним, если нужен общий WAPE. Сначала сложите абсолютные ошибки и фактические объёмы, затем разделите. Среднее процентных показателей с разными знаменателями отвечает на другой вопрос.

Период отсутствия товара требует отдельного признака. Ноль продаж при пустой полке не доказывает нулевой спрос. Если потерянный спрос неизвестен, отчёт должен честно ограничить интерпретацию, а не заполнять историю выдуманным точным фактом.

Паспорт расчёта и приёмочные тесты

Храните целевую величину, единицу, версию прогноза, дату выпуска, горизонт, факт и его версию, знак ошибки, правила пропусков и нулей, список исключённых строк и границу агрегирования.

1. Модель А даёт MAE 5, WAPE 20% и смещение 0%.
2. Модель Б сохраняет MAE и WAPE, но показывает смещение +20% и RMSE около 7,35.
3. MAPE не делит на ноль и не скрывает исключение строки.
4. Группа с нулевой суммой факта показывает неприменимость WAPE и абсолютную ошибку.
5. Общий WAPE рассчитывается из сумм, а не среднего процентов категорий.
6. Прогноз не использует данные, появившиеся позже даты его выпуска.
7. Неизвестный спрос из-за отсутствия товара обозначен отдельно.
8. Ручная правка сохраняет исходную версию и проверяемый результат вмешательства.

В SABSUS начните с доступных выгрузок отчётности, склада и выбранного сценария AI. Наличие готовых метрик или прогнозной модели требуется подтвердить в конфигурации. Для приёмки достаточно сначала воспроизвести небольшой обезличенный набор вручную.

Короткие ответы

Какой WAPE считается хорошим?

Универсального порога нет. Сравнивайте одинаковые горизонты и группы с подходящим базовым методом и последствиями ошибок.

Нулевое смещение означает точный прогноз?

Нет. Положительные и отрицательные ошибки могут полностью погаситься. Нужна абсолютная ошибка рядом с направлением.

Можно объединить все товары в один процент?

Можно при понятной сопоставимой базе, но общий итог должен дополняться разрезами важных товаров и точек.

Источники

• AWS: Objective metrics for time-series forecasting.
• AWS: Evaluating predictor accuracy.

Источники проверены 9 октября 2026 года. Формулы применены к редакционным учебным данным; название сервиса в источнике не является рекомендацией его внедрения.