Стратифицированный аудит качества: как оценить поток после усиленной проверки риска

Разделите две цели проверки

Первая цель — найти конкретные проблемы для исправления. Для неё можно прицельно разбирать жалобы, дорогие заказы или необычные ситуации. Вторая — оценить долю операций с определённой ошибкой во всём известном потоке. Такая оценка требует понятной связи между отобранными записями и исходной совокупностью.

Список подозрительных случаев полезен для расследования, даже если он не позволяет оценить общий процент. Не переименовывайте его в репрезентативный аудит только из-за большого числа проверок. Сотрудник, выбравший самые тревожные обращения вручную, использует другую процедуру, чем случайный отбор.

Стратифицированный план делит поток на заранее определённые группы и позволяет проверять разные доли каждой группы. Statistics Canada описывает вероятностный отбор, включая стратификацию, как отдельный способ организации выборки. Statistics Canada: Probability sampling.

Зафиксируйте поток и единицу ошибки

Сначала выберите период и единицу наблюдения: завершённое обращение, заказ или конкретную операцию. Один заказ с тремя неправильными полями может считаться одной ошибочной операцией либо тремя дефектами. Это разные показатели; определение должно быть известно до проверки.

В примере ниже единица — завершённая сервисная операция, а результат бинарный: есть хотя бы одна ошибка выбранного вида или её нет. Все операции входят в один фиксированный период. Повторная загрузка записи не создаёт новую единицу, исправление после аудита не стирает исходный результат проверки.

Реестр должен охватывать всю исследуемую группу, включая сложные случаи и записи из разных каналов. Если один канал отсутствует в выгрузке, правильные веса остальных не восстановят его неизвестный результат. Отдельно покажите ограничение охвата и не распространяйте вывод на недоступную часть бизнеса.

Сформируйте непересекающиеся страты

Предположим, операции заранее делятся на обычные и сложные по наблюдаемому рабочему признаку. Правило принадлежности задаёт владелец процесса. Каждая операция попадает ровно в одну страту; сумма размеров страт равна размеру всего потока.

Не определяйте сложность после того, как увидели ошибку. Иначе найденные проблемы начнут менять собственный вес. Сохраняйте основание классификации и состав групп на дату отбора. Если классификация была ошибочной, корректировку рассматривают как изменение данных плана, а не тихо переносят неудобную строку.

Внутри каждой страты выберите записи случайно без повторений. Пример предполагает простую случайную выборку: у каждой операции одной страты одинаковая вероятность включения. Проверка только последних записей смены, первых найденных файлов или клиентов с жалобой этому условию не соответствует.

Учебный пример: 12 найденных ошибок и оценка 280

Все числа вымышлены. За период завершены 10 000 операций: 9 000 обычных и 1 000 сложных. Для усиленной проверки сложных случаев из каждой группы случайно выбрали по 100 операций. Все выбранные записи доступны и полностью проверены по одному критерию.

В обычной группе обнаружены две ошибочные операции из ста, в сложной — десять из ста. Всего фактически найдены 12 ошибок среди 200 проверок. Сырая доля составляет 12 / 200 = 6%.

Но сложные случаи занимают половину выборки и только десятую часть потока. Чтобы оценить весь поток, нужно учесть разные вероятности включения. Для обычной операции вероятность равна 100 / 9000 = 1/90, для сложной — 100 / 1000 = 1/10.

Вес отобранной обычной операции равен 90, сложной — 10. Statistics Canada определяет design weight как обратную вероятность включения и описывает использование весов для итогов и пропорций. Statistics Canada: Weighting.

Взвешенная оценка количества ошибочных операций: 2 × 90 + 10 × 10 = 280. Взвешенный размер потока: 100 × 90 + 100 × 10 = 10 000. Оценка доли равна 280 / 10 000 = 2,8%.

Тот же результат получается через доли страт: 90% × 2% + 10% × 10% = 2,8%. Это проверка расчёта двумя способами. Найденных ошибок по-прежнему двенадцать: именно для них можно открыть конкретные исправления. Число 280 является оценкой, а не списком установленных нарушений.

Что показывать руководителю вместе с итогом

В отчёте нужны размеры обеих групп, выбранные и реально проверенные записи, ошибки по каждой группе, веса и общий результат. Отдельно показывайте сырые 6% как описание самой выборки. Они не ошибочны арифметически; ошибочно подписывать их долей всего потока.

Не скрывайте 10% в сложной группе за общими 2,8%. Это может быть важный сигнал для пересмотра конкретного процесса. Критические нарушения рассматриваются по собственному порядку независимо от малого взвешенного процента. Усреднение не отменяет обязательства исправить найденную проблему.

Оценка имеет выборочную неопределённость. При другом случайном наборе из того же потока число ошибок может отличаться. Здесь не рассчитывается доверительный интервал и не доказывается точная частота 2,8%. Для решений, требующих определённой точности, план и расчёт неопределённости нужно согласовать отдельно.

Недоступные записи не становятся успешными

Допустим, часть случайно выбранных сложных обращений нельзя прослушать или прочитать. Сохраните их в журнале отбора с причиной отсутствия результата. Нельзя записать их как «ошибки нет» или заменить ближайшими удобными случаями, не меняя описание процедуры.

Исходная формула примера предполагает проверенные сто из каждой страты. Если проверены не все, прежде чем пересчитать вес, выясните причину пропуска и возможность получить данные. Автоматическое увеличение веса доступных записей предполагает, что они представляют и недоступные, а это требует основания.

Тот же предел действует для ручной риск-выборки. Если руководитель выбрал сто самых подозрительных обычных операций, вес 90 не становится корректным только потому, что всего обычных операций девять тысяч. Вероятность включения определяется процедурой отбора, а не одним отношением размеров.

Согласованность оценщиков решает другую проблему

Даже идеальный отбор не исправляет непонятный критерий ошибки. Подготовьте описание достаточного свидетельства и порядок разбора спорного результата. Если проверяющие систематически пропускают нарушение, взвешивание воспроизведёт и эту ошибку измерения.

Общие правила проверки фактов и независимого разбора приведены в руководстве по качеству звонков. Здесь не вводится новый балл сотрудника. Единица аудита относится к процессу, а вывод о причинах конкретного нарушения требует содержательной проверки.

После изменения критерия, канала или способа отбора сопоставимость периодов нужно подтвердить заново. Снижение сырой доли может объясняться меньшим числом сложных случаев в выборке, а не улучшением обслуживания. Сохраняйте версии определений рядом с отчётом.

Минимальные данные и приёмка

Для каждой операции нужны идентификатор, период, страта и основание включения. Для плана — размер каждой страты, способ случайного отбора, список выбранных записей и рассчитанная вероятность. Для проверки — критерий, проверяющий, результат, достаточное свидетельство и причина неопределённости.

1. Все 10 000 операций относятся ровно к одной из двух страт.
2. В каждой выборке сто разных записей, без ручного отбора удобных случаев.
3. Веса 90 и 10 следуют из вероятностей включения.
4. Две формулы воспроизводят оценку 2,8%.
5. Реестр исправлений содержит 12 найденных ошибок, а не 280 выдуманных случаев.
6. Непроверенные записи видны и не отмечены успешными.
7. Изменение состава выборки не переписывает исходный план.
8. Критическое нарушение сохраняет отдельное решение независимо от общего процента.

Для SABSUS обсудите отчёты, задачи и доступ к исходным операциям. Случайный отбор, хранение весов и соответствующий расчёт необходимо подтвердить в конфигурации; готовый статистический модуль не предполагается.

Частые вопросы

Проверять сложные случаи чаще неправильно?

Нет. Это может быть полезным планом. Важно сохранить вероятностный отбор внутри групп и учесть разные доли включения при оценке всего потока.

Почему нельзя просто усреднить 2% и 10%?

Такое среднее равно 6% и придаёт группам одинаковый вес. В исходном потоке их доли равны 90% и 10%.

Можно исправлять только оценённые 280 ошибок?

Оценка не указывает конкретные записи. Исправляйте найденные случаи и их причины; для выявления остальных требуется отдельная проверка.

Источники

• Statistics Canada: Probability sampling.
• Statistics Canada: Weighting.

Проверено 9 октября 2026 года. Поток, выборки и результаты вымышлены.