Зачем объединять похожие оценки
Вероятность отдельного события описывает неопределённость конкретного исхода. Она не сообщает, что обязательно произойдёт именно в этом случае. Проверить соответствие вероятностей легче на серии: объединить прогнозы, которым вы приписали близкие шансы, и посмотреть на долю наступивших исходов. Это и есть практическая идея калибровки.
Например, предположим, что событиям в десяти ситуациях вы дали вероятность около 70%. Если семь событий наступили, наблюдаемая частота в этой группе составила 70%. Это не означает, что каждая оценка была идеальной, и не доказывает, что так будет в следующей десятке. Это описание именно полученной серии, которое можно сравнить с заявленным уровнем.
Группировка особенно полезна, когда в одиночном прогнозе результат кажется обманчивым. Событие с оценкой 20% вполне может произойти, хотя в среднем такие события должны быть редкими. Аналогично прогноз с оценкой 90% может не сбыться. Один исход не позволяет понять, насколько хорошо подобные оценки соответствуют частотам.
Ограничения сравнения
Небольшая выборка чувствительна к каждому случаю. Если прогнозов всего пять, одно событие меняет долю на двадцать процентных пунктов. Поэтому полезно сообщать не только частоту, но и число наблюдений: «три из пяти» звучит информативнее, чем одна лишь «60%», создающая впечатление устойчивой закономерности.
Сходная цифра не делает события одинаковыми. Прогнозы могли относиться к разным срокам, областям и условиям. Если несколько оценок зависят от одного и того же события или общего обстоятельства, их нельзя считать полностью независимыми примерами. Связи между вопросами влияют на то, как следует читать общую частоту.
Тедди Зайденфельд в работе «Calibration, Coherence, and Scoring Rules» (1985) обсуждает калибровку как один из способов оценивания вероятностных прогнозов и подчёркивает, что взаимосвязи вопросов важны для интерпретации калибровочных данных. Также автор отмечает ограничения калибровки в коротком периоде: она может побуждать к уклончивым оценкам. Поэтому сравнение групп — полезная информация, но не универсальная шкала, которая сама отвечает на все вопросы о качестве.
Как провести сравнение в быту
Сначала определите, какие прогнозы действительно сопоставимы. Для каждого должны быть понятны исход, срок, исходная вероятность и способ установить результат. Затем объедините близкие оценки в несколько широких диапазонов, вместо того чтобы создавать отдельную группу для каждого числа. Если в группе остаётся лишь один-два случая, её частота почти ничего не говорит о типичном соответствии.
Старайтесь не подбирать категории после того, как увидели результаты, только чтобы получить привлекательную картину. Если вы заранее не определили диапазоны, можно честно описать, как именно сгруппировали данные, и не выдавать это за независимое подтверждение. Сопоставление должно служить ясности, а не соревнованию с самим собой.
После подсчёта формулируйте вывод аккуратно: «в этой серии прогнозы около 60% сбылись чаще, чем ожидалось», а не «моя интуиция всегда переоценивает шансы». Повторяющиеся наблюдения могут подсказать вопрос для дальнейшей проверки, но не объясняют сами по себе причину расхождения. Иногда менялись условия, иногда группа неоднородна, а иногда результат — обычное колебание небольшой выборки.