Что именно измеряет калибровка
Калибровка — это соответствие заявленной вероятности относительной частоте результата. Если прогнозист многократно оценивает разные события в 70%, то при хорошей калибровке примерно 70% событий из такой группы должны происходить. Аналогично прогнозы с оценкой 50% должны сбываться примерно в половине случаев. Важны не отдельные удачи, а повторяющаяся связь между числом и результатами.
Это не означает, что один прогноз с оценкой 70% обязан сбыться. Вероятность описывает неопределённость, а не обещает исход конкретного случая. Если событие не произошло, это само по себе не доказывает, что оценка была неразумной. И наоборот: состоявшийся исход не подтверждает автоматически, что прогноз был хорошо обоснован. Сравнение приобретает смысл на серии сопоставимых прогнозов.
Калибровка отвечает на ограниченный вопрос: как часто сбывались прогнозы с определёнными заявленными вероятностями? Она не исчерпывает качество прогноза. Два человека могут одинаково хорошо соответствовать наблюдаемым частотам, но выбирать разные вероятности для конкретных событий. Одна метрика не устанавливает, кто лучше рассуждал во всех отношениях.
Что показывает исследование правил оценки
В статье «Errors in the quantification of uncertainty: A product of heuristics or minimal probability knowledge base?» Р. Дж. Геботис и С. П. Клакстон-Олдфилд (1989) изучали, как знания о вероятностях связаны с выполнением задач на их оценку. В экспериментах участвовали люди, разделённые на группы по образованию и по исходному знанию вероятностей; часть участников прошла короткое обучение. После него результаты теста улучшились, а различие, связанное с классификацией по образованию, исчезло. В последующем тесте через пять недель преимущество обученной группы сохранялось.
Авторы предложили рассматривать недостаточное знание вероятностей как возможное объяснение ошибок, а не автоматически приписывать их неизбежным особенностям мышления. Это не значит, что одно краткое обучение решает все проблемы прогнозирования или что результаты эксперимента доказывают мотивы конкретного автора. Исследование показывает, что освоение вероятностных понятий может иметь значение для решения задач; оно не позволяет по одной ошибке определить, почему она возникла.
В работе «Calibration, Coherence, and Scoring Rules» Тедди Зайденфельд (1985) обсуждается калибровка как один из кандидатов на оценку вероятностных прогнозов. Автор подчёркивает ограничения: частоты нужно рассматривать с учётом связей между вопросами, а калибровка на короткой серии может поощрять осторожное уклонение к более предсказуемым общим частотам. Поэтому набор чисел нельзя оценивать, забыв, что прогнозы могли зависеть друг от друга и относиться к разным условиям.
Как сравнивать аккуратно
Если вы сопоставляете прогнозы, сначала проверьте, что события и сроки определены достаточно ясно, а результат можно одинаково установить для всех. Затем объединяйте оценки в группы: например, сравнивайте все прогнозы около 70% с тем, какая доля исходов действительно наступила. Маленькая группа даёт особенно шаткую картину: несколько событий способны заметно изменить наблюдаемую долю.
Не смешивайте без оговорок прогнозы о несвязанных вопросах, сделанные при разных условиях. Если события зависимы или один и тот же факт влияет на несколько оценок, это важно для интерпретации общей частоты. Не следует также превращать удачное попадание в доказательство особого таланта или неудачу — в доказательство некомпетентности. По итогам можно говорить: «в этой группе оценки такого уровня часто оказывались выше или ниже наблюдаемой частоты», а не «я знаю, что автор думал».
Полезно отдельно различать проверяемый результат и объяснение результата. Первое можно оценить по зафиксированным вероятностям и исходам; второе потребовало бы сведений о процессе принятия решения, которых сами числа не содержат. Такой подход делает сравнение более честным и помогает не приписывать прогнозисту скрытые намерения.