Разберите расхождение по частям
Восстановите исходную формулировку, срок и вероятность, если они были зафиксированы заранее. Затем установите результат по тому же критерию, который вы выбрали до события. Если прогноз звучал неопределённо, не подменяйте его более точной версией задним числом: отметьте, что проверка затруднена. Это само по себе может быть полезным выводом о формулировке.
Спросите, было ли событие действительно маловероятным или оценка была высокой. Например, если событию дали 20%, его наступление — неприятный, но допустимый исход; одного случая недостаточно, чтобы признать оценку неверной. Если события с похожей вероятностью многократно происходят чаще, чем заявлено, появляется основание внимательнее исследовать этот разрыв на серии.
Отдельно отметьте изменения условий, новые сведения и возможные связи с другими прогнозами. Не объявляйте каждую перемену причиной промаха, но и не игнорируйте контекст. Полезная заметка различает факт («срок перенесли») и объяснение («это, вероятно, повлияло на результат»), не выдавая второе за установленное.
Что может сказать серия
Калибровка — это соответствие объявленных вероятностей наблюдаемой относительной частоте. Если в группе прогнозов около 60% события происходят примерно в шести случаях из десяти, оценки этой группы согласуются с частотой. Такой подход помогает не придавать одному промаху чрезмерный вес и не принимать единичную удачу за подтверждение.
В статье «Calibration, Coherence, and Scoring Rules» Тедди Зайденфельд (1985) рассматривает калибровку среди способов оценивать вероятностные прогнозы. Он обращает внимание на взаимосвязи между вопросами и на ограничения короткой проверки. Значит, заметка об одном исходе может подсказать, что проверить, но не устанавливает качество всей системы прогнозирования. Небольшая или неоднородная группа требует осторожных выводов.
Не объединяйте без разбора события с разными сроками и условиями. Если прогнозы зависимы, несколько результатов могут отражать одно общее обстоятельство, а не множество независимых подтверждений. Для практического вывода обычно важнее ясно описать, какие случаи сравнивались и сколько их было, чем создать сложную оценку с ложной точностью.
Сформулируйте следующий шаг без самонаказания
Хорошая заметка заканчивается проверяемым уточнением, а не обещанием больше никогда не ошибаться. Например: «В похожей ситуации в следующий раз отдельно оценю вероятность и срок» или «перед сравнением проверю, одинаково ли определён исход». Такая формулировка направлена на процесс, который можно наблюдать, а не на попытку контролировать все будущие результаты.
Если заметка касается повторяющейся категории прогнозов, сравните несколько случаев, прежде чем менять общие выводы. Возможно, выяснится, что оценки около 80% сбывались реже; возможно, выборка мала или события были несопоставимы. В обоих случаях разумнее уточнить наблюдение, чем закреплять вывод о себе на основании одного случая.
Полезно помнить, что прогнозирование не устраняет неопределённость. Цель разбора — не добиться безошибочности, а яснее видеть, где оценка относится к устойчивым повторяющимся случаям, а где исход зависит от редких событий или меняющихся условий. Сдержанная заметка сохраняет и результат, и его ограничения, поэтому помогает рассуждать точнее, не превращая случайный исход в личный вердикт.