Сначала уточните, о каком прогнозе идёт речь
Вероятностный прогноз всегда относится к конкретному событию, сроку и набору доступных условий. Ожидание, что встреча состоится на этой неделе, не тождественно ожиданию, что она состоится когда-нибудь. Если встречу перенесли, исход можно оценивать по первоначальному сроку: состоялась ли она тогда. Дополнительно можно обсуждать новый прогноз для изменившейся ситуации, но это уже отдельное утверждение.
Полезно различать новое обстоятельство, которое не было известно, и условие, которое уже существовало, но не было учтено. В первом случае задача могла измениться после оценки. Во втором, возможно, прогнозист упустил значимую информацию. Однако это различие не всегда очевидно, и одна запись не устанавливает причину: она лишь помогает сформулировать, какие сведения появились и когда.
Если критерий результата изначально был расплывчатым, изменения могут сделать оценку особенно спорной. Например, «дело скоро решится» не задаёт ни срок, ни понятный исход. Лучше признать, что первоначальное утверждение трудно проверить, чем выбирать после события удобный вариант его прочтения.
Как учитывать контекст в серии прогнозов
Для сравнения нескольких прогнозов важны не только числа, но и условия, в которых они делались. Калибровка сопоставляет заявленные вероятности с наблюдаемой относительной частотой исходов. Но если одна группа объединяет ситуации с разными сроками, изменчивыми условиями и зависимыми событиями, общая доля может скрыть важные различия.
В статье «Calibration, Coherence, and Scoring Rules» Тедди Зайденфельд (1985) указывает, что при анализе калибровочных данных важно учитывать связи между вопросами. Это предостерегает от механического объединения всех прогнозов в одну группу. Короткая серия также имеет ограничения; по ней нельзя уверенно заключить, что закономерность устойчива или что один прогнозист в целом надёжнее другого.
Практически можно помечать прогнозы по условиям, которые действительно существенны: например, были ли ключевые обстоятельства стабильны или изменились до срока проверки. Не создавайте множество категорий, если в каждой останутся единичные случаи. Слишком мелкое деление может придать случайным колебаниям вид закономерности.
Полезный порядок проверки
При наступлении срока сначала сравните исход с первоначальной формулировкой. Затем отдельно запишите, какие изменения произошли, когда они стали известны и могли ли повлиять на исход. После этого решите, допустимо ли считать ситуацию частью общей серии или разумнее рассматривать её отдельно. Само наличие перемен не должно автоматически превращать любой несбывшийся прогноз в «неподходящий для проверки».
Если обстоятельства изменились уже после оценки, можно сказать: «прогноз относился к прежним условиям; позднее они изменились». Это точнее, чем обвинять себя в ошибке или объявлять первоначальный прогноз успешным. Если же новое событие не отменило критерий и срок, исход можно оценить по ним, сохранив контекст как объяснение, а не как замену результата.
В дальнейшем полезно формулировать прогнозы с указанием условий: «если обстоятельства останутся такими-то, вероятность события к этой дате кажется…». Это не устраняет неопределённость, но делает границы утверждения видимыми. Тогда при переменах легче отличить прежнее ожидание от обновлённой оценки и не подменять одно другим.