Разделите прогнозы по статусу
У каждого прогноза есть срок, к которому его можно оценить. Пока этот срок не наступил, событие может ещё произойти, даже если сейчас кажется маловероятным. Если считать ожидающие случаи промахами, вы оцените прогноз раньше, чем он был сформулирован. Если заранее записать их в успешные, произойдёт та же ошибка в обратную сторону.
Удобно различать завершённые случаи, ожидающие срока и случаи, по которым критерий результата оказался неясным или перестал применяться. Последняя категория не должна незаметно исчезать: исключение может быть разумным, но важно понимать причину. Например, событие отменили, а прогноз относился именно к его проведению. Это особая ситуация, а не автоматически успех или неудача.
Когда сравниваете вероятности, используйте только завершённые и классифицируемые исходы. Для группы прогнозов около 70% посчитайте долю наступивших событий среди тех, по которым результат уже известен. Отдельно укажите, сколько прогнозов пока ожидает. Такая запись не позволяет принять незавершённую серию за полный итог.
Почему ранние сравнения могут вводить в заблуждение
Если сроки у прогнозов различаются, часть событий почти неизбежно будет проверена раньше. Тогда ранняя выборка может оказаться особенной: например, в ней будут только краткосрочные случаи, а долгосрочные останутся открытыми. Полученная частота описывает завершённую часть, а не обязательно всю исходную группу.
Калибровка сопоставляет заявленные вероятности с наблюдаемыми относительными частотами. В работе «Calibration, Coherence, and Scoring Rules» Тедди Зайденфельд (1985) подчёркивается, что при интерпретации калибровочных данных важны связи между вопросами. К этому добавляется практическая проблема неполных исходов: пока часть результатов неизвестна, итоговая доля может измениться. Поэтому полезно сообщать размер завершённой группы и не скрывать статус остальных.
Не стоит заполнять пробелы предположениями о том, чем закончатся открытые события. Даже если есть веские ожидания, они остаются прогнозами, а не наблюдаемыми результатами. Их можно отдельно оценивать как новые вероятностные суждения, но нельзя подмешивать к уже установленным исходам.
Как представить промежуточный итог
Формулируйте его с точной рамкой: «Среди 12 завершённых прогнозов с оценкой около 60% сбылось семь; ещё пять пока не достигли срока проверки». Это информативнее, чем просто сообщить процент или сказать, что прогнозы в целом точны. Читатель и вы сами видите, какие случаи вошли в расчёт.
Если часть прогнозов потеряла смысл из-за изменения условий, укажите это отдельно. Не переносите их автоматически в категорию промахов или удач. Можно сохранить первоначальный вопрос и пояснить, почему он больше не поддаётся обычной проверке. Это помогает отличить неизвестный результат от отменённого или плохо определённого события.
Когда сроки всех случаев наступят, пересчитайте частоты и сравните окончательный результат с промежуточным. Если вывод изменился, это не означает, что предыдущий подсчёт был обманчивым: он описывал более ограниченную часть данных. Важно лишь не выдавать промежуточную картину за окончательную. Такой подход поддерживает осторожность и не требует заранее предрешать исходы, которые ещё не известны.