Сохраните исходные рамки
Прогноз относится не только к событию, но и к сроку и условиям. Если ожидалось, что событие произойдёт до конкретной даты, перенос срока после этой даты не делает первоначальное ожидание успешным. Он может означать, что задача изменилась, но это отдельное наблюдение. Сохраняйте первоначальную рамку, чтобы не смешивать то, что ожидалось, с тем, что стало актуальным позже.
Критерий результата лучше сделать понятным до того, как исход станет известен. Например, «вопрос решится» допускает множество трактовок: достаточно ли предварительного ответа или требуется окончательное решение? Если правило выбирают лишь после результата, появляется соблазн подобрать удобное толкование. При невозможности однозначной проверки честнее отметить неоднозначность, а не объявлять прогноз точным или ошибочным.
Изменения обстоятельств тоже стоит описывать конкретно. «Появилась новая информация» — отправная точка; важно, что именно стало известно и когда. Но даже явная перемена не доказывает, что она полностью объясняет расхождение. Это контекст для интерпретации, а не автоматическое основание исключить неудобный исход.
Как сравнивать прогнозы во времени
Калибровка сравнивает заявленные вероятности с относительной частотой событий. Чтобы такая проверка была осмысленной, группе нужны понятные критерии и сроки. Если со временем критерий меняется, прогнозы, проверенные по разным правилам, нельзя без оговорок объединять. Лучше разделить периоды или группы и пояснить, что именно отличалось.
В «Calibration, Coherence, and Scoring Rules» Тедди Зайденфельд (1985) обращает внимание на связи между вопросами при анализе калибровки. Это важно и при смене условий: похожие на вид прогнозы могут быть зависимы от общего события или относиться к разным обстоятельствам. Короткие выборки также ограничивают выводы, поэтому изменение правил проверки не следует трактовать как надёжное доказательство перемены качества.
Если вы пересматриваете критерии для будущих прогнозов, отметьте дату, с которой действует новое правило. Не применяйте его молча к старым случаям. Иначе изменение способа подсчёта будет выглядеть как изменение точности. Раздельный учёт сохраняет возможность сравнивать результаты, не смешивая разные определения.
Практичный порядок пересмотра
Когда наступает срок проверки, вернитесь к исходному утверждению и оцените его по исходному критерию. Затем отдельно решите, есть ли смысл сделать новый прогноз с учётом нынешних условий. Новая оценка может быть выше или ниже прежней — это не отменяет первоначальную. Она просто отвечает на другой вопрос, основанный на новых сведениях.
Для повторяющихся прогнозов используйте устойчивые определения, насколько это возможно. Если критерий действительно приходится менять, кратко объясните причину и проведите границу между старой и новой серией. Не создавайте чрезмерное число категорий: если в каждой останется мало случаев, сравнение будет зависеть от отдельных исходов.
В итоге можно формулировать вывод так: «по прежнему критерию в этой группе результаты были такими-то; после изменения условий новая группа пока слишком мала». Такая точность не обещает безошибочного прогноза, но помогает не подменять данные воспоминаниями и не превращать проверку в оценку личности. Различение исходных и обновлённых рамок делает выводы понятнее и справедливее.