Соберите сопоставимые случаи
Для каждого прогноза важны три вещи: какое событие вы имели в виду, к какому сроку оно должно было произойти и какую вероятность вы назвали. Без этих деталей результат легко истолковать задним числом. Например, расплывчатое ожидание «проект скоро продвинется» трудно считать однозначно сбывшимся или несбывшимся. Чёткая формулировка помогает определить исход одинаково независимо от того, понравился ли он вам.
Не обязательно оценивать все жизненные решения одним числом. Можно начать с ограниченного набора повторяющихся прогнозов, где исходы можно установить без долгих споров. При этом полезно не смешивать события с разными сроками и условиями: ожидание на ближайшую неделю и ожидание на год — не одна и та же задача.
Распределите прогнозы по диапазонам вероятности: около 50%, 60–70%, 80–90% и так далее. Для каждой группы посмотрите, какая доля событий наступила. Если из двадцати оценок около 70% сбылись четырнадцать, наблюдаемая доля равна 70%. Это согласуется с заявленной оценкой, но не доказывает точность навсегда: другая серия может дать иное соотношение.
Чего не говорит один результат
Вероятностный прогноз не является обещанием. Оценка 80% допускает, что примерно один случай из пяти не произойдёт, даже если в целом подобные оценки хорошо калиброваны. Поэтому отдельный промах не равен автоматически плохому прогнозу, а единичное попадание не подтверждает качество подхода. Смысл появляется при повторении и достаточном количестве сопоставимых случаев.
Размер группы имеет значение. Если у вас всего четыре прогноза с оценкой 80%, один промах уже заметно меняет долю. Не стоит придавать такой результат тот же вес, что и устойчивому соотношению на многочисленной серии. Лучше прямо отметить, что данных пока мало, чем уверенно объявлять себя точным или неточным.
В статье «Calibration, Coherence, and Scoring Rules» Тедди Зайденфельд (1985) рассматривает калибровку — соответствие заявленных вероятностей наблюдаемым относительным частотам — как один из способов оценки. В работе отмечены ограничения: связи между вопросами влияют на интерпретацию калибровочных данных, а короткая проверка может создавать стимул выбирать более осторожные оценки. Поэтому частоты полезны, но не заменяют контекст и не дают исчерпывающей оценки качества.
Как сделать проверку полезной
Сначала отделите исход от объяснений. Отметьте, что именно произошло и к какому сроку, а уже затем рассматривайте возможные причины расхождения. Если прогноз не сбылся, это ещё не означает, что вы «всё предсказали неправильно»: возможно, событие было маловероятным, хотя и возможным. Если прогноз сбылся, спросите, не было ли это ожидаемым исходом с самого начала, а не доказательством безошибочности.
Можно сравнить группы не только по частотам, но и по условиям: например, прогнозы о знакомых задачах и новых ситуациях. Делайте это лишь тогда, когда групп достаточно для осмысленного сопоставления. Не дробите небольшую выборку на множество категорий: в них легко увидеть случайные колебания как закономерность.
В конце сформулируйте скромный вывод: «в этой серии оценки 60–70% сбывались примерно в такой-то доле случаев» или «пока слишком мало примеров». Это информативнее, чем общий ярлык «я хорошо предсказываю». Проверка нужна не для самокритики, а для более ясного понимания того, что показывают наблюдения и чего они установить не позволяют.