Вероятность — не обещание
Число 70% описывает степень ожидания, а не обязательство мира исполнить прогноз. Оно оставляет место для противоположного исхода: в данном случае вероятность того, что событие не произойдёт, составляет оставшуюся часть оценки, если рассматриваются только два взаимоисключающих варианта. Это не означает, что можно заранее назвать, какой именно исход реализуется.
Представим, что событие много раз оценивается как имеющее вероятность около 70% в похожих ситуациях. При хорошей калибровке среди таких прогнозов событие должно происходить примерно в семи случаях из десяти, а не в каждом случае без исключения. В отдельной ситуации оно может не произойти. Один результат не позволяет проверить, соответствует ли оценка такой частоте.
Почему важна серия прогнозов
Оценку вероятности и исход полезно рассматривать вместе, но не отождествлять. Если прогноз с высокой вероятностью не сбылся, это один из возможных результатов. Если он много раз не сбывается в группе прогнозов с похожими оценками, тогда появляется основание спросить, не была ли вероятность систематически завышена. Для вывода нужны сопоставимые случаи, а не только самое заметное несбывшееся ожидание.
Важно также заранее определить, что считается событием и когда его проверяют. Если формулировка расплывчата, после результата можно невольно изменить смысл прогноза. Например, ожидание «проект скоро завершится» трудно сопоставить с исходом, если заранее не уточнить, какой результат и какой срок имеются в виду. Чем яснее критерий, тем содержательнее последующая проверка.
Что показывает работа о вероятностных оценках
В исследовании Р. Дж. Геботиса и С. П. Клакстона-Олдфилда «Errors in the quantification of uncertainty: A product of heuristics or minimal probability knowledge base?» 1989 года изучались ошибки в решении задач на вероятность. Авторы сравнивали группы с разным уровнем образования и знаний о вероятностях, а также рассматривали краткое обучение. Сразу после него участники обученной группы решили больше задач правильно; преимущество сохранялось и при повторной проверке через пять недель.
Это исследование касалось конкретного теста из десяти задач, а не значения любого индивидуального прогноза вроде 70%. Оно не устанавливает, что короткое обучение гарантирует точность каждого человека. Его результат напоминает, что понимание вероятностей может быть связано с умением правильно решать задачи, а оценки не обязательно стоит считать интуитивно очевидными.
Как спокойно разобрать несбывшееся ожидание
После результата можно вернуться к исходной формулировке и спросить: что именно оценивалось, на какой информации основывалась вероятность и какие альтернативы были возможны? Полезно отличать плохую оценку от обычной неопределённости. Если событие не произошло, это повод обновить понимание ситуации, но не автоматическое доказательство, что вероятность должна была равняться нулю.
Если подобных прогнозов немного, лучше не делать широких выводов о своей способности предсказывать. Воспоминание о ярких промахах может перевесить менее заметные попадания, а один удачный результат — создать чрезмерную уверенность. Уместнее рассматривать серию, если она существует, и не притворяться, будто малая выборка даёт точное заключение.
В обычном разговоре можно сказать: «Я оценивал шанс как высокий, но не исключал противоположный исход». Это точнее, чем называть прогноз обещанием. Число полезно лишь тогда, когда помогает представить неопределённость; оно не отменяет возможности неожиданного результата и не превращает отдельный исход в окончательную оценку качества прогноза.