Один исход не равен общей частоте
Если событие оценено как вероятное, оно всё ещё может не произойти. Если оно случилось, это не доказывает, что вероятность была оценена правильно. Единичный результат сообщает, что произошло именно сейчас, но мало говорит о том, насколько хорошо подобные оценки работают в целом.
При серии прогнозов можно сгруппировать случаи с похожими оценками и посмотреть, как часто событие наступило. Если множество прогнозов, названных высоковероятными, сбывается редко, это повод пересмотреть калибровку. Если исходы в целом соответствуют уровням ожидания, это более убедительный признак согласованности оценок с результатами, хотя он не гарантирует безошибочность каждого прогноза.
Зачем нужна независимость
Слова «несколько исходов» сами по себе ещё не означают, что наблюдения независимы. Если все прогнозы относятся к одному и тому же событию или сильно влияют друг на друга, они могут повторять общую причину. Например, несколько оценок одной ситуации, сделанных разными словами, не обязательно представляют несколько отдельных проверок.
Независимые или достаточно раздельные случаи помогают избежать впечатления, будто одно событие многократно подтвердило прогноз. В повседневности не всегда возможно строго установить независимость. Тогда полезно хотя бы заметить сходство между случаями и не считать тесно связанные результаты полноценной широкой серией.
Сначала определите, что проверяется
Для сравнения важно заранее уточнить событие, срок и критерий исхода. Расплывчатый прогноз легко переосмыслить после результата: то, что считалось промахом, может задним числом стать «почти попаданием». Если условие проверки задано заранее, меньше риска подогнать объяснение под исход.
Нужно также не выбирать только те случаи, которые хорошо помнятся. Яркие успехи и неожиданности особенно заметны, но привычные попадания и тихие ошибки могут забываться. Если возможно, учитывайте все сопоставимые прогнозы, а если их мало — прямо отмечайте, что вывод предварительный.
Что известно об оценке вероятности
В статье Р. Дж. Геботиса и С. П. Клакстона-Олдфилда «Errors in the quantification of uncertainty: A product of heuristics or minimal probability knowledge base?» 1989 года участники решали задачи на вероятность. После краткого обучения число правильно решённых задач выросло, а преимущество обученной группы сохранялось при проверке через пять недель. Работа показывает результат обучения на конкретном тесте, но не исследует напрямую все способы оценки прогнозов по сериям независимых реальных событий.
Поэтому её не стоит использовать как доказательство, будто любой человек автоматически становится точным прогнозистом после краткого объяснения. Она лишь поддерживает более скромный вывод: представления о вероятности и навыки решения соответствующих задач имеют значение. Для оценки качества конкретной серии всё равно необходимо заранее определить случаи и критерии.
Как использовать серии в обычной жизни
Если вы регулярно оцениваете похожие события — например, успеет ли команда выполнить этап проекта, — полезно сравнивать прогнозы с одинаковыми сроками и понятным исходом. Не требуется вести журнал: можно обсуждать уже доступные планы, сообщения и результаты, если они действительно охватывают все случаи. Главное — не вспоминать только самые удачные примеры.
Когда данных мало, не нужно насильно делать вывод о качестве метода. Скажите, что пока наблюдений недостаточно, а затем уточните, какие новые результаты могли бы изменить оценку. Это лучше, чем считать несколько совпадений доказательством точности или один промах — доказательством полной бесполезности прогноза.
Серия не устраняет неопределённость и не предсказывает конкретный следующий исход. Она помогает оценить, насколько согласуются вероятностные ожидания с наблюдаемыми частотами. Учитывая независимость, сопоставимость и полноту примеров, можно спокойнее отличать обычное отклонение от устойчивой ошибки оценивания.