Подсчёт попаданий теряет часть картины
Представим два подхода, каждый из которых угадал одинаковое число событий. Первый выдаёт категоричные ответы, второй различает почти равные шансы и явные предпочтения. Обычный подсчёт правильных решений поставит их рядом, хотя второй подход сообщает, насколько вероятными казались варианты до того, как стал известен результат.
Даже один и тот же итоговый ответ может быть основан на разных оценках. «Событие произойдёт, вероятность высокая» и «событие произойдёт, но исход почти равновероятен» одинаково попадут в категорию правильного ответа, если событие случилось. Однако эти прогнозы выражают разную степень уверенности и требуют более полного сравнения с серией исходов.
Что значит учитывать вероятности
Если прогнозист постоянно присваивает событиям высокую вероятность, важно смотреть, как часто они действительно происходят. Если он обозначает сомнение, но события сбываются почти всегда, оценки могут быть чрезмерно осторожными. Качество вероятностного прогноза связано не только с выбором реализовавшегося варианта, но и с тем, насколько степени уверенности согласуются с повторяющимися результатами.
Один несбывшийся прогноз с высокой вероятностью не доказывает плохое качество, как и одна удачная категоричная ставка не доказывает хорошее. Нужны серии сопоставимых случаев, ясные события и понятный критерий проверки. Без этого легко принять случайное совпадение за мастерство или отдельный промах — за систематическую ошибку.
Не смешивайте уверенность и точность
В исследовании Дэвида Райбака «Confidence and Accuracy as a Function of Experience in Judgment-Making in the Absence of Systematic Feedback» 1967 года участники выполняли задания без систематической обратной связи. Уверенность росла с опытом, но точность не росла; при сравнении участников в целом связь уверенности с точностью не обнаружили. Работа не сравнивала современные системы вероятностного прогнозирования, однако подчёркивает, что одно чувство уверенности не заменяет проверку результатов.
А исследование Р. Дж. Геботиса и С. П. Клакстона-Олдфилда «Errors in the quantification of uncertainty: A product of heuristics or minimal probability knowledge base?» 1989 года показало, что краткое обучение повысило число правильно решённых участниками задач на вероятность, а преимущество сохранялось при проверке через пять недель. Это было исследование конкретного теста, а не прямое сравнение качества двух прогнозистов с одинаковой долей попаданий.
Как сравнивать прогнозы аккуратно
Сначала убедитесь, что прогнозисты отвечали на один и тот же вопрос и использовали одинаковый срок и критерий исхода. Затем учитывайте не только число правильных ответов, но и выраженные до результата вероятности. Если один прогнозист постоянно называет маловероятные события почти невозможными, а другой оставляет место для альтернатив, их оценки различаются даже при совпадающем выборе итогового варианта.
Для повседневной оценки достаточно не сводить результат к фразе «кто чаще угадывает». Полезно спросить, насколько обоснованной была уверенность и соответствовала ли она исходам в серии. Если доступно мало случаев, сравнение остаётся предварительным. Если прогнозы относятся к разным ситуациям, одинаковая доля успеха может скрывать различия в сложности и базовой частоте событий.
Зачем сохранять вероятностный язык
Вероятностный прогноз не обещает, что самый вероятный исход обязательно реализуется. Его преимущество в том, что он честнее передаёт неопределённость и позволяет проверять, насколько оценки согласуются с результатами на дистанции. Категоричная формулировка может быть проще, но она стирает разницу между почти равными шансами и сильным ожиданием.
Когда точный процент трудно назвать, лучше использовать понятную широкую оценку и пояснить основания, чем придумывать число ради видимости строгости. Когда процент назван, стоит помнить, что его смысл проверяется не одним исходом, а множеством сопоставимых прогнозов. Так одинаковая точность перестаёт быть единственным критерием, а качество обсуждается с учётом того, насколько хорошо прогнозист обращался с неопределённостью.