Что значит быть откалиброванным
Представим, что человек несколько раз оценивает ответы как очень вероятно верные. Если среди таких ответов правильными оказываются лишь немногие, уверенность систематически выше точности. Если же почти все оказываются правильными, но человек выражает сильные сомнения, он может недооценивать свою точность. В обоих случаях речь идёт о сопоставлении оценок с исходами на серии случаев, а не о проверке одного эпизода.
Калибровка не требует считать, будто каждый ответ обязан соответствовать проценту. Вероятностная оценка относится к классу похожих прогнозов. Если событие названо вероятным, оно всё равно может не произойти; если ответ оценён как ненадёжный, он всё же может оказаться верным. Важен общий рисунок повторяющихся оценок и результатов.
Уверенность может расти без роста точности
Исследование Дэвида Райбака «Confidence and Accuracy as a Function of Experience in Judgment-Making in the Absence of Systematic Feedback» 1967 года рассматривало уверенность и точность при накоплении опыта без систематической обратной связи. В нём участвовали 94 студента психологии и биологии: они отвечали на пять опросников по десять заданий, сравнивая геометрические измерения простых рисунков. Опросники проводились с интервалами в два или три дня, а сведений о результатах участникам не давали.
Результаты поддержали предположение, что без обратной связи уверенность растёт с опытом, тогда как точность не растёт. При сравнении участников в целом связи между точностью и уверенностью также не обнаружили. Это конкретный результат конкретной задачи, а не правило, которое автоматически описывает любые решения. Однако он хорошо иллюстрирует, почему привычность задания или частое повторение рассуждения не следует принимать за подтверждение его точности.
Почему один ответ мало что говорит
Если прогноз не сбылся, это не обязательно означает, что он был неразумным: событие могло иметь высокую, но не стопроцентную вероятность. И наоборот, удачный прогноз не доказывает, что оценка была хорошей. Исход может совпасть с ожиданием по случайности, а уверенный ответ может оказаться верным при слабых основаниях. Поэтому качество оценки и единичный результат важно не смешивать.
Не менее важно сравнивать похожие случаи. Уверенность в ответах на знакомые вопросы может быть хорошо откалибрована, а в новой теме — нет. Нельзя уверенно переносить опыт с одного набора задач на другой, если условия заметно различаются. Для честного сравнения нужно понимать, к каким вопросам относятся оценки и по каким критериям проверяется результат.
Практичный способ оценивать себя
В повседневном решении полезно сначала назвать, что именно должно произойти или какой ответ проверяется, а затем выразить уверенность понятными словами: низкая, умеренная или высокая. Когда результат станет известен, можно сравнить его с первоначальной оценкой. Если таких случаев несколько, станет заметнее, не склонна ли уверенность постоянно опережать имеющиеся основания или, наоборот, отставать от них.
Если хочется использовать числа, не стоит создавать видимость точности там, где нет ясного способа оценить вероятность. Можно начать с широких категорий и уточнять их лишь тогда, когда есть достаточно сопоставимых примеров. Важно также избегать подсчёта только запомнившихся успехов: ошибки и несбывшиеся ожидания легко остаются в тени, если учитывать лишь яркие случаи.
Калибровка — не способ доказать собственную компетентность и не требование сомневаться во всём. Это спокойная проверка того, насколько слова об уверенности соответствуют наблюдаемым результатам. Полезнее всего она тогда, когда оценка относится к ясному вопросу, критерий исхода понятен, а вывод строится по серии сопоставимых случаев. Так уверенность остаётся описанием ожидания, а не заменой проверки.