Выбирайте группы по смыслу
Самая простая группировка основана на вероятностях. Например, можно отдельно рассмотреть прогнозы около 50%, около 70% и выше 80%. Идея калибровки состоит в том, что доля сбывшихся событий в каждой группе должна быть близка к заявленному уровню: среди прогнозов 70% — примерно семь из десяти, если наблюдений достаточно.
Не обязательно создавать диапазоны с точностью до одного процента. Если данных мало, узкие группы оставят в каждой слишком мало примеров. Лучше использовать несколько широких диапазонов и честно сообщить их границы. Не меняйте правила группировки только потому, что после подсчёта один вариант выглядит выгоднее или убедительнее.
Сопоставимость касается не только чисел. Прогнозы должны относиться к ясным событиям и срокам, а существенные условия стоит учитывать. Оценка события на завтра и оценка события на следующий год могут вести себя по-разному. Если одно обстоятельство влияет сразу на множество исходов, эти случаи также могут быть связаны, а не представлять собой независимые примеры.
Почему одной серии бывает мало
При малом числе прогнозов наблюдаемая доля легко меняется. Один исход среди пяти случаев существенно меняет процент, тогда как в большой группе его влияние меньше. Поэтому полезно рядом с частотой указывать число случаев. «Четыре из шести» и «сорок из шестидесяти» — одинаковая доля, но разный объём наблюдений и разные основания для уверенности в устойчивости результата.
Тедди Зайденфельд в статье «Calibration, Coherence, and Scoring Rules» (1985) рассматривает калибровку как один из способов оценки вероятностных утверждений. Он отмечает, что связи между вопросами важны для анализа, а калибровка на короткой серии имеет ограничения. Следовательно, механически свести все ответы к одной частоте недостаточно, если прогнозы зависимы или относятся к неодинаковым обстоятельствам.
Не делите данные на множество категорий ради поиска удобного объяснения. Чем больше небольших групп, тем проще заметить случайное совпадение и принять его за правило. Если вы хотите проверить, различаются ли прогнозы по типу ситуации, сначала убедитесь, что в каждой категории есть достаточно наблюдений для осмысленного описания.
Как подвести итог без чрезмерных выводов
Начните с нейтрального сообщения о том, что наблюдалось: «В группе прогнозов 60–70% сбылось 11 из 18» или «пока есть только четыре завершённых случая». Затем укажите, какие условия объединяли прогнозы и какие случаи не вошли в подсчёт. Это яснее, чем обобщение «я обычно точен» или «моя интуиция не работает».
Если доля заметно расходится с заявленными вероятностями, рассматривайте это как повод задать вопросы. Возможно, оценки были систематически завышены или занижены; возможно, группа объединяет непохожие прогнозы, а результаты зависят от общих обстоятельств. Сам подсчёт не устанавливает причину. Разбор конкретных формулировок и контекста может помочь понять, что сравнивать дальше.
Удачный случай тоже заслуживает места в данных, но не особого статуса. Если прогноз 90% сбылся, это один результат из серии; если не сбылся — также один. Включайте оба без выборочного запоминания. Так проверка превращается в последовательное сравнение вероятностей с частотами, а не в поиск подтверждений уже сложившемуся впечатлению о себе.