Думай медленно — предсказывай точно. Часть 2. Искусство и наука предвидеть опасность. ФилипТетлок, ДэнГарднер

Думай медленно — предсказывай точно. Искусство и наука предвидеть опасность. ФилипТетлок, ДэнГарднер

 Электронная книга https://t.me/kudaidem/1808
Часть 1 https://smart-lab.ru/blog/673858.php

Глава IV. Суперпрогнозисты.

Работа разведки — говорить властям правду, а не то, что политики, временно находящиеся у власти, хотят услышать.

После вторжения в 2003 году США в поисках оружия массового поражения (ОМП) перевернули Ирак вверх тормашками, но ничего не нашли. Это был один из худших — если не худший — провалов разведки в современной истории.

Поставим себя на место людей, которые делали выводы в то время. А это означает пользоваться только той информацией, которая была у них.

Той информации хватало, чтобы практически каждое крупное разведывательное агентство на планете подозревало, с варьирующейся степенью уверенности, что Саддам что-то прячет. Не потому что кто-то обладал неопровержимыми доказательствами, а потому что он вел себя как человек, который что-то прячет. 

Подмена, которая осуществляется в данном случае (вопроса «Было ли это хорошее решение?» на вопрос «Имело ли оно хороший результат?»), одновременно популярна и пагубна. Опытные игроки в покер считают эту ошибку заблуждением новичка. Новичок может переоценить вероятность, что следующая карта будет хорошей, повысить ставку и в результате везения выиграть, что не делает его поведение мудрым поступком. И наоборот: профессионал может верно оценить высокую вероятность получения хорошей карты, повысить ставку и в результате невезения проиграть, но это не значит, что его поведение было глупым. Хорошие игроки в покер, инвесторы и руководители высшего звена это понимают. Те, кто не понимает, не могут оставаться профессионалами в том, чем занимаются: они извлекают из опыта ложные уроки, и их суждения со временем становятся все хуже и хуже.

Так что нельзя назвать оксюмороном заключение: что оценка разведывательного сообщества была одновременно обоснованной и неверной. 

В отношении иракского ОМП американская разведка пала жертвой завышенной самооценки. 

В результате она не просто ошиблось — она ошиблось в случае, по поводу которого заявило, что не может ошибаться. Последующий анализ продемонстрировал, что разведка никогда даже серьезно не допускало и мысли об ошибке.

Самое поразительное: никто даже не высказал мнение, близкое варианту, который мы сейчас считаем истинным.

Разведка — огромная бюрократическая система, которая медленно реагирует даже на шок серьезнейших неудач.

Но, в 2006 году было создано Агентство передовых исследований в области разведки (IARPA). Его миссией было финансирование самых передовых исследований, которые потенциально могли сделать разведывательное сообщество более эффективным и проницательным.

IARPA была создана по образу и подобию DARPA (Агентства передовых исследований в области обороны). 

В 2010 году IARPA решила спонсировать масштабный турнир, чтобы выяснить, кто сможет изобрести лучшие методы для производства прогнозов, подобных тем, которые разведывательные аналитики делают каждый день. 

Сбежит ли президент Туниса в уютное изгнание в течение ближайшего месяца? Унесет ли начавшаяся эпидемия птичьего гриппа жизни более десяти человек в ближайшие шесть месяцев? Упадет ли евро ниже отметки 1,20 доллара в течение года?

IARPA искала вопросы в обитаемой зоне сложности — не такие простые, чтобы на них мог ответить любой внимательный читатель New York Times, но и не до такой степени сложные, что на них не мог ответить ни один человек на планете. IARPA считала, что в обитаемой зоне можно будет найти новых талантливых прогнозистов и протестировать новые методы культивирования талантов. 

План IARPA заключался в том, чтобы с помощью турниров стимулировать лучших исследователей делать точные вероятностные оценки для вопросов из обитаемой зоны.

Подбор вопросов в зоне Златовласки был сложной задачей, требовавшей отсеивания слишком легких вопросов (имевших менее 10 или более 90 % вероятности) и неподатливо сложных (нельзя было ожидать, что кто-либо знает на них ответы). 

Команды должны обойти общий прогноз («мудрость толпы») контрольной группы.

3200 добровольцев прошли серию психометрических тестов и приступили к работе.

Назвали программу «Проект „Здравое суждение“».

Автор описал метод, который мы использовали, чтобы победить в турнире IARPA. В этом методе нет ничего ослепительно инновационного.

Даже прием экстремизации основан на довольно-таки простом принципе: когда комбинируются суждения большой группы людей, чтобы рассчитать «мудрость толпы», собирается вся полезная информация, распределенная между всеми этими людьми. Но никто из них не имеет доступа ко всей информации.

Благодаря IARPA мы теперь знаем, что несколько сотен обычных людей и обычная математика могут не просто соревноваться с профессионалами, находящимися на службе многомиллиардной организации, но и превосходить их.

 К концу первого года общий результат Брайера у бывшего сотрудника IBM Дага Лорча был 0,22, что позволило ему занять пятое место среди 2800 участников проекта «Здравое суждение». Напоминаю, что результат Брайера измеряет разницу между прогнозами и реальностью, где 2,0 означает, что ваши прогнозы — полная противоположность реальности, 0,5 — то, что получается при произвольном угадывании, и 0 — идеальная меткость. Так что 0,22 — это для начала впечатляющий результат, учитывая сложность вопросов.

На второй год Даг присоединился к команде суперпрогнозистов и показал даже лучший окончательный результат Брайера — 0,14.

И Даг не просто превзошел «мудрость толпы» контрольной группы — он побил ее на 60 %, а это означает, что он в одиночку побил четырехлетнюю цель, поставленную IARPA перед многомиллионными исследовательскими программами, которые могли пользоваться любым трюком из руководства по прогнозированию, чтобы улучшить свою точность.

Даг Лорч — обычный пенсионер, который стал делать прогнозы — и оказался настолько в этом деле хорош, что практически не оставил возможности опытному разведывательному аналитику/

Но Даг не уникален.

Из числа 2800 добровольцев было еще 58 человек, которые заняли верхние позиции в итоговых таблицах первого года.

Они стали нашим первым классом суперпрогнозистов. Их коллективный результат Брайера составил 0,25 — в сравнении с 0,37 остальных прогнозистов.

Еще один критерий качества работы суперпрогнозистов — то, как далеко они могли заглядывать в будущее.

В течение всех четырех лет турнира суперпрогнозисты заглядывали вперед на триста дней точнее, чем обычные прогнозисты заглядывали на сто.

В 2013 году, суперпрогнозисты «показали результат в среднем на 30 % лучший, чем аналитики разведывательного сообщества, которые могут читать перехваченную и прочую засекреченную информацию».

Но с 2800 участниками маловероятное становится вполне вероятным.

Даже играющий в дартс шимпанзе может попасть в яблочко, если бросит достаточное количество дротиков. И любой может запросто «предсказать» очередной обвал биржевого рынка, если постоянно будет предрекать, что тот вот-вот обвалится.

Подумайте о победителе в лотерее. Фантастически маловероятно, что один конкретный билет, зачастую из множества миллионов, выиграет главную лотерею, — но мы не думаем, что победители в лотерею обладают высоким искусством выбора билетов, потому что знаем: продаются миллионы билетов, и существует большая вероятность, что где-нибудь кто-нибудь купит выигрышный.

В 1994 году Джим Коллинз написал «Построено на века: успешные привычки провидческих компаний» (Built to Last: Successful Habits of Visionary Companies), в которой исследовалась история 18 образцовых компаний и на основе этого исследования была разработана «отличная модель для компаний, которые будут долгое время процветать».

Коллинз закончил исследование в 1990 году, проверив, как обстояли дела у этих компаний в течение десяти лет с того момента, оказалось, что Вы бы получили больше прибыли, если бы вложили деньги в паевой фонд, чем в провидческие компании Коллинза.

Большая часть вещей в жизни включает в себя мастерство и удачу в различных пропорциях.

В смеси могут присутствовать практически одна удача и очень малое количество мастерства или практически одно мастерство и совсем немного удачи.

Эту проблему глубоко исследовал глобальный финансовый стратег Майкл Мобуссин в своей книге «Уравнение успеха».

Но, как заметил Мобуссин, существует элегантное правило: регрессия к среднему значению.

Вот, например, средний рост мужчины — 173 см. А теперь представьте мужчину, рост которого 183 см, и подумайте о возможном росте его сына (см. график). Изначальный импульс вашей системы 1 может подсказать вам, что его рост тоже 183 см. Это возможно, но маловероятно. Чтобы понять почему, нужно подключить серьезные рассуждения системы 2.

Вообразите, что мы знаем рост всех людей и рассчитали корреляцию роста отцов и сыновей. Мы обнаружим корреляцию около 0,5. Она говорит нам, что, если рост отца 183 см, нам нужно сделать компромиссное предположение, основанное как на росте отца, так и на среднем росте популяции. Наше лучшее предположение для роста сына будет 178 см. Рост сына уменьшился в сторону среднего значения на 5 см, заняв промежуточную позицию между средним ростом населения и ростом отца.

 Регрессию к среднему значению так же легко забыть, как и легко понять

Допустим, вы страдаете от хронической боли в спине. День на день не приходится: иногда вы чувствуете себя хорошо, иногда боль терпимая, но периодически становится ужасной.

Конечно, именно в тот день, когда испытываете ужасную боль, вы решите обратиться к гомеопату или какому-нибудь другому распространителю медицинских услуг, не подтвержденных научными доказательствами.

На следующий день вы просыпаетесь и… чувствуете себя лучше! Лечение работает! Возможно, тут подействовал эффект плацебо — но возможно и то, что вы почувствовали бы себя лучше, даже если бы вообще не получили никакого лечения, благодаря регрессии к среднему значению. Этот факт просто не приходит вам в голову.

Эта скромная маленькая ошибка ответственна за множество вещей, в которые люди верят.

Если же вы будете постоянно держать в голове регрессию к среднему значению, она может стать ценным инструментом.

Регрессия к среднему значению — незаменимый инструмент в тестировании степени удачи в показателях: Мобуссин отмечает, что медленная регрессия чаще наблюдается в деятельности, в которой доминирует мастерство, быстрая же больше ассоциируется со случайностью.

Степень удачи в турнире определяет степень регрессии к среднему значению от одного года к другому.

(рис.10)

Например, за второй и третий год мы увидели процесс, обратный регрессии к среднему значению: суперпрогнозисты в общем и целом, включая Дага Лорча, на самом деле увеличили свой отрыв от других прогнозистов.

Возьмите, к примеру, вопрос о цене на нефть, который давно уже считается могилой для репутаций прогнозистов^[78]. Количество факторов, которые могут как повысить цену на нефть, так и понизить ее, огромно.

 Многие из этих случайных связей еще и нелинейные.

Вывод заключается в том, что суперпрогнозисты не просто удачливы. В основном их результаты отражают мастерство. И это порождает важный вопрос: почему суперпрогнозисты так хороши?

Глава V. Суперумные?

Для понимания роли интеллекта и эрудиции в успехе суперпрогнозистов нужно сделать еще один шаг: мы должны сравнить интеллект и эрудицию суперпрогнозистов с интеллектом и эрудицией основного населения.

Обычные прогнозисты продемонстрировали показатели по интеллекту и эрудиции выше, чем у 70 % населения. Результаты суперпрогнозистов были еще лучше: выше, чем у 80 % населения.

Хотя суперпрогнозисты демонстрируют результат значительно выше среднего, он не запределен, и большинство из них и близко не попадают на так называемую территорию гениальности (концепция этой территории проблематична и часто определяется условно как верхний 1 % населения или уровень IQ от 135 и выше).

В общем и целом, главное — не способность решать задачи. Главное — то, как вы эту способность используете.

Метод Ферми.

Ключевым действием должно было стать «вскрытие» вопроса другими вопросами, из серии «что должно быть правдой, чтобы это произошло?». В данном случае можно «вскрыть» вопрос, задав следующий: «Какая информация позволит мне ответить на этот вопрос?»

Вопрос: сколько в Чикаго настройщиков пианино?

Так что же нам нужно, чтобы рассчитать количество настройщиков пианино в Чикаго? Их количество зависит от того, какой фронт работ по настройке пианино существует в Чикаго и сколько работы выполняет один настройщик. Так что я смогу ответить на этот вопрос, если буду знать четыре факта:

1. Количество пианино в Чикаго.

2. Как часто пианино настраиваются.

3. Сколько времени занимает настройка пианино.

4. Сколько часов в неделю работает среднестатистический настройщик.

При делении вопроса на четыре мы лучше разводим известное и неизвестное. 

В этой ситуации я попытаюсь как можно лучше продумать каждый из четырех пунктов.

1. Сколько пианино в Чикаго? Я понятия не имею. Но так же, как я вскрыл первый вопрос, я могу вскрыть этот, спросив себя, что мне нужно знать, чтобы на него ответить.

а) Сколько людей живет в Чикаго? Не уверен, но знаю, что Чикаго — третий по величине город в США после Нью-Йорка и Лос-Анджелеса. И мне кажется, что в Лос-Анджелесе 4 миллиона человек или около того. Это уже что-то. Чтобы сузить количество вариантов, Ферми советовал установить интервал уверенности: промежуток вариантов, в которых вы уверены на 90 %, содержит правильный ответ. Я вполне уверен, что людей в Чикаго больше, чем, скажем, 1,5 миллиона. И меньше, чем, скажем, 3,5 миллиона. Но где правильный ответ в этом промежутке? Я не уверен. Так что возьму середину и предположу, что в Чикаго живет 2,5 миллиона человек.

б) Какой процент людей владеет пианино? 

предположу, что пианино владеет один человек из сотни. Это ответ, больше похожий на вытащенный из черного ящика, но он — лучшее мое предположение.

в) Сколько организаций (школ, концертных залов, баров) владеют пианино? И опять-таки я не знаю. Но многие. А в некоторых, например в музыкальных школах, их должно быть много. И снова я сделаю догадку из разряда черного ящика и удвою количество пианино — до двух на сотню человек.

г) Со всеми этими предположениями я могу произвести несколько простых математических действий и вычислить, что в Чикаго 50 тысяч пианино.

2. Как часто настраивают пианино? Возможно, раз в год. Это кажется мне правдоподобным.

Сколько времени требуется на настройку пианино? Я бы сказал, два часа. И опять это предположение из черного ящика.

4. Сколько часов в неделю работает среднестатистический настройщик пианино? На этот вопрос я могу ответить.

a) Стандартная американская рабочая неделя — 40 часов, минус 2 недели отпуска. Не думаю, что рабочая неделя настройщика пианино чем-то отличается. Так что я умножу 40 часов на 50 недель, и у меня получится 2000 часов в году.

б) Однако настройщики пианино должны тратить какое-то время на путешествия между инструментами, поэтому я должен снизить это количество. Сколько времени они проводят между заказами? Предположу, что 20 % рабочего. Итого получится, что среднестатистический настройщик пианино работает 1600 часов в году.

Теперь я соберу все свои предположения, чтобы сделать окончательный подсчет: если 50 тысяч пианино нужно настраивать раз в год, и на настройку одного инструмента уходит два часа, это 100 тысяч часов на настройку пианино. Разделим это на ежегодное количество рабочих часов одного настройщика — и мы получим 62,5 настройщика пианино в Чикаго.

Значит, мой ответ будет: в Чикаго — шестьдесят три настройщика пианино.

Исследователи обнаружили 83 упоминания настройщиков пианино в «Желтых страницах Чикаго», но многие были дубликатами — как, например, предприятия с несколькими телефонными номерами. Так что точное количество определить невозможно. Но мои подсчеты, основанные на большом количестве грубых прикидок, оказались на удивление близки к правде.

Ферми был знаменит своими подсчетами. С очень небольшим количеством или полным отсутствием информации под рукой он часто делал ориентировочные калькуляции вроде вышеизложенных — и приходил к итогу, который в результате последующей проверки оказывался на удивление точным. 

На многих факультетах физики и инженерного дела подсчеты Ферми или проблемы Ферми — странные задания вроде «рассчитайте количество квадратных дюймов пиццы, потребляемых всеми студентами университета Мэриленда в течение одного семестра» — входят в учебную программу.

Подсчет Ферми был так важен, что стал «частью способа мышления» суперпрогнозистов.

Далее мы убедимся в том, что для прогнозиста это огромное преимущество

(Загадочное убийство).

IARPA поставила перед суперпрогнозистами вопрос: обнаружит ли французское или швейцарское расследование повышенный уровень содержания полония в останках тела Ясира Арафата?

Думая, как Ферми, Билл вскрыл вопрос, задав себе другой: «Что нужно, чтобы ответ был утвердительным? Что нужно, чтобы он был отрицательным?» Билл понял, что первая ступень в его анализе не имеет ничего общего с политикой. Полоний быстро разрушается. Чтобы ответ был утвердительным, ученые должны иметь возможность обнаружить это вещество в останках человека, который мертв уже несколько лет. Смогут ли они это сделать?

Оказалочь, что бнаружить его возможно.

Следующий вопрос: как останки Арафата могли быть заражены достаточным количеством полония, чтобы результат получился положительным. 

Благодаря анализу в стиле Ферми мы подготовилы дорожную карту для дальнейшего анализа. Это потрясающий старт.

Первым делом — взгляд снаружи.

Так каков же следующий шаг? Большинство людей, достаточно разумных, чтобы не делать сразу заключения, основанные на интуиции по поводу виновности Израиля, подумают, что настало время засучить рукава и углубиться в сложную политическую обстановку, окружавшую Арафата в момент его смерти.

Но нет, еще слишком рано. Чтобы проиллюстрировать почему, я задам вопрос по поводу семьи Ренцетти.

Ренцетти живут в небольшом доме номер 84 по Честнат-авеню. Франку Ренцетти 44 года, он работает бухгалтером в компании по грузоперевозкам. Мэри Ренцетти — 35, она работает неполный день в детском саду. У них один ребенок, Томми, ему пять. Камилла, овдовевшая мать Франка, тоже живет с ними.

Вопрос такой: насколько вероятно, что у Ренцетти есть домашнее животное?

Первое, что сделают суперпрогнозисты, — выяснят, какой процент американских семей владеет домашними животными.

Статистики называют это базовой ставкой: насколько какое-то явление распространено внутри широкой категории.

Даниэль Канеман придумал для него гораздо более выразительный визуальный термин: взгляд снаружи.

62 % американских семей владеют домашними животными. Это взгляд снаружи.

После этого я переключусь на взгляд изнутри, рассмотрю все детали о семье Ренцетти и использую их для того, чтобы сдвинуть эти изначальные 62 % вверх или вниз.

Предпочитать взгляд изнутри — естественно. Он обычно отличается конкретностью и наполнен привлекательными деталями, из которых можно сконструировать историю. Взгляд снаружи, как правило, абстрактен, лишен деталей и не подходит для сочинения историй. 

мы можем сузить угол обзора и направить его на процент владельцев домашних животных среди проживающих в американских отдельных домах — допустим, это 73 %. Второй взгляд снаружи лучше соответствует конкретному рассматриваемому нами случаю, так что, наверное, ставка 73 % будет лучше, чем изначальная.

Давайте поразмышляем используя метод Ферми. У нас есть знаменитый человек, который мертв. Главные органы расследования считают, что оснований для подозрения у них достаточно, и поэтому эксгумируют тело. Как часто в подобных обстоятельствах расследование выявляет факт отравления?

Почему именно взгляд снаружи должен идти первым?

 Причина заключается в базовой психологической концепции, которая называется якорением.

Делая подсчеты, мы, как правило, начинаем с какого-то числа и «настраиваем» его. Число, с которого мы начинаем, называется якорем. Это важно, потому что мы, как правило, не «настраиваем» его до конца, а плохой якорь запросто может привести к плохому подсчету. Бросить плохой якорь на удивление легко. 

Если человек сперва займется взглядом снаружи, его анализ начнется с осмысленного якоря. А хороший якорь — очевидное преимущество.

Взгляд изнутри.

В случае с вопросом про Арафата и полоний это означает углубление в политику и историю Ближнего Востока. 

Если вы будете внимательно изучать одно дерево, затем другое, затем третье, вы очень быстро заблудитесь в лесу. Правильный взгляд изнутри не включает в себя бесконечное блуждание и впитывание всей подряд информации в надежде, что вам каким-то образом явится откровение. В нем есть осмысленность и целенаправленность: это исследование, а не прогулка.

Гипотезы — идеальная основа для исследования взгляда изнутри.

Начнем с первой: Израиль отравил Ясира Арафата полонием. Что нужно для того, чтобы это было правдой?

1. У Израиля был полоний или имелся к нему доступ.

2. Израиль хотел смерти Арафата достаточно сильно, чтобы пойти на большой риск.

3. У Израиля была возможность отравить Арафата полонием.

Теза, антитеза, синтез.

Итак, у вас есть взгляд снаружи и взгляд изнутри. Теперь их нужно соединить — так же, как мозг соединяет ракурсы, полученные от двух глазных яблок, в единую картину.

Найдем список исламских террористических атак в «Википедии». Затем посчитал количество атак в отдельных странах за последние пять лет. Всего их было шесть. «Так я рассчитал базовую ставку — она оказалась 1,2 атаки в год».

Решил: «Я подниму вероятность только, скажем, на 1/5 — до 1,8 [атаки в год]».

Для этого прогноза у него оставалось 69 дней. Так что Дэвид разделил 365 на 69. Затем умножил на 1,8. У него получился результат 0,34. Таким образом, он сделал вывод, что существует вероятность 34 %, что ответ на вопрос IARPA окажется утвердительным.

Взглянуть на ситуацию снаружи, изнутри и синтезировать оба взгляда — это не конец. Это хорошее начало. Суперпрогнозисты постоянно ищут другие взгляды, которые они могут синтезировать с собственными.

если людей попросить просто представить, что их изначальное суждение неверно, серьезно подумать о причинах и затем сделать другое умозаключение, в результате появляется вторая оценка, которая, объединенная с первой, улучшает точность практически на столько же, как если попросить сделать умозаключение еще одного человека. Того же эффекта можно достичь, если просто сделать перерыв в несколько недель и попросить людей сделать второе умозаключение. Такой подход, основанный на концепции «мудрости толпы», называется «толпа изнутри». 

Миллиардер и финансист Джордж Сорос — живое воплощение данного подхода. Ключ к его успеху, как он сам не раз заявлял, — в привычке отстраниться от самого себя, оценить свои суждения и предложить другой ракурс самому себе.

Есть и более простой путь получить новую перспективу рассмотрения вопроса: слегка изменить формулировку.

Представьте вопрос вроде: «Даст ли правительство ЮАР визу далай-ламе в ближайшие шесть месяцев?»

Переверните вопрос с ног на голову и спросите: «Откажет ли правительство ЮАР далай-ламе в визе в ближайшие шесть месяцев?» Это крошечное изменение формулировки дает возможность сделать наклон поля в другом направлении и начать искать причины, по которым правительство может отказать в визе — и желание не злить крупнейшего торгового партнера среди них будет не последней.

Суперпрогнозисты постоянно участвуют в дискуссиях со взвешиванием «за» и «против», причем заводят их далеко за пределы границы, на которой большинство людей слегло бы с мигренью.

В психологии личности одно из качеств «большой пятерки» — это «открытость к опыту», имеющая разные измерения, в том числе предпочтение разнообразия и интеллектуальное любопытство. Это качество безошибочно узнается во многих суперпрогнозистах. 

Для супепрогнозистов убеждения — это гипотезы, которые нужно тестировать, а не сокровища, которые нужно охранять.

Глава VI Суперкванты?

На Уолл-стрит математических волшебников называют квантами.

Хотя, подавляющее большинство прогнозов суперпрогнозистов — продукты тщательных размышлений и сбалансированных суждений. 

Разброс суждений — отличное доказательство того, что люди за столом на самом деле думают каждый сам за себя и предлагают уникальный ракурс, под которым сами смотрят на проблему.

Вероятность в каменном веке

Люди справлялись с неопределенностью с самого зарождения человечества. 

Это лев? ДА = беги! МОЖЕТ БЫТЬ = не теряй бдительности. НЕТ = расслабься. Возможность делать различие между 60 и 80 % вероятности мало что тут может добавить. На самом деле подобный тонкий анализ может замедлить принятие решения — и привести к гибели.

Мать, готовая заплатить определенную сумму, чтобы снизить риск заболевания ее ребенка серьезной болезнью с 10 до 5 %, возможно, будет готова заплатить в 2–3 раза больше, чтобы снизить риск с 5 до 0 %.

Потому что оно дает больше — оно дает определенность. 

Как 0, так и 100 % имеют в нашей голове гораздо больший вес, чем должны бы были согласно математическим моделям экономистов.

Мы хотим ответов. Уверенное «да» или «нет» гораздо больше нас удовлетворяет, чем «может быть», и этот факт объясняет, почему СМИ так часто обращаются к ежам, всегда уверенным в том, что произойдет, какими бы плохими ни оказались в итоге их прогнозы.

Уверенность и точность находятся в прямой корреляции. Но исследования показывают, что мы преувеличиваем ее размер. Например, люди доверяют более уверенным финансовым аналитикам, чем менее уверенным, даже если их послужные списки равны. И ставят знак равенства между уверенностью и компетентностью.

Глубоко противная интуиции природа вероятности объясняет, почему даже умудренные люди часто совершают элементарные ошибки.

Путаница, которую вызывает ментальный циферблат с тремя значениями, очень распространена. 

Высокий процент вероятности большинство переводят в „это обязательно случится“». 

Одно из самых больших достижений науки XX века — доказательство, что неопределенность невозможно искоренить из реальности.

Неопределенность реальна. А вот мечта о тотальной определенности — иллюзия.

Сложный ментальный циферблат — основа вероятностного мышления.

Роберт Рубин — вероятностный мыслитель. 

Неопределенность включена и в название его автобиографии «В неопределенном мире». Отвергая определенность, Рубин воспринимает всё как степени вероятности — и в этом ему нужна максимальная точность.

Осознание непреодолимой неопределенности — сущность вероятностного мышления, но ее сложно измерить. 

воспользовались разграничением, которое предложили философы, между «эпистемической» и «алеаторной» неопределенностью.

Эпистемическая неопределенность — что-то, что мы не знаем, но что познаваемо, по крайней мере в теории.

 Алеаторная неопределенность —это то, что непознаваемо в принципе.

Тут вы сталкиваетесь с неразрешимой проблемой, похожей на облако неопределенностью, которую невозможно даже в теории устранить. Алеаторная неопределенность всегда обеспечивает присутствие сюрпризов в нашей жизни, как бы тщательно мы все ни планировали.  

(рис.12 Степени градации вероятности в разведывательном сообществе).

Наука не отвечает на вопросы «почему» по поводу цели жизни. Она ограничивается вопросами «как», которые фокусируются на причинно-следственных связях и вероятностях.

Теория Большого взрыва говорит, какими тонко настроенными должны быть законы природы для того, чтобы появились звезды, планеты и жизнь. Любое мельчайшее отклонение — и мы бы не существовали.

«Почему?» обращает нас к метафизике, «как?» — к физике. Вероятностный мыслитель скажет: «Да, было крайне маловероятно, что я встречу мою супругу тем вечером, но я должен был где-нибудь находиться, и она должна была где-нибудь находиться, так что, к счастью для нас обоих, это „где-нибудь“ у нас совпало». 

Это иллюстрацию радикальной непредопределенности будущего.

Тебе может казаться, что история разворачивается логическим образом, который люди должны предвидеть, но это не так. Это иллюзия ретроспективного взгляда.

Вероятностные мыслители используют взгляд снаружи даже для самых основных, формирующих личность событий, рассматривая их как квазислучайные билетики из лотереи вероятностей.

Суперпрогнозисты придерживаются твердых взглядов отрицания судьбы.

Получается, что нахождение смысла в событиях позитивно влияет на психику, но ухудшает предвидение, что вызывает депрессивную мысль: неужели несчастье — цена за точность?

Глава VII. Пожиратели новостей?

Суперпрогнозисты сначала расчленяют вопрос на компоненты.

Затем — как можно четче отделяют известное от неизвестного, подвергают каждое допущение тщательному исследованию, смотрят на вопрос снаружи и в сравнительном ракурсе, который уменьшает уникальность и рассматривает его как особый случай более широкого класса явлений.

 Затем следует переключиться на взгляд изнутри, который рассматривает уникальность проблемы, изучить сходства и различия между своим мнением и мнением других, уделяя особое внимание рынку прогнозов и другим способам извлечения «мудрости толпы».

Прогнозисты с приставкой супер- обновляют свои предсказания в среднем гораздо чаще остальных. Как видим, это важно.

Обновленный прогноз, скорее всего, основан на большем количестве информации — а значит, более точен.

Но, особо значимы те, кто увидит истину прежде остальных.

после того как сделано изначальное предсказание, прогнозист сталкивается с двумя опасностями. Первая — не уделить должного внимания новой информации. Это недостаточная реакция. И второе — чрезмерная реакция на новую информацию: придание ей слишком большого значения и слишком радикальное изменение прогноза. Как недостаточная, так и чрезмерная реакции могут уменьшить точность. Также, в исключительных случаях, они могут разрушить отличный прогноз.

Существует «ригидностью мнения», когда люди могут быть ошеломляюще негибкими, они способны судорожно подбирать рациональные доводы, чтобы избежать признания новой информации, которая переворачивает их устоявшиеся представления. 

К счастью, такое экстремальное упрямство — редкое явление. Чаще всего, сталкиваясь с фактами, которые невозможно игнорировать, мы неохотно уступаем и меняем мнение, но степень изменения, скорее всего, будет меньшей, чем следовало бы. Как мы увидели во второй главе, мозг любит четкость и упорядоченность — и, как только факты оказываются четкими и упорядоченными, он старается сводить их пертурбации к минимуму.

Социальные психологи давно знают, что, если люди публично оглашают приверженность какой-то идее, это лучший способ зацементировать ее, повысить сопротивляемость к изменениям. Чем сильнее приверженность, тем сильнее сопротивляемость.

Это сложно, особенно если речь идет о вопросе, в который человек уже успел вложиться.

Приверженность может принимать разные формы, но легко представить себе ее степень, визуализировав детскую игру «Дженга», которая начинается с выстраивания башенки из прямоугольных деревянных блоков. 

Наши представления о самих себе и о мире стоят друг на друге, как блоки в «Дженге».

Психология властвует над логикой.

А когда блок находится у самого основания башни, его вообще невозможно вытащить иначе, как обрушив все строение. Столь сильная приверженность одному мнению приводит к крайнему нежеланию признать ошибку.

Суперпрогнозисты могут иметь неожиданное преимущество: они не эксперты и не профессионалы, так что в каждый прогноз вкладывают очень мало своего эго.

Чрезмерность.

Психологи выделяют эффект разбавления.

Люди основывают суждения на обрывке информации, который считают полезным. Затем они сталкиваются с очевидно нерелевантной информацией — белым шумом, — которую, безусловно, должны проигнорировать, но не делают этого. Они дают ветру сдуть себя, оказываясь во власти случайного порыва не имеющей отношения к вопросу информации.

Такое «сдувание ветром» — чрезмерная реакция, распространенная и дорогая ошибка. Взгляните на типичный день биржевого рынка. Объем и волатильность торгов ошеломляют. Причины их сложны и представляют собой предмет множества исследований и обсуждений, но похоже, что как минимум часть объяснения заключается в чрезмерной реакции участников торгов на новую информацию.

Многие исследования показали, что те, кто чаще торгует, получают худшую прибыль, чем те, кто придерживается старых добрых стратегий «покупать и держать».

Учитывая тот факт, что суперпрогнозисты практически не привязаны к своим прогнозам, можно ожидать от них больше чрезмерных реакций.

Суперпрогнозисты должны маневрировать между недостаточной и чрезмерной реакции на новую информацию, Сциллой и Харибдой прогнозирования.

Хорошие обновления — это поиск безопасного пути посередине.

Капитан Минто

В третьем сезоне турнира IARPA Тим Минто занял первое место с окончательным результатом Брайера 0,15 — изумительное достижение.

На первоначальные прогнозы Тим тратит меньше времени, чем другие лучшие прогнозисты. «Я обычно трачу от пяти до пятнадцати минут, то есть, возможно, всего около часа на новую пачку из шести-семи вопросов», — сказал он. Но на следующий день он вернется к этим вопросам, заново на них взглянет и сформирует второе мнение. Также он ищет в интернете доказательства противоположного. И занимается этим пять дней в неделю.

Он постоянно обновляет прогнозы. Так работает его сознание.

Но масштаб постоянных коррекций почти всегда маленькие. И это имеет большое значение.

Среднее обновление крошечное, всего 3,5 %. Это крайне важно.

С большим количеством маленьких обновлений Тим благополучно проскользнул между Сциллой и Харибдой.

Драматичности тут нет никакой. Если честно, это даже скучно. Тим никогда не станет гуру, которого пригласят делиться мистическими откровениями на телевидении, корпоративных вечеринках и страницах книг-бестселлеров. Но его способ работает. Данные турнира это доказывают: суперпрогнозисты не только обновляют свои прогнозы чаще, чем обычные прогнозисты, — они еще и меньше их изменяют.

 Вариант этого мыслительного эксперимента повторяетБайесовское уравнение корректировки убеждений.

Если выражаться просто, теорема говорит, что новое ваше убеждение должно зависеть от прежнего (и знания, которое его сформировало), умноженного на «диагностическую ценность» новой информации. 

Для суперпрогнозистов важнее не сама теорема Байеса, а его основная идея о постепенном приближении к истине с помощью постоянных корректировок в пропорции с весом имеющихся свидетельств.

Итак, у нас есть формула успеха: множество маленьких обновлений.

В знаменитом эссе «Политика и английский язык» Джордж Оруэлл вывел шесть четких правил, в которые входили, в том числе «никогда не используйте длинное слово, если подойдет короткое» и «никогда не используйте пассивные конструкции, если можно использовать активные». Но самым главным было шестое: «Лучше нарушить любое из этих правил, чем сказать что-то откровенно варварское».

Я понимаю желание придерживаться безошибочных указаний, которые гарантируют хорошие результаты. Именно поэтому нас так сильно привлекают знатоки-ежи и их фальшивая уверенность. Но магических формул не существует, есть только широкие принципы со множеством оговорок. Суперпрогнозисты понимают эти принципы, но также знают, что их применение требует взвешенных суждений. И скорее нарушат правила, чем дадут варварский прогноз.

 Глава VIII. Постоянная бета.

Люди с фиксированным мышлением говорят вещи вроде «у меня нет способностей к математике» и считают это неизменной чертой своей натуры — все равно что быть левшой, женщиной или высокого роста. Такое мышление чревато серьезными последствиями. Человек, который верит, что у него нет и никогда не будет способностей к математике, не станет стараться развить их, потому что посчитает это бесполезным. 

Таким образом, вера в отсутствие способностей к математике становится самосбывающимся пророчеством.

В исследованиях: Дети с фиксированным мышлением сдались. Дети с мышлением роста решительно пошли на штурм.

Люди с мышлением роста внимательно воспринимают информацию, которая могла бы расширить их знания. 

Для прогнозистов высшей категории мышление роста просто необходимо. Лучшей иллюстрацией этому служит человек, который, как считается, сказал: «Когда факты меняются, я меняю свое мнение».

Постоянное непостоянство.

Джон Кейнс отличался ненасытным любопытством и любил коллекционировать новые идеи — привычка, которая периодически требовала от него менять точку зрения, но эта смена проходила всегда без особых проблем.

«Нет ничего плохого в том, чтобы иногда быть не правым, особенно если быстро это выяснить», — написал он в 1933 году.

Кейнс готов был противоречить самому себе каждый раз, когда ему это кажется уместным в сложившейся ситуации.

Легенда гласит, Черчилль послал Кейнсу телеграмму „Прихожу к вашей точке зрения“, его светлость ответил: „Жаль это слышать. Я начал ее менять“».

Послужной список Кейнса как инвестора был далек от безупречности. В 1920 году, когда его предсказания курса валют оказались ужасно далекими от истины, он практически разорился. Но встал на ноги и в течение 1920-х снова сколотил состояние для себя и других. Однако, Кейнс не смог предвидеть катастрофу 1929 года и понес большие финансовые потери. Впрочем, после этого он вновь восстановил свое богатство и даже приумножил его.

Для Кейнса провалы были возможностями научиться — понять ошибки, увидеть новые варианты и совершить новую попытку.

Когда его придавило крахом 1929 года, он тщательнейшим образом проанализировал свое мышление и заключил, что ошибка должна крыться в одном из его ключевых теоретических воззрений. Цены на акции не всегда отражают реальную ценность компаний, поэтому инвестор должен изучить досконально само предприятие, по-настоящему понять его работу, капитал и управление, после чего решить, имеет ли оно достаточную базовую ценность, чтобы стоило долговременно в него инвестировать. В Соединенных Штатах примерно в то же время подобный подход был разработан Бенджамином Грэмом, который назвал его инвестированием на основе ценности. Оно стало краеугольным камнем состояния Уоррена Баффета.

Знания, требуемые для езды на велосипеде, не могут быть полностью сформулированы с помощью слов и переданы другим. Нужно «неявное знание» — то, что мы получаем только через опыт.

 Так же очевидно должно быть и то, что обучение прогнозированию включает в себя попытки прогнозирования. Чтение книг по прогнозированию — не замена реального опыта.

Но, эксперименты также показали, как эффект от книжного знания взаимодействует с эффектом от практики.

Удача предпочитает подготовленное сознание.

Эффективная практика также должна сопровождаться четкой и своевременной обратной связью. 

Например, полицейские наращивают уверенность гораздо быстрее, чем точность, а это означает, что их уверенность становится чрезмерной.

Чтобы извлечь урок из провала, мы должны знать, когда терпим неудачу. Как  мальчик, когда падает с велосипеда.

Урок для прогнозистов, которые будут оценивать собственные обтекаемые вопросы, таков: не обманывайте себя.

Большое препятствие для обратной связи — разорванность во времени.

Когда мы знаем исход какого-либо события, это знание искажает наше изначальное восприятие, восприятие до того, как мы узнали исход: вот суть эффекта знания задним числом.

Эффект взгляда задним числом также иногда фигурирует под названием «я всегда это знал».

Прогнозисты, которые используют обтекаемый язык и рассчитывают на свою небезупречную память при извлечении из нее старых прогнозов, не получают четкой обратной связи и, соответственно, не могут ничему научиться на опыте. Они похожи на игроков в баскетбол, которые делают свободные броски в полной темноте.

Чтобы лучше прогнозировать в определенной области, нужно прогнозировать в этой области снова и снова, с хорошей обратной связью, которая говорит о том, насколько успешны тренировки. А еще нужна жизнерадостная готовность сказать: «Надо же, на этот раз не получилось — надо подумать как следует почему».

Проанализировать и исправить.

Суперпрогнозисты оставляют более подробные и развернутые комментарии, зная, что это поможет ему в будущем критически анализировать свое мышление.

Даже прогнозист с мышлением роста, который хочет улучшить свои результаты, должен обладать выдержкой.

Выдержка — это умение страстно придерживаться долгосрочных целей, даже перед лицом отчаяния и неудач. В сочетании с мышлением роста это мощная сила для личного прогресса.

Критическое, психологически точное наблюдение помогает превратить обычного прогнозиста в суперпрогнозиста.

У компьютерных разработчиков есть отличный термин для программы, которая не предназначена для выпуска на рынок в финальной версии, а бесконечно будет использоваться, анализироваться и улучшаться: «постоянная бета».

Суперпрогнозисты — это постоянная бета.

Нарисуем приблизительный общий портрет образцового суперпрогнозиста.

Итак, с философской перспективы они чаще всего:

Осторожны: ничто не точно.

Скромны: реальность бесконечно сложна.

Приверженцы недетерминистских взглядов: то, что происходит, не предопределено и не обязательно должно было случиться.

В способностях и стилях мышления они чаще всего:

Активно непредзяты: убеждения — это гипотезы, которые нужно тестировать, а не сокровища, которые нужно охранять.

Умны и эрудированны, имеют «потребность в когнитивной деятельности»: обладают интеллектуальным любопытством, любят сложные задачи и головоломки.

Склонны к рефлексии: вдумчивые и самокритичные.

Обладают математическими способностями: хорошо обращаются с цифрами.

В том, что касается методов прогнозирования, они чаще всего:

Прагматичны: не привязаны ни к какой идее или повестке дня.

Обладают аналитическим складом ума: способны отступить от ракурса «за кончиком носа» и рассмотреть другие перспективы.

Обладают зрением стрекозы: ценят различные взгляды и синтезируют их в свой собственный.

Ценят вероятностный анализ: используют множество градаций «может быть».

Вдумчиво обновляют суждения: когда меняются факты, они меняют свои мнения.

Являются хорошими интуитивными психологами: осознают ценность проверки мышления на когнитивные и эмоциональные предубеждения.

В рабочей этике они опираются на:

Мышление роста: верят в то, что могут совершенствоваться.

Выдержку: настроены продолжать, независимо от того, сколько на это потребуется времени.

Ключевой показатель того, что человек поднимется в ранг суперпрогнозиста, — постоянная бета, степень, с которой он склонен верить в обновления и самосовершенствование.

Следующий важный вопрос: что происходит, когда суперпрогнозисты работают в группах?