Супермышление. Часть 3. Как обходить ментальные ловушки и принимать эффективные решения.
Супермышление. Часть 3. Как обходить ментальные ловушки и принимать эффективные решения.
00:50 неопределенности в принятии решений
1:40 корреляция не подразумевает причинно-следственную связь.
2:00 смешанный фактор
2:20 ошибка меткого стрелка
2:35 рандомизированный контролируемый эксперимент
3:00 А/В-тестирование
3:50 эффект плацебо
4:40 эффект ноцебо
5:00 прокси-конечная точка
6:15 искажение неответа
6:30 систематическая ошибка выжившего
7:25 искажение ответа
8:20 закон больших чисел. ошибка игрока
8:55 иллюзия кластеров
10:03 моделью регрессии к норме.
11:22 дисперсия случайной величины и стандартный разброс
11:40 распределения вероятностей
11:55 центральная предельная теорема
12:50 условная вероятность
13:35 теорема Байеса. частотная и байесовская школы вероятностей
16:20 нулевая гипотеза
16:55 метаанализ
19:10 Основные идеи.
21:00 методика сравнения всех «за» и «против»
22:30 анализом затрат-выгод.
23:20 мусор на входе, мусор на выходе
24:20 дерево решений
24:40 утилитаризм
25:15 «черный лебедь»
25:50 распределения с «толстыми хвостами»
27:40 системное мышление
29:20 Принцип Шателье
30:35 гистерезис
31:30 симуляция по методу Монте-Карло
32:55 глобальный оптимум
33:30 Остерегайтесь неизвестного неизвестного
Люди занимают разные стороны баррикад по любому вопросу и подкрепляют свою позицию цифрами.
Из-за этого многим кажется, что данными слишком легко манипулировать, чтобы доказать любую историю,
но, догадки на основании истинных закономерностей, например рыночных тенденций, поведения потребителей и природных явлений,
могут стать базой для крупных компаний и научных прорывов.
Они также могут дать подсказку в повседневной жизни.
Рассмотрим преодолению неопределенности в контексте принятия решений.
«Самые важные вопросы жизни на самом деле являются лишь вопросами вероятности».
«Единичные случаи замечаешь невооруженным взглядом, а ради науки нужно стараться».
Возможно, вы слышали о людях, у которых возникали симптомы простуды и гриппа примерно в то же время, когда им поставили прививку от гриппа, и которые свалили свою болезнь на эту прививку.
Но одна эта последовательность событий, то есть корреляция, еще не значит, что первое действительно стало причиной второго.
Что прививка стала причиной гриппа.
Статистики говорят о такой ошибке:
корреляция не подразумевает причинно-следственную связь.
Совершая такую ошибку, мы часто упускаем из виду смешанный фактор –
третий, возможно, неочевидный фактор, который влияет как на предполагаемую причину, так и на наблюдаемый эффект, мешая делать правильный вывод.
В случае с прививкой от гриппа этим смешивающим фактором будет сезон простуд и гриппа.
Определив гипотезу заранее, вы избежите ошибки меткого стрелка,
когда мишени нарисовали вокруг дырок уже после того, как были сделаны выстрелы.
Один из методов, который часто называют золотым стандартом планирования экспериментов, –
это рандомизированный контролируемый эксперимент,
в котором участников случайным образом (рандомно) делят на две группы, а затем сравнивают результаты экспериментальной группы (которая получала лечение) с результатами контрольной группы (которая его не получала).
Популярная версия такого экспериментального проекта называется А/В-тестирование, где поведение пользователя сравнивают относительно версии А (экспериментальная группа) и версии В (контрольная группа) сайта или продукта,
которые различаются потоком страниц, формулировкой текстов, изображениями, цветом и т. д.
В медицине исследователи изо всех сил добиваются по-настоящему слепых испытаний, люди, проводящие или анализирующие егоне знают, к какой группе принадлежат участники.
Интересно, что сам факт получения того, от чего вы ждете положительного результата, может спровоцировать этот результат.
Это называется эффектом плацебо.
эффект плацебо вызывает заметные улучшения при множестве недугов.
в 74 % испытаний пациенты, перенесшие мнимые операции, отметили некоторое облегчение своих симптомов,
а в 51 % операций они выздоровели почти так же, как и настоящие пациенты.
есть даже основания полагать, что эффект плацебо – не просто плод воображения.
Например, плацебо-«обезболивающее» провоцирует ту же мозговую активность, что и настоящие обезболивающие препараты.
родители знают, что надо «подуть на больное место», и это поможет.
Точно так же ожидание побочного эффекта приводит к настоящим негативным последствиям даже при фальшивом лечении.
Этот феномен называется эффектом ноцебо.
когда идея, которая интересует исследователей, не является ясно просматриваемой или измеримой, они могут использовать прокси-конечную точку –
еще ее называют суррогатной конечной точкой или маркером –
метрику, тесно связанную с конечной точкой, которую они измерили бы, если бы могли.
Слово прокси означает замену кого-то или чего-то.
Так, при систематической ошибке отбора нет никакой гарантии, что курение будет единственным различием между группами.
Поэтому, если исследование покажет разницу, будет трудно определить, какую роль в этом сыграло курение.
Систематическая ошибка отбора также возникает, если выборка эксперимента не является типичной для основной массы населения, как это бывает с онлайн-опросами.
Если изучаемая группа не является типичной, то результаты нельзя применить для всех.
В общем, нужно очень осторожно делать выводы на основе нерандомизированных экспериментов.
Другой тип ошибки отбора, часто встречающийся в анкетах, – это искажение неответа,
которое возникает, когда подгруппа людей не участвует в эксперименте после того, как была выбрана для него, то есть не отвечает на вопросы.
Пример, систематической ошибкой выжившего:
пробоины были в тех местах, попадание в которые самолет может выдержать и вернуться невредимым, а вот попадание туда, где не было дырок, скорее всего, приводило к падению самолета.
История жизни Билла Гейтса и Марка Цукерберга может подтолкнуть вас к выводу, что надо было бросить учебу и погнаться за своей мечтой.
Однако вы смотрите только на «выживших».
Вы не замечаете всех тех недоучек, которые не смогли выбиться в люди.
нужно спросить: кого не хватает в выборке?
Еще одним типом незаметной ошибки является искажение ответа.
Искажение ответа появляется, когда множественные когнитивные искажения мешают дать точный или правдивый ответ респондентам.
Например, в опросе о мотивации сотрудников люди могут солгать (или умолчать о чем-то), опасаясь наказания.
(Остерегайтесь закона малых чисел).нельзя рассчитывать, что ваша оценка, основанная на небольшой выборке, будет верна.
Такая ошибка иногда называется законом малых чисел,
закон больших чисел гласит, что чем больше выборка, тем ближе ваш средний результат к истинному среднему значению.
что пойдет не так, если ваша выборка слишком мала.
Для начала рассмотрим ошибку игрока, названную в честь игроков в рулетку, которые считают, что последовательность черных и красных результатов на колесе рулетки в следующий раз скорее закончится, чем продолжится.
Иногда это также называют ложным выводом Монте-Карлшир
в случае 18 августа 1913 года в казино в Монте-Карло выпала невероятная череда из 26 черных!
Вероятность такого результата составляет всего 1 на 137 млн.
иллюзия кластеров.
То, что кажется случайным, на самом деле таким не является.
Пример, светлячки специально рассаживаются подальше друг от друга в борьбе за еду.
Невероятное не следует путать с невозможным. Если долго пытаться, можно получить даже редкий результат.
Зная об ошибке игрока, не стоит ждать, что краткосрочный результат всегда будет совпадать с долгосрочными ожиданиями.
Справедливо и обратное: не стоит основывать долгосрочные ожидания на маленьком наборе краткосрочных результатов.
Возможно, вам известно выражение проклятие второй попытки, которым описывается сценарий, когда группа получает восторженные отзывы на первый альбом, а второй публика принимает уже холоднее.
Но в большинстве случаев истинная причина этого явления – чисто математическая, и объясняется модельюрегрессией к норме.
центральную тенденцию измеряют медиана (средняя величина, которая делит данные на две половины) и мода (наиболее частый результат).
Эти статистические данные помогают описать, как будет выглядеть «типичное» число для выбранного набора данных.
Другой распространенный набор сводных статистических данных измеряют дисперсию, или степень рассредоточения данных.
Самая простая дисперсионная статистика показывает диапазоны.
такой график называется гистограммой.
Прежде чем сообщить о диапазоне, вначале нужно найти выбросы – те точки данных, которые не соотносятся с остальными показателями.
Это точки данных, которые находятся за пределами гистограммы,
Наиболее распространенными статистическими показателями дисперсии являются дисперсия случайной величины и стандартный разброс (последнее обычно обозначается греческой буквой σ – сигмой).
Обе эти меры показывают, как далеко числа в наборе данных отклоняются от нормы.
Нормальное распределение – это особый тип распределения вероятностей, математической функции, которая описывает, как распределены вероятности всех возможных исходов случайного явления.
нормальное распределение особенно полезно благодаря одному из самых практичных результатов во всей статистике, который называется центральной предельной теоремой.
Эта теорема утверждает, что, когда числа взяты из одного и того же распределения, а затем усреднены, полученный средний результат примерно соответствует нормальному распределению.
Так получается даже тогда, когда изначальные числа взяты из совершенно иного распределения.
Если вам нужно угадать рост случайного незнакомца, но вы не знаете наверняка, что это женщина, не стоит называть 165 см, потому что средний мужской рост ближе к 175 см) и лучше брать число ближе к середине -170 см.
Но если у вас есть дополнительная информация о том, что этот человек – женщина, то 165 см, средний рост женщин – это самая удачная догадка.
Дополнительные данные влияют на вероятность.
Это пример модели, которая называется условной вероятностью – вероятностью наступления одного события при условии, что другое событие уже произошло.
Условная вероятность помогает лучше оценивать вероятности, используя дополнительную информацию.
Условные вероятности широко распространены в повседневной жизни.
Например, тарифы страхования жилья привязаны к различным условиям вероятности страховых требований.
например, на побережье Флориды надбавки выше, так как и угроза разрушения от урагана там выше, чем в Техасе.
теорема Байеса показывает взаимосвязь между двумя условными вероятностями.
в статистике есть две школы, основанные на разных представлениях о вероятности:
частотная и байесовская.
Частотники считают, что вероятность фундаментально связана с частотой возникновения событий.
С их точки зрения, вероятность без наблюдений не имеет смысла.
Напротив, байесовцы позволяют себе вероятностные суждения о любой ситуации, независимо от того, были ли какие-либо наблюдения.
Многие люди считают байесовский взгляд на вероятность более интуитивным, потому что он похож на естественное развитие ваших убежденсчит
В повседневной жизни вы не начинаете каждый раз с нуля, как частотники.
На практике оба подхода дают очень похожие результаты и по мере поступления данных должны сходиться к одному и тому же выводу.
Байесовцы уверены, что с сильным априори они начинают ближе к истине и быстрее достигают конечного результата с меньшим числом наблюдений.
Сильное априори – это отношения на всю жизнь, а слабое – только первое впечатление.
Как же установить правильный размер выборки?
Даже идеально спланированный эксперимент иногда будет давать случайный результат, который заставит сделать неправильные выводы.
Отличный пример – ваш спам-фильтр в электронной почте.
спам-фильтры могут удалили письмо с фотографиями вашей новорожденной племянницы (ложноположительный результат).
А настоящий спам до сих пор иногда просачивается в основную почту (ложноотрицательный результат).
решения придется принимать на компромиссе между различными типами ошибок, признавая, что некоторые из них неизбежны.
Например, правовая система — это осознанный компромисс в пользу ложноотрицательного (выпустить преступника на волю), а не ложноположительного результата (наказать невиновного человека).
Статистическая база большинства экспериментов начинается с гипотезы о том, что между группами нет разницы, – это называется нулевой гипотезой.
Публикация ложноположительных результатов напрямую способствует кризису воспроизводимости и задерживает научный прогресс, направляя будущие исследования к этим ложным гипотезам.
когда вы интерпретируете утверждение, важно критически оценивать любые данные, подтверждающие его:
они поступили из изолированного исследования или за ним стоит целый блок исследований?
Систематические обзоры – это организованный способ оценки вопроса с использованием всего объема исследований по определенной теме.
Они описывают подробный и всесторонний (систематический) план для обзора результатов исследований в определенной области, включая поиск соответствующих исследований, чтобы исключить систематические ошибки в процессе.
Некоторые, но не все систематические обзоры включают в себя метаанализ, где используются статистические методы для объединения данных из нескольких исследований.
Хороший пример – сайт FiveThirtyEight, который специализируется на метаанализе данных из опросов, чтобы лучше прогнозировать развитие событий в политике.
у метаанализа есть и недостатки.
Например, сложно комбинировать данные из исследований, где слишком сильно отличаются планы или популяция выборок.
систематические обзоры и метаанализы часто используются при принятии решений, например при разработке медицинских инструкций.
основная мысль, разработать хороший эксперимент сложно!
статистика – это не панацея от неопределенности.
мы должны «стремиться смириться с неопределенностью и отклонениями».
статистика помогает получить уверенные прогнозы в различных обстоятельствах, она не может точно предсказать, что произойдет в отдельно взятом случае.
Хотя вероятность и статистика – это не магия, они все же помогают лучше описать уверенность в вероятности различных результатов.
исследования и данные намного полезнее для преодоления неопределенности, чем догадки и предположения.
Основные идеи.
• Не поддавайтесь ошибке игрока или ошибке базового процента.
• Единичные случаи и корреляции, которые вы видите в данных, – хорошие генераторы гипотез, но корреляция не подразумевает причинно-следственной связи – вам все равно нужно основывать надежные выводы на хорошо спланированных экспериментах.
• Ищите проверенные планы экспериментов, такие как рандомизированные контролируемые эксперименты или А/В-тестирование, которые демонстрируют статистическую значимость.
• Нормальное распределение особенно важно в экспериментальном анализе из-за центральной предельной теоремы.
Помните, что при нормальном распределении около 68 % значений попадет в одно стандартное отклонение и 95 % – в два.
• Любой изолированный эксперимент может привести к ложноположительным или ложноотрицательным результатам и обусловлен множеством факторов, чаще всего систематической ошибкой отбора, искажением ответа и систематической ошибкой выжившего.
• Воспроизведение повышает уверенность в результатах, так что начните с поиска систематического обзора и/или метаанализа при исследовании определенной сферы.
• Никогда не забывайте, что при работе с неопределенностью значения, которые вы видите в отчетах или рассчитываете самостоятельно, сами по себе неопределенны и что вы должны искать и указывать значения с «усами»!
6. Решения, решения…
у методики сравнения всех «за» и «против» есть существенные недостатки.
Во-первых, список подразумевает, что есть только два варианта, обычно их намного больше.
Во-вторых, все плюсы и минусы в нем кажутся равноценными.
В-третьих, в списке все пункты стоят по отдельности, хотя они наверняка взаимосвязаны.
В-четвертых, так как плюсы бывают намного очевиднее, чем минусы, вам может показаться что хорошо там, где нас нет, – вы мысленно будете ставить акцент на плюсах и игнорировать минусы.
Рассмотрим ментальные модели, которые помогут разруливать ситуации с большей объективностью и скептицизмом, чтобы быстрее раскрывать полную картину и лучше понимать, что делать.
Список «за» и «против» можно улучшить – добавить в него немного цифр.
подставьте рядом с каждым пунктом оценку от –10 до 10, обозначая, сколько этот пункт будет вам стоить по сравнению с остальными.
Теперь вам будет намного проще сравнивать разные варианты: просто сложите все плюсы и минусы каждого варианта (например, предложений о работе) и посмотрите, что выйдет на первое место.
Этот метод является простым анализом затрат-выгод, естественным дополнением списка «за» и «против», который во многих ситуациях хорошо его заменяет.
Вы можете провести анализ чувствительности для любого входного параметра, в котором не уверены, чтобы определить его влияние на конечный результат.
В общем и целом анализ чувствительности поможет быстро выявить ключевые движущие факторы входных данных в электронной таблице и показать, на уточнение каких ваших догадок потребуется больше времени.
анализ затрат-выгод хорош настолько, насколько хороши числа, которые вы в него вносите.
В информатике существует модель, описывающая этот феномен:
мусор на входе, мусор на выходе.
Если приблизительный расчет затрат и выгод очень неточен, временные рамки не сходятся или ставка дисконтирования плохо продумана (мусор на входе), то чистый результат тоже будет ошибочным (мусор на выходе).
Если вы очень тщательно сделаете расчеты и проведете соответствующий анализ чувствительности, то анализ затрат-выгод станет первоклассной моделью для принятия решений и в большинстве случаев прекрасно заменит список «за» и «против».
Но во многих случаях ваши варианты и связанные с ними затраты и выгоды не совсем ясны.
ментальная модель, которую можно использовать, чтобы понять потенциальные результаты: дерево решений.
Это диаграмма, которая выглядит как дерево, лежащее на боку и помогает анализировать решения с неопределенным результатом.
Ветви– это точки принятия решений, а листья представляют собой разные возможные результаты, обозначающих точки шансов.
философия под названием утилитаризм утверждает, что самым этичным решением является то, которое приносит больше всего пользы – утилитарности – всем участникам.
деревья решений помогут понять, что делать в ситуациях с большим количеством разнообразных вероятностных исходов.
Деревья решений особенно полезны, чтобы думать о маловероятных, но очень значительных событиях.
В этом типе анализа следует остерегаться «черного лебедя» – экстремального события с серьезными последствиями (вроде финансового краха),
которые намного более вероятны, чем вы изначально ожидаете.
Говоря о «черном лебеде» в контексте анализа через дерево решений, вы должны увеличить оценки вероятности маловероятных, но очень значительных сценариев, например банкротства.
Но «черные лебеди» часто исходят из распределения с «толстыми хвостами», которые буквально имеют толстые хвосты:
то есть события, удаленные от центра, намного вероятнее, чем при нормальном распределении.
В природе встречается немало распределений с толстым хвостом, и иногда люди просто ошибочно считают, что имеют дело с нормальным распределением.
так происходит со страховыми выплатами или с распределением доходов.
Другая причина, по которой вы ошибочно рассчитываете вероятность «черного лебедя», – это недопонимание их причин.
Третья причина заключается в том, что вы недооцениваете вероятность и влияние каскадных сбоев.
Пример, финансовый кризис 2007–2008 годов: банкротство ценных бумаг, обеспеченных ипотекой, каскадом затронуло банки и связанные с ними страховые компании.
Еще один пример – климат.
Термином потоп столетия обозначается потоп, который с вероятностью 1 % может произойти в любой из отдельно взятых годов.
К сожалению, изменение климата повышает вероятность такого бедствия.
В Хьюстоне, штат Техас, было три так называемых наводнения пятисотлетия за последние три года!
Вероятности этих событий явно нужно корректировать по мере того, как каскадные последствия климатических изменений будут усиливаться.
Для сложных систем типа банков или изменений климата недостаточно просто провести анализ методом дерева решений или затрат-выгод – нужно осмыслить всю систему.
Системное мышление – это мышление обо всей системе одновременно.
Рисование диаграмм систем помогает лучше понять сложные системы и взаимодействие их компонентов.
можно освоить множество техник, включая диаграммы каузальных петель (которые показывают петли обратной связи в системе) и
диаграммы запасов и потоков (которые показывают, как вещи накапливаются и потоком направляются в систему).
это один из эффективных способов осмысления сложных систем.
можно использовать программное обеспечение для имитации системы, которое называются симуляцией.
Существуют программы, которые позволяют составить диаграмму системы на экране, а затем немедленно превратить ее в рабочую симуляцию –
в режиме онлайн это делают программы: Insight Maker и True-World.
В процессе вы можете задать начальные условия, а затем посмотреть, как система будет разворачиваться с течением времени.
Симуляции позволяют глубже понять сложную систему и точнее предсказать «черных лебедей» и другие события.
Они также помогают определить, как система будет приспосабливаться к изменяющимся условиям.
Принцип Шателье, гласит, что, когда любая химическая система, находящаяся в равновесии, подвергается изменению условий, например температуры, объема или давления, она подстраивается под новое равновесное состояние и,
как правило, частично нейтрализует перемену.
Например, если кто-то вручит вам тяжелую коробку, вы не упадете.
Вы перераспределите свой вес с учетом добавленного.
Или в экономике, когда вводится новый налог, налоговые поступления от него в конечном счете будут ниже, чем можно было бы ожидать в нынешних обстоятельствах, поскольку люди меняют свое поведение во избежание уплаты этого экономи
Эта идея звучит знакомо, потому что принцип Шателье похож на ментальную модель гомеостаза из биологии:
Система будет реагировать на внешние условия, и обычно так, чтобы частично нейтрализовать внешний стимул.
Связанная ментальная модель, которая также возникает в динамических системах и симуляциях, – это гистерезис,
описывающий, как текущее состояние системы зависит от ее истории.
В биологии Т-клетки, питающие вашу иммунную систему, после активации требуют более низкого порога для реактивации.
Благодаря гистерезису Т-клетки отчасти запоминают свое состояние, и то, что произошло раньше, влияет на то, что произойдет дальше.
идея кажется знакомой, потому что она похожа на ментальную модель зависимости от пути, которая более подробно описывает, как ваш выбор впоследствии ограничивает число ваших вариантов в будущем.
Гистерезис – это один из типов зависимости от пути применительно к системам.
Отдельный тип симуляции, который особенно полезен в этом случае, – это симуляция по методу Монте-Карло –
это, на самом деле, множество независимых симуляций со случайными начальными условиями или использованием других случайных чисел внутри самой симуляции.
Проведя симуляцию системы много раз, вы начнете понимать, насколько вероятны на самом деле различные результаты.
Считайте это динамическим анализом чувствительности.
Например, венчурные капиталисты часто используют эти симуляции чтобы определить, какой капитал зарезервировать для будущего финансирования.
Когда венчурный фонд инвестирует в компанию, эта компания в случае успеха, вероятно, заработает больше денег в будущем, и фонд захочет отчасти финансировать ее, чтобы сохранить свой процент владения.
Сколько денег ему зарезервировать для этой компании?
Многие фонды используют симуляции по методу Монте-Карло, чтобы понять, сколько им нужно резервировать, учитывая их текущую историю, подсчеты успешности компании и размер потенциального финансирования.
Если есть возможность, вам следует стремиться к наилучшему решению, которое будет глобальным оптимумом.
Подумайте о катании с горки:
вам подойдет и ближайшая горка (локальный оптимум), но вдалеке есть высокий холм, который намного удачнее (глобальный оптимум).
Вам нужно дойти до того высокого холма.
Но для начала нужно получить полное представление о системе, чтобы понять, что высокий холм существует.
(Остерегайтесь неизвестного неизвестного)неизвестное неизвестное – мы не знаем, что не знаем этого.
И эта категория приносит больше всего сложностей».
Когда вам предстоит делать выбор, покажите в виде удобной матрицы 2 × 2, все что вы знаете и не знаете.
Каждая категория заслуживает внимания и осмысления.
• Известное известное: Вам просто нужно исполнить этот известный план.
• Известное неизвестное:
это известные риски для проекта, но из-за некоторой неопределенности вам не до конца ясно, как они будут решены.
Например, нужно рискнуть привлечением третьей стороны.
Превратите что-то из этого в известное известное, выполнив упражнения по устранению риска.
• Неизвестное известное:
это риски, о которых вы не думаете, но для которых есть четкие планы смягчения.
Например, вы собираетесь запустить бизнес в Европе летом, но вы еще не знаете, что август – не лучшее время для бизнеса.
Опытный консультант поможет выявить эти риски с самого начала и превратить их в известное известное.
• Неизвестное неизвестное: это наименее очевидные риски, поиск которых требует слаженных усилий.
Например, что-то в организации или в индустрии может кардинально изменить данный проект:
например, сокращение бюджета или заявление о приобретении нового продукта.
Даже если вы найдете неизвестное неизвестное (превратив его в известное неизвестное), вы все равно не будете точно знать его вероятность или последствия.
Вы все равно должны заняться устранением риска, чтобы в конечном итоге превратить его в известное известное.
нужно рассортировать элементы по четырем категориям,
а затем превратить их в известное известное.
Эта модель предназначена для получения более полного представления о ситуации.
