Иван Донских
Иван Донских Рецензии на книги
24 марта 2019, 11:18

Как супермаркет узнает о беременности вашей дочери раньше вас?

Моя оценка:
(5 из 5)
Квинтиль это квантиль только порядком выше, что тут не понятного?

Об авторе:
Чарльз Уилан — автор бестселлера «Голая экономика», вошедшего в список 100 лучших бизнес-книг всех времен и народов по версии 8-800-CEO-READ и переведенного на 13 языков. Профессор, преподаватель экономики и политики в Чикагском университете и Дартмутском колледже с многолетним стажем. С 1997 по 2002 год Уилэн работал корреспондентом журнала The Economist. Кроме того, он работал внештатным автором таких изданий, как Chicago Tribune, The New York Times и Wall Street Journal. Колумнист Yahoo! Finance.
Также у меня есть ещё две его книги, которые я планирую прочитать в будущем, это его бестселлер и «Голые деньги», так как прочитанной книгой я очень доволен.

Так как это моя первая прочитанная книга по статистическому анализу, то оценка может быть весьма субъективной, но я постараюсь предоставить вам описание, позволяющее определить степень этой субъективности.

Во первых эта книга не является простым учебником по статистике, скорее она описывает её как бы со стороны, не углубляясь особо в детали.
Эта книга идеально подойдёт для тех кто хотел бы просто узнать чем занимаются «профессиональные статистические аналитики» и для тех кто хочет таковым стать, но не знает с чего начать.

В начале книги описывается всем известный «Парадокс Монти Холла» — о нём ничего нового в принципе я не узнал из книги, как и о «эффекте низкой базы».
Ну а дальше было много интересного, вкратце я запишу основные тезисы:
Коэффициент Джини — как глобализация влияет на общественное неравенство.
Как вычислить медиану и что это, для чего нужна, в каких случаях использовать её, а в каких среднее значение.
Дисперсия и влияние «отщепенцев» на статистический анализ.
Подводные камни статистики в кардиохирургии и образовании
Расчет корреляции — 92, 97 стр. Тут уже чуть по сложнее с формулами.
Расчёт мат. ожидания (с примером венчурного инвест) 119 стр
Статистическая дискриминация, с чем она связана.
Центральная предельная теорема (ЦПТ) — «ЛеБрон Джеймс» статистики.
Нулевая и альтернативная гипотезы  — собственно изначальная логика всего статистического анализа.(фундамент)
Уровень значимости (р-значение) — желателен от 0,05 = 5%, означает что в 1 из 20 случаев будет случай «ложного позитива»
Ошибка первого рода и случай "ложного позитива"
Придется идти на некий компромисс в любом случае
И как следствие ошибка второго рода или "ложный негатив"
Регрессионный анализ — необходимо использоватьтолько при наличиии фундаментальной основы. Иначе:

"Как же удостовериться в справедливости выводов, если эта математическая теорема доказана с помощью математики?"

Как супермаркет узнает о беременности вашей дочери раньше вас?

В месте схождения всех отрезков, показано: где живёт «Демон Лапласа», который знает как составить уравнение регрессии с R2 = 1.
Но автор всё-таки умудряется преподнести это так, чтобы было понятно даже рядовому читателю. Я делаю вывод, что даже если я это понял (первый раз сталкиваясь со статистическим анализом), то это под силу любому индивидууму.

Регрессионный анализ — это своего рода водородная бомба в арсенале статистики. Каждый владелец пк и большой совокупности данных может стать исследователем, не выходя из дома. Но многим не известно что уравнение регрессии стоит использовать только при наличии линейной связи.
Коэффициент регрессии описывает степень наклона «линии наилучшего приближения».

Метод наименьших квадратов (МНК) — фундаментальный принцип расчёта в регрессионном анализе.
Коэффициент детерминации  — R2 = 1, значит идеальный.
Доля разброса вокруг линии регрессии(не более 2 СКО) включающей в себя значения данной выборки, пример 25% значений лежат в данном диапазоне, значит Р=0,25
Распределе́ние Стью́дента (t-распеределение) — при малых выборках <100
Методы активирования (treatment) — программа статистического оценивания.
Натурные эксперименты

Также в книге содержатся описания интересных исследований:
Всеми известная «Инфляция в Голливуде»
Прогнозная полиция — тут мне было не совсем понятно, да и описание было всего на двух страницах, как бы вскользь.
В чём же облажалась Wall Street и как VaR способствовал обострению кризиса 2008 года.
Value-at-Risk (VaR) сродни подушке безопасности, которая не работает в нужный момент.
Феномен «набитой руки» — я как бывший баскетболист хорошо знаком с этим феноменом и мне было крайне интересно узнать правду.
Запрещение страховых надбавок по полу — казусная ситуация из разряда статистической дискриминации.

Исследование стресса на работе (риск развития сердечно-сосудистых заболеваний) — думаю это важно для всех, поэтому напишу выводы этого эксперимента. Суть такова, что у работников не имеющих возможности самостоятельно организовать своё рабочее время, то есть у большинства населения, которые работают по найму не в должностях руководителей, риск развития сердечно-сосудистых заболеваний намного выше. Обусловлено это тем, что работники сильно нервничают над тем что им не в силах изменить — это то как я это понял.В следствии такого сильнейшего стресса и развиваются всякие «болячки».

Эксперимент по влиянию молитв на послеоперационные осложнения. Эксперты сказали, что это исследование не смогло преодолеть самое, пожалуй, крупное препятствие к изучению эффективности молитв: неизвестный объем молитв, получаемых каждым участником эксперимента от своих друзей, родственников и т.п., а также самое главное конгрегаций по всему миру, которые ежедневно молятся за страждующих. Вот так вот Холивар (от англ. holy war) между религией и наукой не под силу остановить никому.

Эстер Дафло провела интересный натурный эксперимент, доказывающий что женщины распоряжаются финансами исключительно в интересах всей семьи, нежели мужчины.

Гарвард не поможет. Исследование про учебные заведения — придётся признать тот факт, что собственная мотивация, амбиции и способности будут определять успех в большей степени, чем название колледжа в дипломе.

А также ещё много интересных исследований (как статистика убивает людей, Netflix  и т.д.) и экспериментов вы найдёте в этой книге.
В конце книги есть список ПО для статистического анализа, а ещё вопросы, которые в данный момент стоят перед современными специалистами по стат. анализу!
Помните: что статистика не может ничего утверждать с определенностью. Как сказал Ричард Пето:
"Эпидемиология так восхитительна и позволяет получить столь важные представления о жизни и смерти человека! Удручает лишь невероятное количество никому не нужных, бестолковых публикаций."

Самое главное, чем занимаются специалисты по статистическому анализу это не расчёт СКО, не расчёт корреляции и математического ожидания, не составление уравнения регрессии.
Самое главное это умение составить правильную выборку. И применение статистического анализа на основе фундаментальных показателей.

В книге не указываются методы формирования выборок, но есть небольшая информация для простого обывателя в выявлении статистических "ошибок" (ошибок в расчёте самой статистики как правило не бывает, а вот в составлении выборки зачастую).
Описывается систематическая ошибка в формировании выборки.
Систематическая ошибка памяти
Стандартные ошибки  — статистический термин «типо СКО» только не исходных значений, а выборок. В выборках должно быть нормальное распределение.

В общем: читайте, изучайте, вполне популярна описана одна из сложных наук, я бы даже назвал это «Введение в статистику, но не до дна»

P.S. Статистические выводы вещь хорошая, но осадочек остался.
Исходя только из результатов статистики принимать решения в трейдинге нельзя! Область применения статистики в трейдинге очень далека от рядового частного инвестора. Её могут примять только в крупных компаниях, опираясь на фундаментальный анализ и «добавляя» к ним стат. данные. Поэтому я вообще не понимаю чем там занимаются алготрейдеры не применяющие интуицию =-)
Рядовые трейдеры так или иначе пользуются статистикой, но на интуитивном уровне, иначе она начнёт работать против Вас. ИМХО.

12 Комментариев
  • Khan Tengri
    24 марта 2019, 12:32
    У вас есть очень качественные ощущения (если они не простое цитирование), не потеряйте их.
  • Khan Tengri
    24 марта 2019, 13:23
    Скачал, полистал, вот что стоит принять во внимание. Из книги.

    «Но кто возьмется утверждать, что каждый, кто использует статистику, непременно умный и честный человек? Эта книга задумывалась как дань уважения классическому труду Дарелла Хаффа How to Lie with Statistics («Как лгать при помощи статистики»), который был впервые опубликован в 1954 году и разошелся тиражом свыше миллиона экземпляров. Да, реальность такова, что с помощью статистики можно вводить людей в заблуждение или совершать непреднамеренные ошибки. В любом случае математическая точность, сопутствующая статистическому анализу, может служить ширмой для откровенного бреда, которому пытаются придать некое наукообразие. В своей книге я расскажу о наиболее характерных статистических ошибках и искажении фактов, чтобы вы могли распознать подобные случаи манипулирования статистикой (надеюсь, вы не станете сами пытаться ею манипулировать).»
  • Khan Tengri
    24 марта 2019, 13:47
    Ошибки и ловушки, о которых автор книги рассказывает — простые, есть и более тонкие. Но есть основная: 

    «3) Многие из самых ошибочных статистических утверждений обусловлены применением совершенно правильных статистических методов к плохим выборкам, а вовсе не наоборот».


      • Khan Tengri
        24 марта 2019, 17:22
        Иван Донских, я потому и написал, что у вас правильные ощущения, их нет  у тех многих, кто используют статистику формально, как чистую технику.
          • Khan Tengri
            24 марта 2019, 17:36
            Иван Донских, я тоже ищу (и нахожу) статистическое преимущество. Часть мест я знаю. Статистика становится силой, если вы «правильно» делаете выборку, но сама статистика не может вам подсказать, как «правильно» ее делать.  

Активные форумы
Что сейчас обсуждают

Старый дизайн
Старый
дизайн