<HELP> for explanation

Блог им. ivanovr

Прелюбопытная задачка по терверу

Думаю мало кто из алготрейдеров сомневается, что знание тервера полезно для его деятельности. Но тервер это не простая штука даже в применении к казалось бы простым задачам.
Предлагаю вашему вниманию прелюбопытную задачку. Взята из одной книжки, которую рекламировать не буду, скажу только что решения в книге нет.
Сразу оговорюсь что задача не так проста как кажется на первый взгляд, морщить лоб и кусать ногти будет не достаточно.

Итак:

Женщина приходит на прием к терапевту и просит дать ей направление на анализ на ВИЧ. Терапевт распрашивает ее и делает следующее заключение:
— с учетом вашего образа жизни известно, что ваши шансы заразиться составляют 1/10000, потому вам нет смысла проходить тест.
Она настаивает, получает направление и тест показывает положительный результат.
Нужно вычислить вероятность того, что она действительно заражена если известно, что тест дает 5-процентную ошибку.


Под 5% ошибкой надо понимать следующее:
1) с вероятностью 0.05 тест даст положительный результат для здорового
2) с вероятностью 0.05 тест даст отрицательный результат для зараженного

А вам слабо?

Прежде чем предлагать решение, проверьте его по очевидным точкам:
1) Тест абсолютно достоверен т.е. вер-ть ошибки =0. Ответ должен быть =1
2) Тест абсолютно бесполезен т.е. вер-ть ошибки теста =0.5. Ответ должен быть 1/10000
3) Тест всегда врет. вер-ть ошибки теста =1, тогда ответ =0
 

95% спидовая
avatar

Spekyl

Spekyl, согласен ))
avatar

Kaban

Kaban, если она настаивает — значит недавно с торчками или неграми якшалась. Так что образ жизни тут ни при чем. Дальше просто.
avatar

Spekyl

Spekyl, принципиально не правильный ответ ;)
Предлагаю поразмыслить вот над чем: положим мы на 100% уверены что здорова. Ну например предположим она совсем недавно надежно тестировалась на вич, все тесты были отрицательны и с тех пор заразиться не могла никак.
Тес при этом покажет что заражена с вер-ю 5%, но мы то знаем априори что это ошибка и наша правильная оценка вероятности =0. Значит все-таки наши априорные знания как-то влияют на оценку, значит не 0.95.
avatar

ivanovr

ivanovr, любую теоретическую науку надо уметь правильно применять в практическом мире.

100% быть уверенным в любом человеке — это уже ненаучно.
avatar

Spekyl

ivanovr, откуда Вы знаете правильный ответ если в книге его нет
avatar

2153sved

2153sved, вы путаете теплое с мягким. Я не говорил что в книге нет ответа, но в ней нет решения. Кроме того, я проверил ответ своим любимым способом: моделированием ситуации программно монте-карлой.
avatar

ivanovr

Diviz, не угадал, следующая попытка?
avatar

ivanovr

0,0094
avatar

paranormalduck

paranormalduck, решение?
avatar

ivanovr

ivanovr, ответ правильный или нет ?=)
avatar

paranormalduck

paranormalduck, не правильный. + см. дополнение в топике
avatar

ivanovr

Diviz, вот мы и оцениваем вероятность с учетом имеющихся знаний. Еслиб знали наперед то небыло бы вероятности, все бы и так было ясно.
avatar

ivanovr

Оба события рассматриваются отдельно
Её образ жизни уже не учитываем так как она все таки сдала анализы.
Сдала 1 раз погрешность 5% то что ошибка
(50/50)/5
75% что она инфицированна
avatar

Twilight_reg73

75 или 80% то она инфицированна
avatar

Twilight_reg73

Twilight_reg73, не учитывать образ жизни не можем. Быть может у нее за всю жизнь вобще не было возможности заразиться. Тогда просто тест ошибка и оценка вероятности =0.
avatar

ivanovr

ivanovr, тогда это вообще не баба, а инопланетянин.
avatar

0KDQuNC90LDRgg==

1) Почему она настаивает? Но не говорит почему?
2) Абсолютно здоровых людей нет.
3) Это из области примеров когда решение не имеет физического смысла.
avatar

IliaM

IliaM, почему же не имеет. Так паниковать ей что тест положителен или скорее всего тест ошибся? если вер-ть 0.8, то пожалуй паниковать и повторять тесты. Если 0.01 то наверное и правда это все не имело смысла.
avatar

ivanovr

я так понял что тест ошибся
avatar

paranormalduck

Diviz, более вероятно, что она едет из общаги Патрисы Лумумбы и эти негры там в очереди стояли…

«Терапевт распрашивает ее и делает следующее заключение» — ну вы поняли…
avatar

Spekyl

Diviz, слишком много
я думаю
avatar

paranormalduck

Diviz, не
avatar

ivanovr

Diviz, позже напишу, дай остальным поупражняться
avatar

ivanovr

Врач оценивает вероятность не точно, а с какой-то вероятностью )) Это, наверное, нужно использовать. Что-нибудь вроде Гаусса
avatar

Kaban

Kaban, и ответ будет вроде: с вероятностью такой-то вероятность будет лежать в диапазоне…
avatar

Kaban

Kaban, ответ — конкретное число
avatar

ivanovr

может 0,0035%? моя последняя попытка.
avatar

Kaban

Kaban, 0,95*(1/10000)/e
avatar

Kaban

Kaban, добавил в конце поста способ проверки решения
avatar

ivanovr

Если рассматривать задачку как результат экспертизы в суде, то:
Все ее рассказы, не подтвержденные доказательствами, что у нее нет возможности заразиться — отметаются изначально, если мы не можем оценить вероятность достоверности ее рассказов.
Достоверность единичного теста — 95%, что дофига. В каждом 20-м случае будет расстрелян невиновный.
Так что либо отправлять ее на дополнительные тесты, либо признать, что вероятность 95%
avatar

Spekyl

Spekyl, это задачка по терверу, а не по юриспруденции ;)
avatar

ivanovr

блин 2 вероятности одна 0,05 вторая 0,0001
вероятность того что она заражена крайне мала,
и мы имеем слуйчай когда тест ошибся, может надо просто перемножить 0,05*0,0001=0,000005
avatar

paranormalduck

paranormalduck, при таком подходе для теста который не ошибается получим: 1,0*0,0001=0,0001. Маловато для абсолютного теста (должна получиться 1,0), да и результат такой как будто теста и небыло вобще, просто оценка терапевта.
avatar

ivanovr

ivanovr, для теста, который не ошибается — вероятность ошибки — 0. Так что 0*0,0001=0.
Неправда ваша.
avatar

Spekyl

Spekyl, а должна быть 1, ведь тест показал положительный результат и он 100%. Значит точно ВИЧ
avatar

ivanovr

Spekyl, добавил в конце поста способ проверки решения
avatar

ivanovr

paranormalduck, когда в три наперстка ведущий отворачивается, а один из зрителей приподнимает наперсток и все видят, что под ним шарик — вероятность выиграть 100 или 0%?
avatar

Spekyl

Spekyl, у ведущего? 33,(3) вероятность выиграть
avatar

paranormalduck

paranormalduck, добавил в конце поста способ проверки решения
avatar

ivanovr

Вероятности ошибки 0.05% в любом случае
Если она Инфицированна/неинфицированна делается тест 1 раз. вероятность ошибки 50/50 то есть 50%/5% = 10% вероятности
на ошибку
avatar

Twilight_reg73

100% просто соврала врачу а сама отжигала все ночь с матросами-неграми )) Принцип бритвы Оккама — самое простое объяснение и есть правильное. Он же принцип доктора Хауса — если все не правдоподобно значит пациет лжет.
0.95*0.0001/0.05=0.0019
avatar

Юрий Ч.

Юрий Ч., т.е если не 0.95, а близко к 1.0 то улетаем в бесконечность? А больше 1 быть не должно.
avatar

ivanovr

ivanovr, это теорема Байеса, я округлил немного. На результат заметно не должно повлиять. Знаменатель нулем никогда не будет. Если точно посчитать знаменатель = 0.95*0.0001+0.05*0.9999=0.05009
avatar

Юрий Ч.

Юрий Ч., на мой взгляд тут не нужен Байес, это просто формула полной вероятности, Ваш знаменатель. Вероятность того что она больна есть сумма вероятностей при правильном тесте и ошибочном. Даже методом индукции видно, что пусть ее вероятность болезни 0%, по вашему варианту получается вероятность 0% (что не корректно, ведь вероятность ошибки все равно же есть), а по методу полной вероятности 5%, что просто ошибка теста (ложноположительный).
Я ошибся. это полпути, дальше по Байесу ищем, как у Вас.
avatar

AlexeyT

Юрий Ч., хотя может Вы и правы.
avatar

AlexeyT

Юрий Ч., добавил в конце поста способ проверки решения
avatar

ivanovr

5.009%
правильно?
avatar

AlexeyT

AlexeyT, нет
avatar

ivanovr

элементарная задача: 0.0001*(1-0.05)
avatar

professor facepalm

facepalm, нет. см. в конце поста способ проверки решения
avatar

ivanovr

ivanovr, как определил, что твой способ проверки правильный?
facepalm, воде он очевиден? есть сомнения?
avatar

ivanovr

ivanovr, мне твой способ проверки непонятен.
Решение такое.
Возможны четыре исхода:
1) тест даёт положительный результат, и он правильный
2) тест даёт положительный результат, и он ошибочный
3) тест даёт отрицательный результат, и он правильный
4) тест даёт отрицательный результат, и он ошибочный
Нас интересует первый вариант, который равен: 0.0001*(1-0.05)
avatar

professor facepalm

facepalm, ваши рассуждения не правильны. Вы рассуждаете в рамках исходной задачи, а способ проверки состоит в том, чтобы изменив условия задачи на какие-то очевидные варианты проверить проверить формулу решения. Например:
1) Меняем условия что тест 100% достоверен. (Не то что старый тест не ошибся, а то что это другой абсолютно надежный тест). При таких условиях решение задачи будет очевидно: заражена 100% т.к. тесту можно доверять

остальное аналогично
avatar

ivanovr

ivanovr, да, вы правы.
ivanovr, да правильно Юрий Ч. все показал — 1.9% правильный ответ.
По Байесу считается и проверки Ваши проходит.
avatar

AlexeyT

AlexeyT, странно что проходит проверки (не могу проверить). 1.9% это не правильный ответ. Можно увидеть итоговую формулу? Ну то есть логику рассуждений и формулу расчета.
avatar

ivanovr

AlexeyT, «1.9% правильный ответ».
Там 0.0019=0.19% получается.
avatar

Юрий Ч.

Юрий Ч., 0.19% — это другое дело! Предлагаю дать возможность остальным докопаться до решения.
avatar

ivanovr

ivanovr, да уже все решение в комментариях написано.
avatar

AlexeyT

Юрий Ч., если формула 0.95*0.0001/0.05, то решение не верное ;) Ответ не совсем 0.19 (если не округлять). Итого, ждем решения с точностью до 4-х знаков ;))
avatar

ivanovr

ivanovr, да все у него правильно,
в знаменателе только должно стоять 0.00509 (мой недоответ;))
он же потом сам и написал это
avatar

AlexeyT

AlexeyT, будет яснее если точнее посчитаете и скажете ответ с точностью до 4-го знака. Скажем так: ответ не 0.1900
avatar

ivanovr

ivanovr, 0,00189658614493910960271511279697
avatar

AlexeyT

AlexeyT, ага, все сходится. Теперь сомнений не осталось.
avatar

ivanovr

ivanovr, Да, интересная задача, спасибо,
жаль, мало кого заинтересовала, и мало кто правильно решил
avatar

AlexeyT

AlexeyT, автор книги и привел эту задачу как пример вроде бы не сложной задачи, которые сходу не могут правильно решить даже специалисты в этой области уровня академика (американского академика, разумеется). Так что не удивительно что почти никто не решил.
Ну общий посыл автора был в том, чтобы показать насколько мозг человека не приспособлен для правильной оценки вероятности в житейских задачах.
avatar

ivanovr

AlexeyT, и еще по-моему задача хорошо демонстрирует как существенно могут априорные знания влиять на оценку.
avatar

ivanovr

Как решать, кто-нибудь напишет?
facepalm, Вы в своих рассуждениях были очень близки
Вы на 1/3 продвинулись.
Определили 4 исхода, из них посчитали 1.
Это правильно, это и есть треть пути.
Потом надо было посчитать вероятность 4 исхода (это я вам написал) и сложить с 1 исходом. Это и есть полная вероятность события (то что она больна).
Но наши события зависимы, поэтому по формуле Байеса нам необходима определить вероятность того, что она больна при условии верного теста: 0.0001 (вероятность что больна)*0.95 (вероятность что тест покажет верно что она больна)/0.00509 (полная вероятность что больна)=0.001897
avatar

AlexeyT

AlexeyT, спасибо. Пока понятнее не стало. Попробую разобраться.
ivanovr, тогда получается, что самый первый ответ «95% спидовая» — верный. Как иначе-то?
facepalm, ошибка в ваших рассуждениях в том, что вероятность что тест даст положительный результат зависит от достоверности теста т.е. эти события зависимы. А значит перемножать вероятности нельзя (см. матчасть).
Кстати, посчитайте вер-ти 1-4 и сложите. Должно получиться 1.
avatar

ivanovr

AlexeyT, не интересует, т.к. по условию задачи тест был положительный.
facepalm, по условию задачи определить вероятность того что она больна!, а это может быть при любом исходе теста, поэтому полная вероятность важна, и она учитывается в дальнейшем в формуле Байеса, которую привею Юрий Ч., там все верно.
avatar

AlexeyT

сдаюсь
avatar

paranormalduck

мозг ящера
avatar

pzhivulin

можно еще со звездочкой дополнительный вопрос: какова вероятность того, что ее партнер также заражен, если известно, что накануне акт осуществлялся в презервативе, для которого справедливо, что в 70 % случаев он уберегает от заражения, а в 30 % нет)
avatar

bambim

Мой вариант решения smart-lab.ru/blog/160776.php
avatar

ivanovr

0.0001*0.95/(0.0001*0.95+0.9999*0.05)=0.00189658614
раз уж все равно посчитал то не пропадать же
avatar

Zweroboi

Zweroboi, отлично. Но куда интереснее посмотреть всю цепочку рассуждений.
avatar

ivanovr

ivanovr, вероятность того, что апциент болен и тест показал "+", деленная на полную вероятность событий, когда тест показал "+", то есть «пациент болен и тест +» и «пациент здоров но тест +»
avatar

Zweroboi

0.0186640472?
avatar

JohnRisker

a, sorry 0.0018965861
там не 1/1000 а 1/10000
avatar

JohnRisker

Если интересна теория — посмотрите ru.wikipedia.org/wiki/Теорема_Байеса
avatar

Eugene777

«с учетом вашего образа жизни известно, что ваши шансы заразиться составляют 1/10000, потому вам нет смысла проходить тест».
Данные от терапевта не верные.
Кто сказал что она заразилась или нет по образу жизни, она могла сделать это сознательно со 100% вероятностью, для проверки тестов. Могла с рождения. И прочее. Условие задачи нужно ставить правильно:

Вероятность события А 0,0001.
Вероятность обратного, события В 0,9999.
Независимо ни от чего.

Совершенно не нужен результат теста, положителен или отрицателен.

Если бы тест показал отрицательный результат, вероятность статуса ВИЧ изменилась бы?
Не тривиальная задача, нужно думать.
В корзине 9999 черных(на 95% черных, на 5% белых) шариков и 1 белый(на 95% белый, на 5% черный) шарик, какова вероятность того, что мы вытянув на 95% черный шарик посмотрим только на белый сектор и определим шарик как белый.
avatar

firebot

firebot, про A верно, а про результат теста нет. Если мы взяли один образец, провели тест и получили результат, то наша оценка что именно этот образец находится в заданном состоянии меняется. А вот для всех не проверенных наша оценка остается A. Представьте что тест имеет достоверность 99.999%, разве он не изменит изначальную априорную оценку? Ну тогда у нас вобще нет способа в чем-то убедиться, коль скоро все проверки бесполезны. Но на деле мы доверяем тестам.
avatar

ivanovr

ivanovr, то есть мы меняем оценку заданной до теста вероятности
0,0001 Вич+
0,9999 Вич-
на оценку вероятности после теста?
avatar

firebot

firebot, оценка до теста это оценка в среднем для любого экземпляра. Когда протестировали один экземпляр, то если тест подходящий, наша оценка для данного конкретного экземпляра изменится. Для остальных экземпляров не изменится (при условии что их бесконечно много, иначе и она скорректируется).
avatar

ivanovr

Если научится решать такие задачи, то как это может пригодиться в жизни?
avatar

Мурен(а)

кто-то явно пересмотрел фильм: Волк с уол-стрит!
avatar

ruscash

Мне помниться, мой преподаватель по терверу говорил, что не бывает событий со 100% вероятностью. «Абсолютная» вероятность составляет что-то около 99,97....%
Даже есть доказательство, но я не вникал, было не интересно. А вот спустя 7 лет вспомнилось))
avatar

Oleg Davydov

Решается задача очень просто. Из 10000 человек один будет больной и 500 человек будут ошибочно оценены тестом как больные. Значит если тест показывает, что человек болен, то он болен с вероятностью P=1/501=0.001996. Задача приводится во многих дисциплинах и играх, и призвана показать, что если вы на 95% уверены, что столкнулись с чем-то очень редким, то ВЫ ПОЧТИ НА 100% ОШИБАЕТЕСЬ!
avatar

S-Simpson

S-Simpson, предложенный вами метод решения не проходит проверки на валидность (описаны в конце поста). Например, при ошибке теста 50% результат должен быть 1/10000.

Правильные решения опубликованы:
smart-lab.ru/blog/160776.php
smart-lab.ru/blog/160827.php
avatar

ivanovr

ivanovr, я просто привел решение, которое видел у авторов. В вашем рассуждении есть небольшая неточность в понимании условия. Во первых 50% результат (случайный) и 50% ошибка это разные. Во вторых в условии автор специально пояснил, что с вероятностью 0.05 тест даст положительный результат для здорового. В вашем же «правильном» ответе smart-lab.ru/blog/160827.php здоровый человек получит положительный результат с вероятностью 0.9999*0.05 т.е. не так как в условии задачи.
avatar

S-Simpson

S-Simpson, если человек здоров, то в smart-lab.ru/blog/160827.php это соответствует состоянию «Здорова» и из него переход с «Тест положительный» с вер-ю 0.05. А 0.9999*0.05 это вероятность того, что произвольно выбранный человек («Начало») окажется здоровым, но тест будет положительный.
По поводу «Во первых 50% результат (случайный) и 50% ошибка это разные.» вобще не понял. Я говорил именно про 50% ошибку теста т.е. тест совершенно бесполезен, не коррелирует с фактом заражения.
avatar

ivanovr

В условии задачи написано, что вероятность того, что произвольно выбранный человек («Начало») окажется здоровым, но тест будет положительный равна 0.05, а не 0.9999*0.5.
По поводу моей проверки: если тест не коррелирует с фактом заражения, то на каждые 10000чел 9999 здоровых и 1 больной. 4999.5 здоровых будут признаны больными, 4999.5 здоровых будут здоровы, 0.5чел будут ошибочно признаны здоровыми, и 0.5чел правильно больными. Т.е. если тест положительный, то вероятность будет 0.5/5000=0.0001
avatar

S-Simpson

S-Simpson, В условии задачи написано, что вероятность того, что произвольно выбранный человек («Начало») окажется здоровым, но тест будет положительный равна 0.05, а не 0.9999*0.5. Где такое написано??? Т.е. вы хотите сказать что по условию задачи около 5% населения заведомо заражено?
avatar

ivanovr

Да, я ошибся. Не правильно понял условие. Я решил, что с вероятностью 0.05 тест даст положительный результат для любого человека.
avatar

S-Simpson


Только зарегистрированные и авторизованные пользователи могут оставлять комментарии.

Залогиниться

Зарегистрироваться
....все тэги
Регистрация
UPDONW