Блог им. ivanovr

Прелюбопытная задачка по терверу

Думаю мало кто из алготрейдеров сомневается, что знание тервера полезно для его деятельности. Но тервер это не простая штука даже в применении к казалось бы простым задачам.
Предлагаю вашему вниманию прелюбопытную задачку. Взята из одной книжки, которую рекламировать не буду, скажу только что решения в книге нет.
Сразу оговорюсь что задача не так проста как кажется на первый взгляд, морщить лоб и кусать ногти будет не достаточно.

Итак:

Женщина приходит на прием к терапевту и просит дать ей направление на анализ на ВИЧ. Терапевт распрашивает ее и делает следующее заключение:
— с учетом вашего образа жизни известно, что ваши шансы заразиться составляют 1/10000, потому вам нет смысла проходить тест.
Она настаивает, получает направление и тест показывает положительный результат.
Нужно вычислить вероятность того, что она действительно заражена если известно, что тест дает 5-процентную ошибку.


Под 5% ошибкой надо понимать следующее:
1) с вероятностью 0.05 тест даст положительный результат для здорового
2) с вероятностью 0.05 тест даст отрицательный результат для зараженного

А вам слабо?

Прежде чем предлагать решение, проверьте его по очевидным точкам:
1) Тест абсолютно достоверен т.е. вер-ть ошибки =0. Ответ должен быть =1
2) Тест абсолютно бесполезен т.е. вер-ть ошибки теста =0.5. Ответ должен быть 1/10000
3) Тест всегда врет. вер-ть ошибки теста =1, тогда ответ =0
★8
114 комментариев
95% спидовая
avatar
Spekyl, согласен ))
avatar
Kaban, если она настаивает — значит недавно с торчками или неграми якшалась. Так что образ жизни тут ни при чем. Дальше просто.
avatar
Spekyl, принципиально не правильный ответ ;)
Предлагаю поразмыслить вот над чем: положим мы на 100% уверены что здорова. Ну например предположим она совсем недавно надежно тестировалась на вич, все тесты были отрицательны и с тех пор заразиться не могла никак.
Тес при этом покажет что заражена с вер-ю 5%, но мы то знаем априори что это ошибка и наша правильная оценка вероятности =0. Значит все-таки наши априорные знания как-то влияют на оценку, значит не 0.95.
avatar
ivanovr, любую теоретическую науку надо уметь правильно применять в практическом мире.

100% быть уверенным в любом человеке — это уже ненаучно.
avatar
ivanovr, откуда Вы знаете правильный ответ если в книге его нет
avatar
2153sved, вы путаете теплое с мягким. Я не говорил что в книге нет ответа, но в ней нет решения. Кроме того, я проверил ответ своим любимым способом: моделированием ситуации программно монте-карлой.
avatar
Diviz, не угадал, следующая попытка?
avatar
0,0094
avatar
paranormalduck, решение?
avatar
ivanovr, ответ правильный или нет ?=)
avatar
paranormalduck, не правильный. + см. дополнение в топике
avatar
Diviz, вот мы и оцениваем вероятность с учетом имеющихся знаний. Еслиб знали наперед то небыло бы вероятности, все бы и так было ясно.
avatar
Оба события рассматриваются отдельно
Её образ жизни уже не учитываем так как она все таки сдала анализы.
Сдала 1 раз погрешность 5% то что ошибка
(50/50)/5
75% что она инфицированна
avatar
75 или 80% то она инфицированна
avatar
Twilight_reg73, не учитывать образ жизни не можем. Быть может у нее за всю жизнь вобще не было возможности заразиться. Тогда просто тест ошибка и оценка вероятности =0.
avatar
ivanovr, тогда это вообще не баба, а инопланетянин.
avatar
1) Почему она настаивает? Но не говорит почему?
2) Абсолютно здоровых людей нет.
3) Это из области примеров когда решение не имеет физического смысла.
avatar
IliaM, почему же не имеет. Так паниковать ей что тест положителен или скорее всего тест ошибся? если вер-ть 0.8, то пожалуй паниковать и повторять тесты. Если 0.01 то наверное и правда это все не имело смысла.
avatar
я так понял что тест ошибся
avatar
Diviz, более вероятно, что она едет из общаги Патрисы Лумумбы и эти негры там в очереди стояли…

«Терапевт распрашивает ее и делает следующее заключение» — ну вы поняли…
avatar
Diviz, слишком много
я думаю
avatar
Diviz, не
avatar
Diviz, позже напишу, дай остальным поупражняться
avatar
Врач оценивает вероятность не точно, а с какой-то вероятностью )) Это, наверное, нужно использовать. Что-нибудь вроде Гаусса
avatar
Kaban, и ответ будет вроде: с вероятностью такой-то вероятность будет лежать в диапазоне…
avatar
Kaban, ответ — конкретное число
avatar
может 0,0035%? моя последняя попытка.
avatar
Kaban, 0,95*(1/10000)/e
avatar
Kaban, добавил в конце поста способ проверки решения
avatar
Если рассматривать задачку как результат экспертизы в суде, то:
Все ее рассказы, не подтвержденные доказательствами, что у нее нет возможности заразиться — отметаются изначально, если мы не можем оценить вероятность достоверности ее рассказов.
Достоверность единичного теста — 95%, что дофига. В каждом 20-м случае будет расстрелян невиновный.
Так что либо отправлять ее на дополнительные тесты, либо признать, что вероятность 95%
avatar
Spekyl, это задачка по терверу, а не по юриспруденции ;)
avatar
блин 2 вероятности одна 0,05 вторая 0,0001
вероятность того что она заражена крайне мала,
и мы имеем слуйчай когда тест ошибся, может надо просто перемножить 0,05*0,0001=0,000005
avatar
paranormalduck, при таком подходе для теста который не ошибается получим: 1,0*0,0001=0,0001. Маловато для абсолютного теста (должна получиться 1,0), да и результат такой как будто теста и небыло вобще, просто оценка терапевта.
avatar
ivanovr, для теста, который не ошибается — вероятность ошибки — 0. Так что 0*0,0001=0.
Неправда ваша.
avatar
Spekyl, а должна быть 1, ведь тест показал положительный результат и он 100%. Значит точно ВИЧ
avatar
Spekyl, добавил в конце поста способ проверки решения
avatar
paranormalduck, когда в три наперстка ведущий отворачивается, а один из зрителей приподнимает наперсток и все видят, что под ним шарик — вероятность выиграть 100 или 0%?
avatar
Spekyl, у ведущего? 33,(3) вероятность выиграть
avatar
paranormalduck, добавил в конце поста способ проверки решения
avatar
Вероятности ошибки 0.05% в любом случае
Если она Инфицированна/неинфицированна делается тест 1 раз. вероятность ошибки 50/50 то есть 50%/5% = 10% вероятности
на ошибку
avatar
100% просто соврала врачу а сама отжигала все ночь с матросами-неграми )) Принцип бритвы Оккама — самое простое объяснение и есть правильное. Он же принцип доктора Хауса — если все не правдоподобно значит пациет лжет.
0.95*0.0001/0.05=0.0019
avatar
Юрий Ч., т.е если не 0.95, а близко к 1.0 то улетаем в бесконечность? А больше 1 быть не должно.
avatar
ivanovr, это теорема Байеса, я округлил немного. На результат заметно не должно повлиять. Знаменатель нулем никогда не будет. Если точно посчитать знаменатель = 0.95*0.0001+0.05*0.9999=0.05009
avatar
Юрий Ч., на мой взгляд тут не нужен Байес, это просто формула полной вероятности, Ваш знаменатель. Вероятность того что она больна есть сумма вероятностей при правильном тесте и ошибочном. Даже методом индукции видно, что пусть ее вероятность болезни 0%, по вашему варианту получается вероятность 0% (что не корректно, ведь вероятность ошибки все равно же есть), а по методу полной вероятности 5%, что просто ошибка теста (ложноположительный).
Я ошибся. это полпути, дальше по Байесу ищем, как у Вас.
avatar
Юрий Ч., хотя может Вы и правы.
avatar
Юрий Ч., добавил в конце поста способ проверки решения
avatar
5.009%
правильно?
avatar
AlexeyT, нет
avatar
элементарная задача: 0.0001*(1-0.05)
avatar
facepalm, нет. см. в конце поста способ проверки решения
avatar
ivanovr, как определил, что твой способ проверки правильный?
avatar
facepalm, воде он очевиден? есть сомнения?
avatar
ivanovr, мне твой способ проверки непонятен.
avatar
Решение такое.
Возможны четыре исхода:
1) тест даёт положительный результат, и он правильный
2) тест даёт положительный результат, и он ошибочный
3) тест даёт отрицательный результат, и он правильный
4) тест даёт отрицательный результат, и он ошибочный
Нас интересует первый вариант, который равен: 0.0001*(1-0.05)
avatar
facepalm, ваши рассуждения не правильны. Вы рассуждаете в рамках исходной задачи, а способ проверки состоит в том, чтобы изменив условия задачи на какие-то очевидные варианты проверить проверить формулу решения. Например:
1) Меняем условия что тест 100% достоверен. (Не то что старый тест не ошибся, а то что это другой абсолютно надежный тест). При таких условиях решение задачи будет очевидно: заражена 100% т.к. тесту можно доверять

остальное аналогично
avatar
ivanovr, да, вы правы.
avatar
ivanovr, да правильно Юрий Ч. все показал — 1.9% правильный ответ.
По Байесу считается и проверки Ваши проходит.
avatar
AlexeyT, странно что проходит проверки (не могу проверить). 1.9% это не правильный ответ. Можно увидеть итоговую формулу? Ну то есть логику рассуждений и формулу расчета.
avatar
AlexeyT, «1.9% правильный ответ».
Там 0.0019=0.19% получается.
avatar
Юрий Ч., 0.19% — это другое дело! Предлагаю дать возможность остальным докопаться до решения.
avatar
ivanovr, да уже все решение в комментариях написано.
avatar
Юрий Ч., если формула 0.95*0.0001/0.05, то решение не верное ;) Ответ не совсем 0.19 (если не округлять). Итого, ждем решения с точностью до 4-х знаков ;))
avatar
ivanovr, да все у него правильно,
в знаменателе только должно стоять 0.00509 (мой недоответ;))
он же потом сам и написал это
avatar
AlexeyT, будет яснее если точнее посчитаете и скажете ответ с точностью до 4-го знака. Скажем так: ответ не 0.1900
avatar
ivanovr, 0,00189658614493910960271511279697
avatar
AlexeyT, ага, все сходится. Теперь сомнений не осталось.
avatar
ivanovr, Да, интересная задача, спасибо,
жаль, мало кого заинтересовала, и мало кто правильно решил
avatar
AlexeyT, автор книги и привел эту задачу как пример вроде бы не сложной задачи, которые сходу не могут правильно решить даже специалисты в этой области уровня академика (американского академика, разумеется). Так что не удивительно что почти никто не решил.
Ну общий посыл автора был в том, чтобы показать насколько мозг человека не приспособлен для правильной оценки вероятности в житейских задачах.
avatar
AlexeyT, и еще по-моему задача хорошо демонстрирует как существенно могут априорные знания влиять на оценку.
avatar
Как решать, кто-нибудь напишет?
avatar
facepalm, Вы в своих рассуждениях были очень близки
Вы на 1/3 продвинулись.
Определили 4 исхода, из них посчитали 1.
Это правильно, это и есть треть пути.
Потом надо было посчитать вероятность 4 исхода (это я вам написал) и сложить с 1 исходом. Это и есть полная вероятность события (то что она больна).
Но наши события зависимы, поэтому по формуле Байеса нам необходима определить вероятность того, что она больна при условии верного теста: 0.0001 (вероятность что больна)*0.95 (вероятность что тест покажет верно что она больна)/0.00509 (полная вероятность что больна)=0.001897
avatar
AlexeyT, спасибо. Пока понятнее не стало. Попробую разобраться.
avatar
ivanovr, тогда получается, что самый первый ответ «95% спидовая» — верный. Как иначе-то?
avatar
facepalm, ошибка в ваших рассуждениях в том, что вероятность что тест даст положительный результат зависит от достоверности теста т.е. эти события зависимы. А значит перемножать вероятности нельзя (см. матчасть).
Кстати, посчитайте вер-ти 1-4 и сложите. Должно получиться 1.
avatar
AlexeyT, не интересует, т.к. по условию задачи тест был положительный.
avatar
facepalm, по условию задачи определить вероятность того что она больна!, а это может быть при любом исходе теста, поэтому полная вероятность важна, и она учитывается в дальнейшем в формуле Байеса, которую привею Юрий Ч., там все верно.
avatar
сдаюсь
avatar
мозг ящера
avatar
можно еще со звездочкой дополнительный вопрос: какова вероятность того, что ее партнер также заражен, если известно, что накануне акт осуществлялся в презервативе, для которого справедливо, что в 70 % случаев он уберегает от заражения, а в 30 % нет)
avatar
Мой вариант решения smart-lab.ru/blog/160776.php
avatar
0.0001*0.95/(0.0001*0.95+0.9999*0.05)=0.00189658614
раз уж все равно посчитал то не пропадать же
Zweroboi, отлично. Но куда интереснее посмотреть всю цепочку рассуждений.
avatar
ivanovr, вероятность того, что апциент болен и тест показал "+", деленная на полную вероятность событий, когда тест показал "+", то есть «пациент болен и тест +» и «пациент здоров но тест +»
0.0186640472?
avatar
a, sorry 0.0018965861
там не 1/1000 а 1/10000
avatar
Если интересна теория — посмотрите ru.wikipedia.org/wiki/Теорема_Байеса
avatar
«с учетом вашего образа жизни известно, что ваши шансы заразиться составляют 1/10000, потому вам нет смысла проходить тест».
Данные от терапевта не верные.
Кто сказал что она заразилась или нет по образу жизни, она могла сделать это сознательно со 100% вероятностью, для проверки тестов. Могла с рождения. И прочее. Условие задачи нужно ставить правильно:

Вероятность события А 0,0001.
Вероятность обратного, события В 0,9999.
Независимо ни от чего.

Совершенно не нужен результат теста, положителен или отрицателен.

Если бы тест показал отрицательный результат, вероятность статуса ВИЧ изменилась бы?
Не тривиальная задача, нужно думать.
В корзине 9999 черных(на 95% черных, на 5% белых) шариков и 1 белый(на 95% белый, на 5% черный) шарик, какова вероятность того, что мы вытянув на 95% черный шарик посмотрим только на белый сектор и определим шарик как белый.
avatar
firebot, про A верно, а про результат теста нет. Если мы взяли один образец, провели тест и получили результат, то наша оценка что именно этот образец находится в заданном состоянии меняется. А вот для всех не проверенных наша оценка остается A. Представьте что тест имеет достоверность 99.999%, разве он не изменит изначальную априорную оценку? Ну тогда у нас вобще нет способа в чем-то убедиться, коль скоро все проверки бесполезны. Но на деле мы доверяем тестам.
avatar
ivanovr, то есть мы меняем оценку заданной до теста вероятности
0,0001 Вич+
0,9999 Вич-
на оценку вероятности после теста?
avatar
firebot, оценка до теста это оценка в среднем для любого экземпляра. Когда протестировали один экземпляр, то если тест подходящий, наша оценка для данного конкретного экземпляра изменится. Для остальных экземпляров не изменится (при условии что их бесконечно много, иначе и она скорректируется).
avatar
Если научится решать такие задачи, то как это может пригодиться в жизни?
avatar
кто-то явно пересмотрел фильм: Волк с уол-стрит!
avatar
Мне помниться, мой преподаватель по терверу говорил, что не бывает событий со 100% вероятностью. «Абсолютная» вероятность составляет что-то около 99,97....%
Даже есть доказательство, но я не вникал, было не интересно. А вот спустя 7 лет вспомнилось))
avatar
Решается задача очень просто. Из 10000 человек один будет больной и 500 человек будут ошибочно оценены тестом как больные. Значит если тест показывает, что человек болен, то он болен с вероятностью P=1/501=0.001996. Задача приводится во многих дисциплинах и играх, и призвана показать, что если вы на 95% уверены, что столкнулись с чем-то очень редким, то ВЫ ПОЧТИ НА 100% ОШИБАЕТЕСЬ!
avatar
S-Simpson, предложенный вами метод решения не проходит проверки на валидность (описаны в конце поста). Например, при ошибке теста 50% результат должен быть 1/10000.

Правильные решения опубликованы:
smart-lab.ru/blog/160776.php
smart-lab.ru/blog/160827.php
avatar
ivanovr, я просто привел решение, которое видел у авторов. В вашем рассуждении есть небольшая неточность в понимании условия. Во первых 50% результат (случайный) и 50% ошибка это разные. Во вторых в условии автор специально пояснил, что с вероятностью 0.05 тест даст положительный результат для здорового. В вашем же «правильном» ответе smart-lab.ru/blog/160827.php здоровый человек получит положительный результат с вероятностью 0.9999*0.05 т.е. не так как в условии задачи.
avatar
S-Simpson, если человек здоров, то в smart-lab.ru/blog/160827.php это соответствует состоянию «Здорова» и из него переход с «Тест положительный» с вер-ю 0.05. А 0.9999*0.05 это вероятность того, что произвольно выбранный человек («Начало») окажется здоровым, но тест будет положительный.
По поводу «Во первых 50% результат (случайный) и 50% ошибка это разные.» вобще не понял. Я говорил именно про 50% ошибку теста т.е. тест совершенно бесполезен, не коррелирует с фактом заражения.
avatar
В условии задачи написано, что вероятность того, что произвольно выбранный человек («Начало») окажется здоровым, но тест будет положительный равна 0.05, а не 0.9999*0.5.
По поводу моей проверки: если тест не коррелирует с фактом заражения, то на каждые 10000чел 9999 здоровых и 1 больной. 4999.5 здоровых будут признаны больными, 4999.5 здоровых будут здоровы, 0.5чел будут ошибочно признаны здоровыми, и 0.5чел правильно больными. Т.е. если тест положительный, то вероятность будет 0.5/5000=0.0001
avatar
S-Simpson, В условии задачи написано, что вероятность того, что произвольно выбранный человек («Начало») окажется здоровым, но тест будет положительный равна 0.05, а не 0.9999*0.5. Где такое написано??? Т.е. вы хотите сказать что по условию задачи около 5% населения заведомо заражено?
avatar
Да, я ошибся. Не правильно понял условие. Я решил, что с вероятностью 0.05 тест даст положительный результат для любого человека.
avatar

теги блога Roman Ivanov

....все тэги



UPDONW
Новый дизайн