Блог им. Replikant_mih

Случайности и закономерности. И снова про оптимизацию...и про обезьян.

 Это пост добра.

Хочется помочь людям понять истину (этот пост не для всех, для многих это очевидные истины). Ну и хочется самому продвигаться в её понимании (но сейчас не об этом).

 

Есть из теории вероятностей классическое про обезьян и «Войну и мир». Не помню, как в классической версии этого примера, но идея такая (на самом деле там несколько идей, но в данном контексте возьму эту), что на большой выборке есть нормальная такая вероятность наступления даже самого маловероятного события, а ещё — такое маловероятное событие может выглядит как чертова закономерность.

 

Не помню, как там в классическом примере с этими обезьянами, давайте его немножко модифицируем под контекст (сохранив суть неизменной) — хотя, возможно, в классическом варианте так и было — преположим, есть огромногое кол-во групп обезьян, в каждой группе обезьян столько сколько страниц в романе «Война и мир», за раз каждая обезьяна в каждой группе печатает одну страницу рандомного текста. Затем всё продолжается. Есть вероятность, что после большого числа повторений, одна из групп обезьян напечатает-таки «Войну и мир». Как мы понимаем, в данном гипотетическом примере речь не об эволюции, или развитии мозга, о том, что нашлась продвинутая группа обезьян с развитыми теменными или ещё какими-то зонами мозга, в данном примере речь исключительно о случайных событиях и о вероятности.

 

Ну что, как думаете, что напечатают те красавцы, которые написали «Войну и мир», в следующий раз?)))

Да треш полный! Не будем отчаиваться друзья, ведь у нас есть надежная защита! — WFO и прочие OOS, мы не всем таким группам обезьян будем доверять, а мы возьмём 1000000 таких групп (если подождать то за первыми с «Войной и миром», конечно, появятся и другие аналогичные) и доверим написание следующего романа только тем группам, которые смогут сделать это два раза подряд… Догадываетесь, какой будет итог? Да такой же, воронка будет сужаться с точно такой же скоростью как и раньше, эти парни с двойной проверкой третьей книгой напишут полный рандомный треш-фарш.

 

Мне понравилось про обезьянок писать, возможно, в след. раз разовью эту тему уже конкретно про рынок, оптимизацию, случайности и закономерности.  

Чуть не забыл, вывод: случайность, порой, выглядит как очень даже закономерность, особенно если способ оптимизации, контроля как бы в этом и состоит — выбирать то, что выглядит как закономерность. Просто из всего случайного пространства ты выбираешь то, что выглядит как закономерность (а посколькоу рандом — это полная свобода «творчества», то порою случайности будут очень качественно притворяться закономерностями) и радуешься, так не работает, этого не достаточно.

★1
56 комментариев
К вопросу о Боге. Какова вероятность самозарождения из случайных процессов квантового сверхразума в масштабах Вселенной?
avatar
Дмитрий Д., до или после большого взрыва?
Zweroboi, Температуру мы пока оставляем за кадром.
avatar
Дмитрий Д., не знаю, какова вероятность, но думаю, во вселенной настолько много «мартышек» и у них настолько много «человеко-часов», что самозарождение жизни неизбежно, а следовательно закономерно. Речь же о самозарождении жизни?)
avatar
Ну да, можно ещё сказать, что очень трудно сделать такую торговую систему, которая бы вообще не работала, совсем, ни на каком куске истории )
Zweroboi, да, тоже верно)
avatar
Я не понял, зачем там группы, оптимизации и прочее? Суть этого примера проста: существует ничтожная вероятность того, что «Войну и мир» напечатают рандомно. Тут и обезьяны как таковые не при чем, можете просто сделать генератор текста и повторять попытки
sortarray sortarray, Ну дак я же развил тему и провёл параллели с трейдингом, в рассуждении в дальнейшем участвует сущность «группа» и её частные случаи — группы, написавшие «Войну и мир» и не написавшие, так что группы здесь не просто так))
avatar

Господа, это же классическая проверка статистических гипотез. Нулевая гипотеза: «данная группа обезьян N раз подряд достигла цели случайно».  Чтобы подтвердить\опровергнуть нулевую гипотезу нужно:
1. оценить ожидаемое количество попыток для наступления такого события только за счёт случайности,
2. сопоставить её с числом попыток, которые реально были выполнены.
Например, ожидаемое количество попыток чтобы написать войну и мир (2700000 символов) случайно, используя равновероятно 40 символов (буквы и знаки препинания) будет 40 в  степени 2699999. Это число гораздо больше чем миллион )).

avatar
ilyaflash, ожидаемое количество попыток что нам даст? Доверительный интервал надо строить, вообще-то
Zweroboi, разумеется, я слегка упростил, а все сложности вложил в слово «сопоставить».
avatar
ilyaflash, извращенец! )
ilyaflash, эх, вот если бы я так хорошо знал тервер)), может как-нить руки дойдут подтянуть эту дисциплину)
avatar
В машинном обучении есть целый раздел посвященный оптимальному выбору модели из нескольких( запамятовал, как он называется). Вкратце, смысл сводится к следующему —  все модели оценки обобщающей способности модели ( WF, CV и т. д) работают в одном варианте — сгенерили модель — одним из методов оценили- приняли или отбросили). А если, как это обычно бывает, вы нагенерили 100 тыс. моделей( у нас же суперкомпьютер, бл… ть!) и выбираем лучшую с помощью любого из методов( хоть CV хоть WF), достоверность метода = 0
avatar
jug, а можете поподробней рассказать, или перефразировать), или ссыль на почитать какую-нить дат. Чувствую, что это по теме, но не совсем уловил суть сказанного)
avatar
Replikant_mih, могу дать ссылку http://www.machinelearning.ru/wiki/index.php?title=Множественная_проверка_гипотез, только там все достаточно заумно
avatar
jug, Спасибо! Действительно немного высоковаты для меня уровень заумности, но по крайней мере теперь я знаю тему, могу загуглить более простые её объяснения.
avatar
Проверь не два раза подряд, а десять раз подряд) помогает)
avatar

robomakerr, мм), но тогда нарастает вероятность, что я забракую хорошую систему ;), мне же нужно получить 10 хороших oos? или достаточно получить большинство хороших из 10?

Я ж не говорю, что OOS тестирование сакс, но и идеализировать не стоит — у него есть вполне конкретное назначение, и оно даёт не больше не меньше, чем даёт. Заменять им что-то, что ему не свойственно, не нужно.

avatar
Replikant_mih, 
да, примерно так, большинство из 10. Я не идеализирую, OOS это формальный подход, но ничего лучшего при формальном подходе не придумано) В идеале желательно конечно понимать, за счет чего зарабатываем.
avatar
robomakerr, да, не помешало бы понимать)
avatar

мне же нужно получить 10 хороших oos? или достаточно получить большинство хороших из 10?

Я ж не говорю, что OOS тестирование сакс, но и идеализировать не стоит — у него есть вполне конкретное назначение, и оно даёт не больше не меньше, чем даёт. Заменять им что-то, что ему не свойственно, не нужно.


это реально бред сумасшесшего. 
avatar
Bambino, обоснуете про бред? А-то звучит грубовато так-то.
avatar
Replikant_mih, а то что вы написали бредом можно назвать?
avatar
Bambino, Не знаю, вы же это назвали бредом. Считаете, человек, написавший пост, считает свой пост бредом? Подскажу, скорее всего нет. Для меня мой пост точно не бред. 
avatar
Replikant_mih, для вас не бред
avatar
Replikant_mih, справедливости ради, процитированный Bambino выше фрагмент реально похож на цитату Кличко ) что-то в духе что «хорошо, что пятница сегодня, а не завтра, как вчера» )))
Zweroboi, я понимаю, что он не слишком хорош, этот отрывок), высокий уровень абстракции, что не способствует легкому пониманию, я и сам, читая абстрактные фразы, часто уже вначале теряю нить. Ну а так, да, по форме похоже на Кличко), только у Кличко часто это реально бессмыслица, да ещё и с логическим ошибками. 
avatar
Bambino, нужно получить 10 oos и посмотреть на их распределение.
Zweroboi, А что скажете по поводу… длины одного OOS (относительно периода тестирования-оптимизации-обучения)? — если ты на 5 годах получил кривую с recovery factor 3, то ожидать, что взяв размер OOS кусков по 1 месяцу ты что-то там получишь репрезентативное не стоит, ну или вернее надо анализировать результаты этих 10 тестов с учётом этой относительной длины.  
avatar
Replikant_mih, необязательно, для начала так тем более )
Кстати, для сломавших мозг в этом топике- автор пока начинающий алготрейдер, не судите его строго.)
avatar
Bambino, лучше быть начинающим со светлой головой, чем опытным зашоренным, заблудшим в тупиковых подходах и методах.
avatar
Replikant_mih, покажите НДФЛ по итогам года. Или если у вас алгоритмы быстрые результат на ЛЧИ.
avatar
Bambino, всё с вами понятно), понятия «конструктивный диалог», «аргументация» и аналогичные вам не знакомы.
avatar
Replikant_mih, ну почему же, давайте конструктивно, что в вашем блоге полезного обывателю?
avatar

Bambino, При чем здесь блог? При чем здесь НДФЛ? Я кого-то на курсы к себе зову? Деньги в ДУ прошу? Созываю к себе в блог? 

Я написал пост, допускаю, что не все с согласны с высказанными мыслями, не против — высказывайтесь, подискутируем. Вы назвали пост бредом — ну вэлкам — аргументируйте, укажите с чем конкретно не согласны, почему назвали бредом.

 

avatar
Replikant_mih,  назвал бредом потому что смысла в этом посте не вижу. Это надеюсь понятно?) Извините за мнение.
avatar
Bambino, ну вот, теперь уже немного ближе к моим представлениям о конструктивном диалоге), но правда совсем немного)). Ладно, наверно лучше нам не продолжать)
avatar
Replikant_mih, ))
avatar
Bambino, сам же сказал — ТС у нас начинающий, ему пока нечего показывать. Сам пока покажи )
Replikant_mih, не все могут смотреть в завтрашний день, это точно ))
Zweroboi, все не могут, не только лишь все — могут).
avatar
В плохой системе никакие примочки типа Монте Карлов и последовательных переборок не спасут от подгонки. В хорошей оптимизация помогает выделить оптимальную зону параметров. Должно быть в первую понимание в чем смысл, эдж системы. Верный путь — искать разные идеи откуда из рынка высыпаются деньги, их кстати непросто найти) оптимизатор фтопку
avatar
Lewvik, нуу, и да и нет))
avatar
Replikant_mih, мучай тогда дальше оптимизатор, через пару- тройку лет поймешь что я сказал
avatar
Lewvik, Или раньше, или никогда, или и нечего понимать)
avatar
Replikant_mih, давай тогда на чистоту, зачем ты пришёл на рынок если не видишь цель?
avatar

Lewvik, Давай начистоту), из чего стало понятно, что я не вижу цели?)

У меня есть цели и я их вижу)

avatar
Replikant_mih, из твоих фраз) неприятно не то что 80 % идиоты, а то что они не хотят учится нормально мыслить.в этом видимо и есть суть
avatar

Lewvik, странно, 90% людей, комментирующих относительно меня и целеполагания отмечают наоборот целеустремленнось))

Зачем ты тут про идиотов — это вобще не в тему здесь))

 

avatar
Replikant_mih, мне все ясно, наверно оптимизировать просто  нужно тщательней
avatar
Lewvik, все верно, не прибавить, не убавить
Чем человек отличается от обезьяны? Обезьяна не рассуждает о вероятностях написания войны с миром полчищами других обезьян.
avatar
Sergey Pavlov, Ну не скажии, перед Стражами галактики показывали трейлер фильма про обезьян — так они там как минимум разговаривали))
avatar

теги блога Replikant_mih

....все тэги



UPDONW