Replikant_mih
Replikant_mih личный блог
03 июня 2017, 08:06

Случайности и закономерности. И снова про оптимизацию...и про обезьян.

 Это пост добра.

Хочется помочь людям понять истину (этот пост не для всех, для многих это очевидные истины). Ну и хочется самому продвигаться в её понимании (но сейчас не об этом).

 

Есть из теории вероятностей классическое про обезьян и «Войну и мир». Не помню, как в классической версии этого примера, но идея такая (на самом деле там несколько идей, но в данном контексте возьму эту), что на большой выборке есть нормальная такая вероятность наступления даже самого маловероятного события, а ещё — такое маловероятное событие может выглядит как чертова закономерность.

 

Не помню, как там в классическом примере с этими обезьянами, давайте его немножко модифицируем под контекст (сохранив суть неизменной) — хотя, возможно, в классическом варианте так и было — преположим, есть огромногое кол-во групп обезьян, в каждой группе обезьян столько сколько страниц в романе «Война и мир», за раз каждая обезьяна в каждой группе печатает одну страницу рандомного текста. Затем всё продолжается. Есть вероятность, что после большого числа повторений, одна из групп обезьян напечатает-таки «Войну и мир». Как мы понимаем, в данном гипотетическом примере речь не об эволюции, или развитии мозга, о том, что нашлась продвинутая группа обезьян с развитыми теменными или ещё какими-то зонами мозга, в данном примере речь исключительно о случайных событиях и о вероятности.

 

Ну что, как думаете, что напечатают те красавцы, которые написали «Войну и мир», в следующий раз?)))

Да треш полный! Не будем отчаиваться друзья, ведь у нас есть надежная защита! — WFO и прочие OOS, мы не всем таким группам обезьян будем доверять, а мы возьмём 1000000 таких групп (если подождать то за первыми с «Войной и миром», конечно, появятся и другие аналогичные) и доверим написание следующего романа только тем группам, которые смогут сделать это два раза подряд… Догадываетесь, какой будет итог? Да такой же, воронка будет сужаться с точно такой же скоростью как и раньше, эти парни с двойной проверкой третьей книгой напишут полный рандомный треш-фарш.

 

Мне понравилось про обезьянок писать, возможно, в след. раз разовью эту тему уже конкретно про рынок, оптимизацию, случайности и закономерности.  

Чуть не забыл, вывод: случайность, порой, выглядит как очень даже закономерность, особенно если способ оптимизации, контроля как бы в этом и состоит — выбирать то, что выглядит как закономерность. Просто из всего случайного пространства ты выбираешь то, что выглядит как закономерность (а посколькоу рандом — это полная свобода «творчества», то порою случайности будут очень качественно притворяться закономерностями) и радуешься, так не работает, этого не достаточно.

56 Комментариев
  • Дмитрий Д.
    03 июня 2017, 10:32
    К вопросу о Боге. Какова вероятность самозарождения из случайных процессов квантового сверхразума в масштабах Вселенной?
    • Пафос Респектыч
      03 июня 2017, 10:42
      Дмитрий Д., до или после большого взрыва?
      • Дмитрий Д.
        03 июня 2017, 10:59
        Zweroboi, Температуру мы пока оставляем за кадром.
  • Пафос Респектыч
    03 июня 2017, 10:42
    Ну да, можно ещё сказать, что очень трудно сделать такую торговую систему, которая бы вообще не работала, совсем, ни на каком куске истории )
  • sortarray sortarray
    03 июня 2017, 11:07
    Я не понял, зачем там группы, оптимизации и прочее? Суть этого примера проста: существует ничтожная вероятность того, что «Войну и мир» напечатают рандомно. Тут и обезьяны как таковые не при чем, можете просто сделать генератор текста и повторять попытки
  • ilyaflash
    03 июня 2017, 11:31

    Господа, это же классическая проверка статистических гипотез. Нулевая гипотеза: «данная группа обезьян N раз подряд достигла цели случайно».  Чтобы подтвердить\опровергнуть нулевую гипотезу нужно:
    1. оценить ожидаемое количество попыток для наступления такого события только за счёт случайности,
    2. сопоставить её с числом попыток, которые реально были выполнены.
    Например, ожидаемое количество попыток чтобы написать войну и мир (2700000 символов) случайно, используя равновероятно 40 символов (буквы и знаки препинания) будет 40 в  степени 2699999. Это число гораздо больше чем миллион )).

    • Пафос Респектыч
      03 июня 2017, 12:10
      ilyaflash, ожидаемое количество попыток что нам даст? Доверительный интервал надо строить, вообще-то
      • ilyaflash
        03 июня 2017, 19:22
        Zweroboi, разумеется, я слегка упростил, а все сложности вложил в слово «сопоставить».
  • jug
    03 июня 2017, 12:22
    В машинном обучении есть целый раздел посвященный оптимальному выбору модели из нескольких( запамятовал, как он называется). Вкратце, смысл сводится к следующему —  все модели оценки обобщающей способности модели ( WF, CV и т. д) работают в одном варианте — сгенерили модель — одним из методов оценили- приняли или отбросили). А если, как это обычно бывает, вы нагенерили 100 тыс. моделей( у нас же суперкомпьютер, бл… ть!) и выбираем лучшую с помощью любого из методов( хоть CV хоть WF), достоверность метода = 0
      • jug
        03 июня 2017, 17:57
        Replikant_mih, могу дать ссылку http://www.machinelearning.ru/wiki/index.php?title=Множественная_проверка_гипотез, только там все достаточно заумно
  • robomakerr
    03 июня 2017, 12:23
    Проверь не два раза подряд, а десять раз подряд) помогает)
      • robomakerr
        03 июня 2017, 16:43
        Replikant_mih, 
        да, примерно так, большинство из 10. Я не идеализирую, OOS это формальный подход, но ничего лучшего при формальном подходе не придумано) В идеале желательно конечно понимать, за счет чего зарабатываем.
  • Johnny Tapia
    03 июня 2017, 22:39

    мне же нужно получить 10 хороших oos? или достаточно получить большинство хороших из 10?

    Я ж не говорю, что OOS тестирование сакс, но и идеализировать не стоит — у него есть вполне конкретное назначение, и оно даёт не больше не меньше, чем даёт. Заменять им что-то, что ему не свойственно, не нужно.


    это реально бред сумасшесшего. 
      • Johnny Tapia
        03 июня 2017, 22:50
        Replikant_mih, а то что вы написали бредом можно назвать?
          • Johnny Tapia
            03 июня 2017, 22:56
            Replikant_mih, для вас не бред
      • Пафос Респектыч
        03 июня 2017, 23:44
        Replikant_mih, справедливости ради, процитированный Bambino выше фрагмент реально похож на цитату Кличко ) что-то в духе что «хорошо, что пятница сегодня, а не завтра, как вчера» )))
    • Пафос Респектыч
      03 июня 2017, 23:39
      Bambino, нужно получить 10 oos и посмотреть на их распределение.
  • Johnny Tapia
    03 июня 2017, 22:48
    Кстати, для сломавших мозг в этом топике- автор пока начинающий алготрейдер, не судите его строго.)
      • Johnny Tapia
        03 июня 2017, 22:54
        Replikant_mih, покажите НДФЛ по итогам года. Или если у вас алгоритмы быстрые результат на ЛЧИ.
          • Johnny Tapia
            03 июня 2017, 23:00
            Replikant_mih, ну почему же, давайте конструктивно, что в вашем блоге полезного обывателю?
              • Johnny Tapia
                03 июня 2017, 23:08
                Replikant_mih,  назвал бредом потому что смысла в этом посте не вижу. Это надеюсь понятно?) Извините за мнение.
        • Пафос Респектыч
          03 июня 2017, 23:41
          Bambino, сам же сказал — ТС у нас начинающий, ему пока нечего показывать. Сам пока покажи )
      • Пафос Респектыч
        03 июня 2017, 23:46
        Replikant_mih, не все могут смотреть в завтрашний день, это точно ))
  • Lewvik
    04 июня 2017, 08:36
    В плохой системе никакие примочки типа Монте Карлов и последовательных переборок не спасут от подгонки. В хорошей оптимизация помогает выделить оптимальную зону параметров. Должно быть в первую понимание в чем смысл, эдж системы. Верный путь — искать разные идеи откуда из рынка высыпаются деньги, их кстати непросто найти) оптимизатор фтопку
      • Lewvik
        04 июня 2017, 18:44
        Replikant_mih, мучай тогда дальше оптимизатор, через пару- тройку лет поймешь что я сказал
          • Lewvik
            04 июня 2017, 19:38
            Replikant_mih, давай тогда на чистоту, зачем ты пришёл на рынок если не видишь цель?
              • Lewvik
                04 июня 2017, 19:57
                Replikant_mih, из твоих фраз) неприятно не то что 80 % идиоты, а то что они не хотят учится нормально мыслить.в этом видимо и есть суть
                  • Lewvik
                    04 июня 2017, 22:25
                    Replikant_mih, мне все ясно, наверно оптимизировать просто  нужно тщательней
    • Антон Иванов
      04 июня 2017, 21:26
      Lewvik, все верно, не прибавить, не убавить
  • Sergey Pavlov
    05 июня 2017, 07:38
    Чем человек отличается от обезьяны? Обезьяна не рассуждает о вероятностях написания войны с миром полчищами других обезьян.

Активные форумы
Что сейчас обсуждают

Старый дизайн
Старый
дизайн