Pin-T-Set
Pin-T-Set личный блог
19 августа 2019, 11:18

Переоптимизация есть всегда (критика алготрейдинга)

Иллюстрация переоптимизации на примере подбора кривых: пусть дана какая-либо кривая. Подбираем любую кривую (многочлен, тригонометрические функции и т.д.) так, чтобы она по возможности совпадала с данной кривой. (см. в поисковике —  аппроксимация, а также интерполяция).

Вердикт всех спецов по алготрейдингу – это плохо. За пределами отрезка, где происходила аппроксимация, неизбежно происходит расхождение. И следует совет: брать как можно меньше параметров (один, два, макс три). И это будет нормальный, хороший алготрейдинг.

Ну, хорошо взяли один, два, макс три параметра, создали алгоритм и начинаем тестировать его на разных инструментах. С математической точки зрения мы взяли очень грубую кривую и прикладываем на множество замысловатых кривых, пытаясь найти совпадение. Тут сразу же обнаруживаем, что из всей кучи инструментов этот алгоритм с трудом подходит только для одного — двух инструментов (чаще вообще ни одному). Даже если повезет, и мы нечто найдем, то нам предлагается по этому алгоритму торговать годами. Нет – десятилетиями! (Вайсман, Куртис).

Не кажется ли вам, что здесь присутствует тоже переоптимизация, хоть и другого рода (грубой кривой аппроксимировать множество сложных кривых)? Таким образом, расхождение может начаться в любой момент.

Переоптимизация первого рода – честнее: мы знаем, что имеет место переоптимизация, и не прячем голову в песок. Можно по ней торговать? Хоть и сложно, но можно. Если мы знаем, что с вероятностью, скажем, 60%, аппроксимация будет хорошо описывать кривую какой-то период времени. Какой период времени и какая вероятность: все надо считать и проверять. Муторно? — согласен. Пардо Р. рекомендует брать срок годности модели 1/8-1/4 от оптимизируемого периода.

Переоптимизация второго рода опасна тем, что мы ей полностью доверяем и можем неоправданно много средств вложить в стратегию (берегитесь коммона!). Рано или поздно слом стратегии все равно произойдет (ведь это, как не крути, остается переоптимизацией!). Необходимо заранее планировать точку выхода: как правило, — это 2-3 макс исторической просадки. Исходя из этого можно определить размер капитала, которым можно рискнуть.

18 Комментариев
  • ves2010
    19 августа 2019, 11:23
    кароче… берешь тот же сбер… оптимизируешь на интервале с 2010 по 2019г т.е 8лет потом смотришь резалт с 2002г еще 8мь лет, если все ок то торгуешь, если фигня — выкидываешь… отдельный стресс тест идет накризисе 2008г

    есть еще вариант… любой интервал данных можно удвоить легко...
    тестишь и оптимизируешь на лонг, а потом смотришь что получилось в шорт
  • quant_trader
    19 августа 2019, 11:48
    И то и другое не является нормальным, хорошим алготрейдингом. Первична идея — кто и почему раздает бабки, подмена оной попытками накурвфиттить индикаторчики есть лудомания.
    • Roman Ivanov
      19 августа 2019, 11:52
      quant_trader, да пофигу, лишь бы матожидание прибыли положительное
    • SergeyJu
      19 августа 2019, 12:33
      quant_trader, предположим, у меня есть некая гипотеза о том, чьи деньги забирает моя система. Как её проверить? А если её не проверять, то зачем она нужна. Мне представляется, что для алго получится нарратив ради нарратива, то, против чего предостерегал Талеб.
      • quant_trader
        20 августа 2019, 21:53
        SergeyJu, хорошо, можно опуститься на уровень свойств рынка. Скажем есть ценовые аномалии, устойчивые в примитивных реализациях которые не требуют кучи параметров и исходного поста. Но вот эта ловля не пойми чего не пойми на что не производит впечатление.
        • SergeyJu
          21 августа 2019, 09:36
          quant_trader, наверное, я Вас плохо понимаю. Не могли бы Вы привести пример, у кого именно Вы отнимаете деньги, не систему, а именно мловесное определение доноров? 
          • quant_trader
            21 августа 2019, 10:39
            SergeyJu, например торгуя тренд мы по сути фронтранним поток ордеров участников более крупного размера и длительности удержания позиций, которые либо слишком крупные чтобы исполниться по рынку. Они создают локальную неэффективность, мы на ней как серфер катаемся.

            В общем обосновать свою точку зрения не смогу. Формально если нам удается строить устойчивые модели на оптимизации то нет причин погружаться в гипотезы и исследования инструмента.
            • SergeyJu
              21 августа 2019, 11:18
              quant_trader, вот с этим согласен
               если нам удается строить устойчивые модели на оптимизации то нет причин погружаться в гипотезы и исследования инструмента
  • GAURANGA
    19 августа 2019, 14:32
    Алго должен работать на всех инструментах. Пусть понадобиться время но у него выход только один это — профит.
    Если он буксует на одном а на другом зарабатывает, значит скорее всего начинка иллюзорная. Пазлы не сходятся.
    • day0markets.ru
      19 августа 2019, 14:56
      GAURANGA, это как? т.е. один алго должен рубить бабки на биткоине и на префах BoA? :)
      • GAURANGA
        19 августа 2019, 15:10
        day0markets, угу))) 
    • SergeyJu
      19 августа 2019, 19:32
      GAURANGA, не похоже на правду.
      • GAURANGA
        19 августа 2019, 19:40
        SergeyJu, бываетудачи в поисках
  • robomakerr
    20 августа 2019, 10:19
    Погуглите out of sample.
  • Максим
    20 августа 2019, 21:15
    Где во втором случае переоптимизация, если оно даже тренировочный набор плохо объясняет?
  • А. Г.
    20 августа 2019, 22:02
    Надо просто анализировать все эквити по всем перебираемым параметрам и не выбирать просто небольшое число лучших по «доходность-риск», тем более, что первый параметр точно будет нестационарен в будущем. 
    • SergeyJu
      21 августа 2019, 09:37
      А. Г., и какую статистику на пространстве всех эквити Вы предлагаете рассматривать? 
      • А. Г.
        21 августа 2019, 10:47
        SergeyJu, устойчивость в смысле риска как по времени, так и по изменению параметров.

Активные форумы
Что сейчас обсуждают

Старый дизайн
Старый
дизайн