Prophetic
Prophetic личный блог
10 мая 2016, 16:51

Исследователи опровергли значимость проверки алгостратегий на исторических данных

Специалисты Quantopian доказали опытным путем низкую эффективность бэктестинга алгоритмических стратегий.

Оригинал новости

Наверняка, если начать глубоко исследовать методы проверки, которыми пользовались указанные «специалисты», можно будет найти какие-нибудь причины по которым данное исследование можно считать «некорректным», однако сама по себе постановка вопроса достаточно интересна.
30 Комментариев
  • eagledwarf
    10 мая 2016, 16:54
    забавно, то есть если обобщить и немного утрировать, то вывод будет поразительным: «стратегия либо будет приносить прибыль либо нет, а как она работала раньше — вообще не важно» :)
  • helk3rn
    10 мая 2016, 16:55
    Скомпилировалось без ошибок — и сразу на реал. Почему бы и нет)
  • Alexand77
    10 мая 2016, 16:55
    Холиварная тема. Хорошо, что подавляющее большинство тут не осилит оригинал статьи на английском.
  • nik
    10 мая 2016, 17:07
    проверять стратегии на истории конечно надо(те, которые возможно проверить). А вот чего не надо — это переоптимизировать их.
  • akuloff
    10 мая 2016, 17:10
    В среднем цвет всех кошек — серый.
  • SECRET
    10 мая 2016, 17:17
    хуе… е они исследователи :)
    • Alexand77
      10 мая 2016, 17:20
      SECRET, осилил что ли оригинал?
      • SECRET
        10 мая 2016, 17:44
        Alexand77, ага :)
    • Boo
      10 мая 2016, 18:12
      SECRET, ну а что, правильное исследование! Вместо того, чтобы бороться с подрастающим поколением конкурентов, лучше сразу пустить их по неверному пути :)
      • SECRET
        10 мая 2016, 18:49
        Boo, этого нельзя допустить! Срочно нужно накатать статью, которая привлечет новое мясо на рынок!
  • Quant-Invest
    10 мая 2016, 17:18
    Пчелы доказали вред меда? Заинтриговало…
  • Quant-Invest
    10 мая 2016, 17:22
    Вы сами-то статью читали? Статья вообще о другом, о метриках и оверфитинге. Зачем выдирать в громкий заголовок один аспект исследования в лучших традициях желтой прессы?
  • TT
    10 мая 2016, 17:35
    Секрет Полишинеля- переоптимизация приводит к неработоспособности стратегии. Чем более стратегия соответствует прошлым изменениям цен, тем менее она будет соответствовать будущим изменениям. Совершенно очевидный факт.
  • SergeyJu
    10 мая 2016, 17:41
    Случайные собравшиеся оптимизаторы не умеют оптимизировать и впадают в переподгонку. 
    Ха, а работники этого Квантопяна ждали, что набегут сотни дилетантов и наоптимизируют тьму граалей?
  • artgolikov
    10 мая 2016, 17:42
    Весь мой трейдинг основан на том, что закономерности из прошлого будут повторятся в будущем. Пока все хорошо и совпадает с расчетами.
    • Replikant_mih
      26 мая 2018, 10:08
      artgolikov, здесь нет противоречий. Речь о том, как именно верифицировать закономерности.
  • QJGlXS3Ars
    10 мая 2016, 17:49
    "... we study the prevalence and impact of backtest overfitting". Граждане просто в очередной раз прошлись по VC-теории и в очередной раз убедились, что оверфиттинг это плохо. Не увидел ни слова про «опровергли значимость проверки ...»
  • Pobeditel
    10 мая 2016, 17:52
    Тесты нужны всегда. Некоторые стратегии могут банально на месяца три в спячку впадать… представьте торгуете торгуете а 3 месяца около нуля… конечно вы бросите это… а потом бац и стратегия зарабатывает… но вас в ней уже нет. Это что касается стат. угадаек — всегда нужен тест года за 3 или лучше за 5. Графикам сколько лет то уже… неужели думаете что там что то новое придумают.....1- волатильность 2- амплитуда 3 — трендовость — вот из этого коктейля и мешают…
  • Евгений Черных
    10 мая 2016, 18:06
    ТАкие исследований разного рода выходит по 50 штук на дню
    • kbrobot.ru, исследователь своим депо не рискует — может писать о чём поподя. (-;
  • Roman Nekrasov
    10 мая 2016, 18:16
    Как автор статьи, я негодую. Во-первых, ссылка битая, вот верная. http://fomag.ru/ru/news/NewsDetails.aspx?bid=66&news=10384
    Во-вторых, две вынесенные в пост строки не отображают основной посыл новости и уж, тем более, самого исследования. Если попроще, то бэк-тесты нужны и без них никак. Но не нужно их считать панацеей и нужно применять ряд проверочных механизмов и подходов.
    • Boo
      10 мая 2016, 18:36
      Roman Nekrasov, а мне показалось, что статься озаглавлена как «Исследователи опровергли значимость проверки алгостратегий на исторических данных», т.е. из названия напрашивается вывод, что проверка на исторических данных не значима (ну раз значимость опровергли). Почему же претензии тогда к топикстартеру, а не к придумавшему заглавие статьи?
      • Roman Nekrasov
        10 мая 2016, 18:48
        Prophetic, вы правда не знаете для чего пишутся такие заголовки? Открыли бы вы новость «Квантопиан опубликовал интересное исследование»? 
  • InvestGPT
    10 мая 2016, 18:20
    Бегло проглядел статью. Пустота. Исследователи пишут про корреляцию коэф Шарпа прошлого и будущего у торговых систем. Причем будущее всего на 6 месяцах. Взаимосвязи не нашли. Кто бы мог подумать. Прошлая доходность не гарантирует доходность в будущем. Везде же написано.
  • Alexand77
    10 мая 2016, 18:27
    Дайошь срач!
    «Пастернака не читал, но осуждаю!» :)
  • Growex
    10 мая 2016, 19:20
    Квантопян — вообще непонятно зачем это нужно и кому. Пиару столько что ожидаешь чего то интересного, а доходит до сути — сути нет.
  • А. Г.
    10 мая 2016, 21:58
    «Доказали» то, что давно известно любому строившему торговые алгоритмы:


    «Доходность — это то, что дарит нам, рынок, просадки — это то, что регулируем мы сами» © мое 2001-й год.


    Бэктест системы ничего не дает с точки зрения прогноза будущей доходности. Мы лишь можем «доказать» с его помощью две вещи (конечно при условии его грамотного проведения):
    — спрогнозировать максимальную просадку и превосходство рынка по соотношению «доходность-просадка».

Активные форумы
Что сейчас обсуждают

Старый дизайн
Старый
дизайн