Блог им. Prophetic

Исследователи опровергли значимость проверки алгостратегий на исторических данных

Специалисты Quantopian доказали опытным путем низкую эффективность бэктестинга алгоритмических стратегий.

Оригинал новости

Наверняка, если начать глубоко исследовать методы проверки, которыми пользовались указанные «специалисты», можно будет найти какие-нибудь причины по которым данное исследование можно считать «некорректным», однако сама по себе постановка вопроса достаточно интересна.
★7
30 комментариев
забавно, то есть если обобщить и немного утрировать, то вывод будет поразительным: «стратегия либо будет приносить прибыль либо нет, а как она работала раньше — вообще не важно» :)
avatar
Скомпилировалось без ошибок — и сразу на реал. Почему бы и нет)
avatar
Холиварная тема. Хорошо, что подавляющее большинство тут не осилит оригинал статьи на английском.
avatar
проверять стратегии на истории конечно надо(те, которые возможно проверить). А вот чего не надо — это переоптимизировать их.
avatar
В среднем цвет всех кошек — серый.
avatar
хуе… е они исследователи :)
avatar
SECRET, осилил что ли оригинал?
avatar
Alexand77, ага :)
avatar
SECRET, ну а что, правильное исследование! Вместо того, чтобы бороться с подрастающим поколением конкурентов, лучше сразу пустить их по неверному пути :)
avatar
Boo, этого нельзя допустить! Срочно нужно накатать статью, которая привлечет новое мясо на рынок!
avatar
Пчелы доказали вред меда? Заинтриговало…
avatar
Вы сами-то статью читали? Статья вообще о другом, о метриках и оверфитинге. Зачем выдирать в громкий заголовок один аспект исследования в лучших традициях желтой прессы?
avatar
Quant-Invest, Зря Вы так. Я не просто так написал про постановку вопроса. Каждый может найти в этой статье то, что интересно именно ЕМУ. 
Мое мнение не совпадает ни с авторами «доказательств», ни с броским названием новости.
Все, кто так или иначе потратил достаточное количество времени на разработки алгоритмических стратегий и их тестирование на длительной истории, хорошо знакомы с «подводными камнями» такого тестирования.
Оптимизация бывает разной. Это слишком обширная тема, чтобы обсуждать ее здесь.
Как написал Alexand77 — тема действительно холиварная, но я не призываю к поискам доказательств или опровержений опубликованного исследования, т.к. для этого нужно потратить немалое количество времени на изучение 19-ти страниц исследований (мне есть чем заняться и без этого). Скорее я хотел обратить внимание на тот факт, что далеко не все, что показывает тестирование на истории, стоит воспринимать как конечный результат разработки.
А вот с предположениями о машинном обучении с склонен согласиться. Главное не путать это обучение с построением нейронных сетей (к ним я отношусь скептически).

avatar
Секрет Полишинеля- переоптимизация приводит к неработоспособности стратегии. Чем более стратегия соответствует прошлым изменениям цен, тем менее она будет соответствовать будущим изменениям. Совершенно очевидный факт.
avatar
Случайные собравшиеся оптимизаторы не умеют оптимизировать и впадают в переподгонку. 
Ха, а работники этого Квантопяна ждали, что набегут сотни дилетантов и наоптимизируют тьму граалей?
avatar
Весь мой трейдинг основан на том, что закономерности из прошлого будут повторятся в будущем. Пока все хорошо и совпадает с расчетами.
avatar
artgolikov, здесь нет противоречий. Речь о том, как именно верифицировать закономерности.
avatar
"... we study the prevalence and impact of backtest overfitting". Граждане просто в очередной раз прошлись по VC-теории и в очередной раз убедились, что оверфиттинг это плохо. Не увидел ни слова про «опровергли значимость проверки ...»
avatar
Тесты нужны всегда. Некоторые стратегии могут банально на месяца три в спячку впадать… представьте торгуете торгуете а 3 месяца около нуля… конечно вы бросите это… а потом бац и стратегия зарабатывает… но вас в ней уже нет. Это что касается стат. угадаек — всегда нужен тест года за 3 или лучше за 5. Графикам сколько лет то уже… неужели думаете что там что то новое придумают.....1- волатильность 2- амплитуда 3 — трендовость — вот из этого коктейля и мешают…
avatar
ТАкие исследований разного рода выходит по 50 штук на дню
kbrobot.ru, исследователь своим депо не рискует — может писать о чём поподя. (-;
Как автор статьи, я негодую. Во-первых, ссылка битая, вот верная. http://fomag.ru/ru/news/NewsDetails.aspx?bid=66&news=10384
Во-вторых, две вынесенные в пост строки не отображают основной посыл новости и уж, тем более, самого исследования. Если попроще, то бэк-тесты нужны и без них никак. Но не нужно их считать панацеей и нужно применять ряд проверочных механизмов и подходов.
avatar
Roman Nekrasov, а мне показалось, что статься озаглавлена как «Исследователи опровергли значимость проверки алгостратегий на исторических данных», т.е. из названия напрашивается вывод, что проверка на исторических данных не значима (ну раз значимость опровергли). Почему же претензии тогда к топикстартеру, а не к придумавшему заглавие статьи?
avatar
Roman Nekrasov, Битая ссылка — это не моя вина. Сайт добавляет «amp», а вставляю я именно ту ссылку, которую Вы указали. Уже три раза заново вставлял.
Две вынесенные строки были вставлены в пост БЕЗ изменений, т.е. написаны так, как их написали Вы.
Именно эти строки выделены У ВАС жирным текстом, что для потенциального читателя во все времена означали основной посыл
Копировать сюда всю новость, смысла не увидел (собственно в том числе и для этого дается ссылка на оригинал новости).
Если Вы действительно автор этой новости, то именно ВЫ захотели подать материал в таком виде, в котором заголовок не соответствует содержанию. Так что уж простите, но обвинять меня в том, что ВАШ заголовок новости не соответствует содержанию статьи, мягко говоря некрасиво.
avatar
Prophetic, вы правда не знаете для чего пишутся такие заголовки? Открыли бы вы новость «Квантопиан опубликовал интересное исследование»? 
avatar
Бегло проглядел статью. Пустота. Исследователи пишут про корреляцию коэф Шарпа прошлого и будущего у торговых систем. Причем будущее всего на 6 месяцах. Взаимосвязи не нашли. Кто бы мог подумать. Прошлая доходность не гарантирует доходность в будущем. Везде же написано.
avatar
Дайошь срач!
«Пастернака не читал, но осуждаю!» :)
avatar
Квантопян — вообще непонятно зачем это нужно и кому. Пиару столько что ожидаешь чего то интересного, а доходит до сути — сути нет.
avatar
«Доказали» то, что давно известно любому строившему торговые алгоритмы:


«Доходность — это то, что дарит нам, рынок, просадки — это то, что регулируем мы сами» © мое 2001-й год.


Бэктест системы ничего не дает с точки зрения прогноза будущей доходности. Мы лишь можем «доказать» с его помощью две вещи (конечно при условии его грамотного проведения):
— спрогнозировать максимальную просадку и превосходство рынка по соотношению «доходность-просадка».
avatar

теги блога Prophetic

....все тэги



UPDONW
Новый дизайн