Исследователи опровергли значимость проверки алгостратегий на исторических данных

Специалисты Quantopian доказали опытным путем низкую эффективность бэктестинга алгоритмических стратегий.

Оригинал новости

Наверняка, если начать глубоко исследовать методы проверки, которыми пользовались указанные «специалисты», можно будет найти какие-нибудь причины по которым данное исследование можно считать «некорректным», однако сама по себе постановка вопроса достаточно интересна.

алготрейдинг Новости

Prophetic

Москва

529

с 14 мая 2013

30 Комментариев

eagledwarf
10 мая 2016, 16:54
забавно, то есть если обобщить и немного утрировать, то вывод будет поразительным: «стратегия либо будет приносить прибыль либо нет, а как она работала раньше — вообще не важно» :)
+7
helk3rn
10 мая 2016, 16:55
Скомпилировалось без ошибок — и сразу на реал. Почему бы и нет)
+1
Alexand77
10 мая 2016, 16:55
Холиварная тема. Хорошо, что подавляющее большинство тут не осилит оригинал статьи на английском.
+1
nik
10 мая 2016, 17:07
проверять стратегии на истории конечно надо(те, которые возможно проверить). А вот чего не надо — это переоптимизировать их.
-2
akuloff
10 мая 2016, 17:10
В среднем цвет всех кошек — серый.
+1
SECRET
10 мая 2016, 17:17
хуе… е они исследователи :)
+5
- Alexand77
  10 мая 2016, 17:20
  SECRET, осилил что ли оригинал?
  +1
  - SECRET
    10 мая 2016, 17:44
    Alexand77, ага :)
    +1
- Boo
  10 мая 2016, 18:12
  SECRET, ну а что, правильное исследование! Вместо того, чтобы бороться с подрастающим поколением конкурентов, лучше сразу пустить их по неверному пути :)
  0
  - SECRET
    10 мая 2016, 18:49
    Boo, этого нельзя допустить! Срочно нужно накатать статью, которая привлечет новое мясо на рынок!
    0
Quant-Invest
10 мая 2016, 17:18
Пчелы доказали вред меда? Заинтриговало…
0
Quant-Invest
10 мая 2016, 17:22
Вы сами-то статью читали? Статья вообще о другом, о метриках и оверфитинге. Зачем выдирать в громкий заголовок один аспект исследования в лучших традициях желтой прессы?
+1
- Prophetic
  10 мая 2016, 17:59
  Quant-Invest, Зря Вы так. Я не просто так написал про постановку вопроса. Каждый может найти в этой статье то, что интересно именно ЕМУ.
  Мое мнение не совпадает ни с авторами «доказательств», ни с броским названием новости.
  Все, кто так или иначе потратил достаточное количество времени на разработки алгоритмических стратегий и их тестирование на длительной истории, хорошо знакомы с «подводными камнями» такого тестирования.
  Оптимизация бывает разной. Это слишком обширная тема, чтобы обсуждать ее здесь.
  Как написал Alexand77 — тема действительно холиварная, но я не призываю к поискам доказательств или опровержений опубликованного исследования, т.к. для этого нужно потратить немалое количество времени на изучение 19-ти страниц исследований (мне есть чем заняться и без этого). Скорее я хотел обратить внимание на тот факт, что далеко не все, что показывает тестирование на истории, стоит воспринимать как конечный результат разработки.
  А вот с предположениями о машинном обучении с склонен согласиться. Главное не путать это обучение с построением нейронных сетей (к ним я отношусь скептически).
  
  0
TT
10 мая 2016, 17:35
Секрет Полишинеля- переоптимизация приводит к неработоспособности стратегии. Чем более стратегия соответствует прошлым изменениям цен, тем менее она будет соответствовать будущим изменениям. Совершенно очевидный факт.
+3
SergeyJu
10 мая 2016, 17:41
Случайные собравшиеся оптимизаторы не умеют оптимизировать и впадают в переподгонку.
Ха, а работники этого Квантопяна ждали, что набегут сотни дилетантов и наоптимизируют тьму граалей?
0
artgolikov
10 мая 2016, 17:42
Весь мой трейдинг основан на том, что закономерности из прошлого будут повторятся в будущем. Пока все хорошо и совпадает с расчетами.
+2
- Replikant_mih
  26 мая 2018, 10:08
  artgolikov, здесь нет противоречий. Речь о том, как именно верифицировать закономерности.
  0
QJGlXS3Ars
10 мая 2016, 17:49
"... we study the prevalence and impact of backtest overfitting". Граждане просто в очередной раз прошлись по VC-теории и в очередной раз убедились, что оверфиттинг это плохо. Не увидел ни слова про «опровергли значимость проверки ...»
+3
Pobeditel
10 мая 2016, 17:52
Тесты нужны всегда. Некоторые стратегии могут банально на месяца три в спячку впадать… представьте торгуете торгуете а 3 месяца около нуля… конечно вы бросите это… а потом бац и стратегия зарабатывает… но вас в ней уже нет. Это что касается стат. угадаек — всегда нужен тест года за 3 или лучше за 5. Графикам сколько лет то уже… неужели думаете что там что то новое придумают.....1- волатильность 2- амплитуда 3 — трендовость — вот из этого коктейля и мешают…
0
Евгений Черных
10 мая 2016, 18:06
ТАкие исследований разного рода выходит по 50 штук на дню
+1
- Александр Смольский
  10 мая 2016, 21:41
  kbrobot.ru, исследователь своим депо не рискует — может писать о чём поподя. (-;
  0
Roman Nekrasov
10 мая 2016, 18:16
Как автор статьи, я негодую. Во-первых, ссылка битая, вот верная. http://fomag.ru/ru/news/NewsDetails.aspx?bid=66&news=10384
Во-вторых, две вынесенные в пост строки не отображают основной посыл новости и уж, тем более, самого исследования. Если попроще, то бэк-тесты нужны и без них никак. Но не нужно их считать панацеей и нужно применять ряд проверочных механизмов и подходов.
0
- Boo
  10 мая 2016, 18:36
  Roman Nekrasov, а мне показалось, что статься озаглавлена как «Исследователи опровергли значимость проверки алгостратегий на исторических данных», т.е. из названия напрашивается вывод, что проверка на исторических данных не значима (ну раз значимость опровергли). Почему же претензии тогда к топикстартеру, а не к придумавшему заглавие статьи?
  +1
- Prophetic
  10 мая 2016, 18:37
  Roman Nekrasov, Битая ссылка — это не моя вина. Сайт добавляет «amp», а вставляю я именно ту ссылку, которую Вы указали. Уже три раза заново вставлял.
  Две вынесенные строки были вставлены в пост БЕЗ изменений, т.е. написаны так, как их написали Вы.
  Именно эти строки выделены У ВАС жирным текстом, что для потенциального читателя во все времена означали основной посыл
  Копировать сюда всю новость, смысла не увидел (собственно в том числе и для этого дается ссылка на оригинал новости).
  Если Вы действительно автор этой новости, то именно ВЫ захотели подать материал в таком виде, в котором заголовок не соответствует содержанию. Так что уж простите, но обвинять меня в том, что ВАШ заголовок новости не соответствует содержанию статьи, мягко говоря некрасиво.
  +1
  - Roman Nekrasov
    10 мая 2016, 18:48
    Prophetic, вы правда не знаете для чего пишутся такие заголовки? Открыли бы вы новость «Квантопиан опубликовал интересное исследование»?
    0
InvestGPT
10 мая 2016, 18:20
Бегло проглядел статью. Пустота. Исследователи пишут про корреляцию коэф Шарпа прошлого и будущего у торговых систем. Причем будущее всего на 6 месяцах. Взаимосвязи не нашли. Кто бы мог подумать. Прошлая доходность не гарантирует доходность в будущем. Везде же написано.
+1
Alexand77
10 мая 2016, 18:27
Дайошь срач!
«Пастернака не читал, но осуждаю!» :)
0
Growex
10 мая 2016, 19:20
Квантопян — вообще непонятно зачем это нужно и кому. Пиару столько что ожидаешь чего то интересного, а доходит до сути — сути нет.
0
А. Г.
10 мая 2016, 21:58
«Доказали» то, что давно известно любому строившему торговые алгоритмы:

«Доходность — это то, что дарит нам, рынок, просадки — это то, что регулируем мы сами» © мое 2001-й год.

Бэктест системы ничего не дает с точки зрения прогноза будущей доходности. Мы лишь можем «доказать» с его помощью две вещи (конечно при условии его грамотного проведения):
— спрогнозировать максимальную просадку и превосходство рынка по соотношению «доходность-просадка».
0

Читайте на SMART-LAB:

Клиенты рекомендуют Займер 💚

Клиентская лояльность — одна из ключевых метрик для компаний в сфере услуг. В случае банков и МФО высокая лояльность позволяет экономить на привлечении новых заемщиков — а это значительная статья...

МКК "Займер"

13:00

Аэрофлот публикует финансовые результаты за 2025 год по МСФО

✈️ Выручка выросла на 5,3% год к году, до 902,3 млрд рублей. В основе – уверенные операционные показатели: пассажиропоток сохранился на уровне прошлого года – 55,3 млн человек. Пассажирооборот...

Aeroflot

09:32

📄 Ресейл Инвест получил право проводить закрытые размещения акций

Банк России согласовал правила инвестиционной платформы Ресейл Инвест. Платформа сможет осуществлять деятельность в соответствии с требованиями законодательства Российской Федерации и...