Начинающий алготрейдер - Мысль о бэктестинге

В комментариях к своим предыдущим постам увидел довольно много скептических мыслей насчет бэктестинга (тестирования на исторических данных), в духе «на бэктестинге всегда всё хорошо, а в боевом режиме слив».

Я, конечно, на 100% согласен, что
Если на бэктестинге хорошие результаты, то это еще ничего не гарантирует в боевом режиме.

Но ведь основная крутость бэктестинга не в этом, а в том, что
Если на бэктестинге фигня, то и в боевом режиме скорее всего будет фигня.

Это позволяет отсекать плохие идеи, которые интуитивно кажутся перспективными.

алготрейдинг торговые роботы

Igor K

Минск

с 15 ноября 2024

22 Комментария

Head of Algonaft'$
09 декабря 2024, 17:26
Но ведь основная крутость бэктестинга не в этом, а в том, чтоЕсли на бэктестинге фигня, то и в боевом режиме скорее всего будет фигня

все правильно. Бэк только показывает насколько создатель туп))) или не туп — все!

0
Сергей Сергаев
09 декабря 2024, 17:30
Раздельно тестируй входы и выходы.
Это перспективно.
+1
svgr
09 декабря 2024, 18:01
Подсказка.
Тестируй с нулевой комиссией стратегию и её антистратегию (все сделки противоположны в тех же местах).
Если минуса и там, и там — в ведро стратегию.
Если в какой-то есть существенные плюса, большие суммы комиссий за те же сделки, то разберись в причине этого явления.
+2
SergeyJu
09 декабря 2024, 18:18
Не так-то просто поймать все явные и неявные ошибки при бэктестинге. Верно учесть издержки, например. Оценить долю подгонки в симпатичном результате. Ложную уверенность в том, что в бэктестинге были просчитаны все те фазы рынка, с которыми придется встретиться, все возможные черные лебеди. И так далее.

0
ves2010
09 декабря 2024, 18:46
тема гуд… надо будет написать как нибудь про чтоние эквитей и бектестинг
+1
Биржевой Спекулянт Инвестор
09 декабря 2024, 19:29
Мне кажется что в былые времена по движению волн в порту можно было сказать куда проплыл парусник и предположить куда дует ветер. Попробуйте это сделать по волнам в современном порту. Или например по направлению струй из сопла ракеты предсказать куда она полетит.
0
LogikoMen
09 декабря 2024, 20:17
Работай дальше. Твоя задача создать более 10 работающих алгоритмов. Это позволит тебе зарабатывать. Это лучше, чем наугад нажимать на кнопку. Как тут большинство лудоманов и поступают.
По мере создания и тестирования поймешь многие постулаты. К примеру, как разоряют трейдера плечи. Т.е. не в виде философии, а реальных цифр и причин.
Проблема бэктестинга не в том, что он гарантирует или нет тебе заработок. Он не показывает тебе реальность. Потому что реальность тебе покажет форвардное тестирование. А не прогон в оптимизаторе. Проблема работающих роботов еще никем не решена. Т.е. с этой проблемой все живут сами по себе. Если кто и имеет решение, он его закрысил.
Кое какие элементы я раскрывал в теме своей, в комментариях. Она об создании стратегии, которая не зарабатывает, а подстраивается под график. Для того что бы иметь ориентир. Чего то объектиного большего у меня нет.
smart-lab.ru/blog/500491.php
+2
LogikoMen
09 декабря 2024, 20:35
Да есть трейдерские решения отличить работающую стратегию. 1) Тестирование на максимальной истории. 2) Анализ доходности по 3д картинке — поиск равнин, избегания впадин.
+1
- Igor K
  10 декабря 2024, 00:45
  LogikoMen, спасибо, хорошие замечания. В той книжке, что я читал, предлагалось строить не 3D картинку, а heatmap (двумерную картинку с цветом вместо третьего измерения), но смысл в том же: доходность (или другая оптимизируемая функция, Шарп например) должна выглядеть плюс-минус непрерывной. Если там какие-то дикие скачки и разрывы, то скорее всего это переподгонка, и нужно такое выкидывать в мусорку.
  +1
  - LogikoMen
    10 декабря 2024, 09:54
    Igor K, смотри на значения, что ты видишь — как на рабочий диапазон. Т.е. сама модель может в себе содержать совершенно две разные стратегии, к примеру. Но этого ты не увидишь по одной цифре — лучшая доходность. Как раз самая лучшая доходность ничто иное как случайность, и не повторяется. А выше средние значения стабильны. Даже для одного поля значений.
    0
  - LogikoMen
    10 декабря 2024, 11:00
    Igor K, слово пере подгонка — плохое слово. Оно результат лудоманской глупости. Что бы ты понимал — есть закономерность, есть случайность. Случайность — это вращение вокруг нуля. Но с издержками будет минус в любом случае, как не переворачивай стратегию. А вот закономерность — это отклонение от вращения стратегии в некотором диапазоне параметров. Но даже в этом диапазоне проявляются случайные элементы. Которые забрать как доходность тоже можно при везении. Рассчитывать на них нельзя. Вращение видно хорошо — это и есть холмы на 3д, или значительные отклонения. Но даже для хорошей стратегии все равно случайность проявляется. От нее ты никогда не избавишься. И это не пере подгонка как какое то зло. А ничто иное как везение в реальной жизни. Где то везет, где то нет.
    +1
    - MatrixLis
      10 декабря 2024, 13:23
      LogikoMen, Где то везет, где то нет.
      
      Вы чему людей учите? В лотерею?
      0
      - LogikoMen
        10 декабря 2024, 17:51
        MatrixLis, я объясняю отклонения, что вы видите в доходности роботизированной стратегии. Что бы не было лотереи — загружайте диапазон по стратегии. И даже в этом случае еще нужны методы по усреднению — использование несколько стратегий. Использования не связанных рынков. И другое. А не зная этого — вы играете в казино. Но при этом называете это работой, инвестированием, бизнесом и т.д. Т.е купили лотерею, но при этом врете себе самому не понимая этого
        0
        MatrixLis
        10 декабря 2024, 18:02
        LogikoMen, мне ваши объяснения не нужны. Объясняйте автору топика
        0
        LogikoMen
        10 декабря 2024, 18:09
        MatrixLis, дайте свои
        0
MatrixLis
09 декабря 2024, 21:02
Есть нормальное решение. Сейчас коэф =10. Если, например по тестам выходит 170% в месяц, то в реале будет 17% в месяц
0
- LogikoMen
  10 декабря 2024, 10:00
  MatrixLis, в реале будет то, что есть в тестах. А у вас в голове тоже самое, что у большинства — розовые очки. Нашел крутой алгоритм подстройки к графику и жду от него того. Что вероятность 1 на миллион. Это тема самая важная, но мало кому интересная. Все хотят кнопку — БАБЛО. Когда видят реальность, ворочают нос. И говорят — мне это не нужно. И бегают за розовыми очками.
  0
  - MatrixLis
    10 декабря 2024, 18:00
    LogikoMen, странный ответ в мой адрес.
    0
bohemian rhapsody
09 декабря 2024, 23:55
анализ истории не дает прогнозов на будущее, зря теряете время...

чтобы быстрее это дошло, начинайте торговать минимумом лотов, не забывайте про баланс плеч ;)
0
bohemian rhapsody
09 декабря 2024, 23:54
Если на бэктестинге фигня, то и в боевом режиме скорее всего будет фигня = фигня

У вас что с логикой? Вы как без нее собираетесь торговать?
0
bohemian rhapsody
09 декабря 2024, 23:52
где, какие у вас торговые роботы??? для анализа пары они не нужны совсем, достаточно екселя
0