Начинающий алготрейдер - Мысль о бэктестинге

09 декабря 2024, 17:20
|
IgorK

В комментариях к своим предыдущим постам увидел довольно много скептических мыслей насчет бэктестинга (тестирования на исторических данных), в духе «на бэктестинге всегда всё хорошо, а в боевом режиме слив».

Я, конечно, на 100% согласен, что
Если на бэктестинге хорошие результаты, то это еще ничего не гарантирует в боевом режиме.

Но ведь основная крутость бэктестинга не в этом, а в том, что
Если на бэктестинге фигня, то и в боевом режиме скорее всего будет фигня.

Это позволяет отсекать плохие идеи, которые интуитивно кажутся перспективными.

спецраздел:
торговые роботы

4К

22 комментария

Но ведь основная крутость бэктестинга не в этом, а в том, чтоЕсли на бэктестинге фигня, то и в боевом режиме скорее всего будет фигня

все правильно. Бэк только показывает насколько создатель туп))) или не туп — все!

Head of Algonaft'$

09 декабря 2024, 17:26
Ответить

Подсказка.
Тестируй с нулевой комиссией стратегию и её антистратегию (все сделки противоположны в тех же местах).
Если минуса и там, и там — в ведро стратегию.
Если в какой-то есть существенные плюса, большие суммы комиссий за те же сделки, то разберись в причине этого явления.

svgr

09 декабря 2024, 18:01
Ответить

Не так-то просто поймать все явные и неявные ошибки при бэктестинге. Верно учесть издержки, например. Оценить долю подгонки в симпатичном результате. Ложную уверенность в том, что в бэктестинге были просчитаны все те фазы рынка, с которыми придется встретиться, все возможные черные лебеди. И так далее.

SergeyJu

09 декабря 2024, 18:18
Ответить

тема гуд… надо будет написать как нибудь про чтоние эквитей и бектестинг

ves2010

09 декабря 2024, 18:46
Ответить

Мне кажется что в былые времена по движению волн в порту можно было сказать куда проплыл парусник и предположить куда дует ветер. Попробуйте это сделать по волнам в современном порту. Или например по направлению струй из сопла ракеты предсказать куда она полетит.

Биржевой Спекулянт Инвестор

09 декабря 2024, 19:29
Ответить

Работай дальше. Твоя задача создать более 10 работающих алгоритмов. Это позволит тебе зарабатывать. Это лучше, чем наугад нажимать на кнопку. Как тут большинство лудоманов и поступают.
По мере создания и тестирования поймешь многие постулаты. К примеру, как разоряют трейдера плечи. Т.е. не в виде философии, а реальных цифр и причин.
Проблема бэктестинга не в том, что он гарантирует или нет тебе заработок. Он не показывает тебе реальность. Потому что реальность тебе покажет форвардное тестирование. А не прогон в оптимизаторе. Проблема работающих роботов еще никем не решена. Т.е. с этой проблемой все живут сами по себе. Если кто и имеет решение, он его закрысил.
Кое какие элементы я раскрывал в теме своей, в комментариях. Она об создании стратегии, которая не зарабатывает, а подстраивается под график. Для того что бы иметь ориентир. Чего то объектиного большего у меня нет.
smart-lab.ru/blog/500491.php

LogikoMen

09 декабря 2024, 20:17
Ответить

Да есть трейдерские решения отличить работающую стратегию. 1) Тестирование на максимальной истории. 2) Анализ доходности по 3д картинке — поиск равнин, избегания впадин.

LogikoMen

09 декабря 2024, 20:35
Ответить

LogikoMen, спасибо, хорошие замечания. В той книжке, что я читал, предлагалось строить не 3D картинку, а heatmap (двумерную картинку с цветом вместо третьего измерения), но смысл в том же: доходность (или другая оптимизируемая функция, Шарп например) должна выглядеть плюс-минус непрерывной. Если там какие-то дикие скачки и разрывы, то скорее всего это переподгонка, и нужно такое выкидывать в мусорку.

IgorK

10 декабря 2024, 00:45
Ответить

Igor K, смотри на значения, что ты видишь — как на рабочий диапазон. Т.е. сама модель может в себе содержать совершенно две разные стратегии, к примеру. Но этого ты не увидишь по одной цифре — лучшая доходность. Как раз самая лучшая доходность ничто иное как случайность, и не повторяется. А выше средние значения стабильны. Даже для одного поля значений.

LogikoMen

10 декабря 2024, 09:54
Ответить

Igor K, слово пере подгонка — плохое слово. Оно результат лудоманской глупости. Что бы ты понимал — есть закономерность, есть случайность. Случайность — это вращение вокруг нуля. Но с издержками будет минус в любом случае, как не переворачивай стратегию. А вот закономерность — это отклонение от вращения стратегии в некотором диапазоне параметров. Но даже в этом диапазоне проявляются случайные элементы. Которые забрать как доходность тоже можно при везении. Рассчитывать на них нельзя. Вращение видно хорошо — это и есть холмы на 3д, или значительные отклонения. Но даже для хорошей стратегии все равно случайность проявляется. От нее ты никогда не избавишься. И это не пере подгонка как какое то зло. А ничто иное как везение в реальной жизни. Где то везет, где то нет.

LogikoMen

10 декабря 2024, 11:00
Ответить

LogikoMen, Где то везет, где то нет.

Вы чему людей учите? В лотерею?

MatrixLis

10 декабря 2024, 13:23
Ответить

MatrixLis, я объясняю отклонения, что вы видите в доходности роботизированной стратегии. Что бы не было лотереи — загружайте диапазон по стратегии. И даже в этом случае еще нужны методы по усреднению — использование несколько стратегий. Использования не связанных рынков. И другое. А не зная этого — вы играете в казино. Но при этом называете это работой, инвестированием, бизнесом и т.д. Т.е купили лотерею, но при этом врете себе самому не понимая этого

LogikoMen

10 декабря 2024, 17:51
Ответить

LogikoMen, мне ваши объяснения не нужны. Объясняйте автору топика

MatrixLis

10 декабря 2024, 18:02
Ответить

MatrixLis, дайте свои

LogikoMen

10 декабря 2024, 18:09
Ответить

Есть нормальное решение. Сейчас коэф =10. Если, например по тестам выходит 170% в месяц, то в реале будет 17% в месяц

MatrixLis

09 декабря 2024, 21:02
Ответить

MatrixLis, в реале будет то, что есть в тестах. А у вас в голове тоже самое, что у большинства — розовые очки. Нашел крутой алгоритм подстройки к графику и жду от него того. Что вероятность 1 на миллион. Это тема самая важная, но мало кому интересная. Все хотят кнопку — БАБЛО. Когда видят реальность, ворочают нос. И говорят — мне это не нужно. И бегают за розовыми очками.

LogikoMen