Блог им. Foudroyant

Проверка на истории как самообман

В алготрейдинге считается почти общим правилом, что нужно проверять все создаваемые ТС на истории. Но иногда возникает подозрение, что в этих проверках на истории есть существенная доля самообмана.

Какие ловушки могут поджидать нас на этом пути:

1. Нарушение самой методологии проверки на истории (по незнанию или из-за собственных предпочтений, ошибочность которых неочевидна). Это относительно легко устранимая ошибка.

2. Нарушение методологии проверки отдельной стратегии (не учитываем её особенности). А вот эту ошибку устранить уже на порядок сложнее.

3. Незнание неких особенностей работы рыночной инфраструктуры, которые могут повлиять на различия в работе исследуемой ТС сейчас и в прошлом.  

Например, известны многие случаи, когда ТС работает на истории, а на настоящих торгах уже не работает. Все такие случаи связаны с вышеперечисленными 3 причинами. И из этого же следует, что среди проверенных на прошлых данных и отброшенных как неработающие ТС скорее всего было множество производительных, но их не разглядели и выбросили (такие и у Вас есть; да, да, не удивляйтесь, а лучше переберите заново то, что когда-то выбросили и поглядите на это свежим взглядом).

Таким образом, проверка на истории не защищает нас ни от никчёмности проверенных и одобренных, ни от полезности проверенных и отброшенных ТС. 

Какой же путь разработки стратегий следует признать наиболее эффективным?

Предположу, что это разработка, опирающаяся на неоспоримые аксиомы (условно назовём их «общие законы»).

Примеры подобных аксиом (перечислю только некоторые, чтобы было понятно, о чём речь): 

1. Целое больше части, часть меньше целого (хотите проверять это утверждение?)

2. Динамический процесс не может всё время иметь одно числовое значение (а это хотите проверить или верим на слово?)

3. ...

... 

14. Всё в мире взаимосвязано, просто связь может быть неочевидной (а это?)

...

Как видим, знание небольшого количества законов заменяет нам знание огромного количества фактов. 

Основывая свои ТС на любом из таких общих законов, Вы избавляете себя от необходимости проверять их на истории.

Опираясь на такой подход, можно получать не проверявшиеся на истории стратегии, качество работы которых на настоящих торгах будет лучше, чем у проверенных. И проверять их на прошлых данных будет не нужно — и отсутствие такой необходимости можно строго доказать (общие законы работают всегда и везде — значит, и основанные на них ТС будут работать всегда и везде). Тем самым будет полностью исключён специфический риск «ошибки при проверке» (ошибки следствия). 

★2
40 комментариев
То, что работало в прошлом, возможно, будет работать и в будущем, но то что не работало в прошлом, вероятно не будет работать и в будущем.
Вестников (Витковский), а оно точно не работало? Или, может, следователь что-то упустил?
avatar
На истории нужно ужесточать правила.
Вся «фишка» в том, что рынок никогда не меняется в целом, меняется ликвидность и волатильность. Например, рынок это 4. Вчера 4 было 2+2, а сегодня 4 это 1+3. Поэтому на рынке нужно использовать одно и тоже, системы должны быть универсальны, но адаптивны, т.е. подстраиваться под волатильность рынка.
Павел Град, берём некий принцип-аксиому. И выстраиваем стратегию, которая основана полностью на этом принципе. И проверять такое уже не надо — оно будет вечно работать, как вечно работает исходная аксиома.
avatar
Foudroyant, Я согласен, т.к. сам это написал), но всё таки проверять надо)
Опираясь на такой подход, можно получать не проверяемые на истории стратегии, качество работы которых на настоящих торгах будет лучше, чем у проверенных

разрыв мозга.чувствую что вы меня обманываете, а где не пойму. сейчас всем трудно: трудно врать, трудно верить…
avatar
Tуземец, 
видимо, смысл поста «результат в прошлом не может быть конечным доказательством результата сейчас и далее»
Олайвир Стокс, и это тоже. 
avatar
Tуземец, ахахаха. Но это не обман, а правда.
avatar
Сергей Сергаев, у Вас, как всегда, очень глубокие замечания, есть над чем подумать.
avatar
Как доказательство работоспособности тестирование на истории обязательно. Так и при проектировании, у нас есть единственная возможность — использование истории. Других нет.
Безусловно, тестирование на истории не является прямым доказательством работоспособности в будущем. Здесь многое зависит от методов проектирования и самого тестирования.
avatar

3Qu, «при проектировании, у нас есть единственная возможность — использование истории. Других нет» — вот это не совсем понял. Могли бы раскрыть мысль?

 

Допустим, про статистические закономерности вида «Если Сбербанк идёт вверх, то Аэрофлот вниз» можно так сказать — ведь они обнаруживаются путём перебора.

 

Но есть ведь и иные виды ТС, для которых такой перебор неприменим.

avatar
Foudroyant, чтобы обнаружить какие либо статистически значимые закономерности в ВР, нужна его история на некотором интервале. Из воздуха это не возьмёшь.)
avatar
3Qu, с этим я, конечно же, согласен. Но ведь не все ТС строятся на статистике.
avatar
Foudroyant, все. Просто наблюдение за ценой уже сбор статистики.
avatar
3Qu, глубоко копнули. Обдумаю.
avatar
3Qu, 
я смотрел за ценой.
минуту.день.месяц.
потом смотрел историю. весь график. насколько возможно.
понял что это не совсем правильно.
надо смотреть несколько графиков на всей истории.(синхронизировав их) и даже этого будет недостаточно.
товарищ масон, обычно работаю на одном инструменте, другие вообще не смотрю. Вполне достаточно.
При переходе на другой инструмент нужен хотя бы один день, чтобы присмотреться.
avatar
3Qu, 
я тормоз. мне одного дня мало.
но я и не хожу на 1% от депо.
3Qu, на каком? Ри? Фьючерс или опцион?
avatar
Foudroyant, последнее время только фьючерсы (у брокера опционов сейчас вообще нет, прикрыл пару лет назад). 
Завел другого брокера УралСиб, опять начну опционами торговать, только восстановлю свой старый софт.
avatar
товарищ масон, какие несколько графиков?
avatar
Foudroyant, 
в данный момент -
жижа.
моекс.
втб.
сбер.
сижу в сбере.
иногда в втб
товарищ масон, а синхронизировать их для чего? Чтобы уивдеть участки сонаправленнного движения?
avatar
Foudroyant, 
угу.
а также видеть корреляцию 
Протестировать можно и даже нужно, но... 
1.В реале вы будите создавать N ликвидность на рынке и рынок уже будет пусть чуток, но по другому работать.
2.Хорошие ожидания приходят из вне, а чтоб протестировать то что вне рынка находится, нужно ИИ подключать.
3.Нужно иметь хорошую, а точнее реальную базу котировок, а не с финама качать)))

avatar
Название статьи — 5 балов. Содержание — лучше не читал бы. Хорошо знаете физику. Ничего не знаете про рынок. 
avatar
LogikoMen, то есть Вы согласны с тем, что проверка на истории не нужна, но не согласны с обоснованием?
avatar
Foudroyant, я этим занимаюсь профессионально. В посте нет ни одного примера, как и решения. Поэтому сужу - что ничего не понимаете в этом вопросе.
Проверка на истории — что это, для начала? Если идет об форвардной проверке, как может она быть не важна? Если идет об оптимизации стратегий — то там есть не мало проблем и нюансов. Про которые насколько понимаю, вы не знаете. Но они все решаемы и на все можно дать ответ.
avatar

LogikoMen, 

1. Примеры и решения намеренно не стал приводить, потому что их у меня не так много, и все они в работе, то есть оглашаться не могут.

2. Что такое «форвардная проверка»? Скорее всего я знаю её под каким-то другим названием. Опишите, чтобы я мог по смыслу сопоставить это описание с известными мне процедурами.

3. Про оптимизацию на истории я знаю, что все, кто её применяет, часто сталкивается с тем, что в настоящих торгах созданные в тестере стратегии перестают работать.

Хотя, казалось бы, эти алготрейдеры тоже знают, что и как надо там делать и что учитывать. Но всегда есть какие-то тонкости, выявить которые очень сложно. А пока мы их даже не выявили — решение не подобрать. 

Иногда система сбоит, разработчик думает, что причины у этого — А, Б, а на самом деле там причина В, о которой он и не догадывается. 

avatar
Foudroyant, есть понятие форвардный анализ. Т.е условно история делится на анализируемую и условное будущее. Где идет проверка. Есть определенная модель оптимизации стратегий, описанная в книге. Но можно принцип использовать по разному.
Вы знаете. Что существуют стратегии. Которые хорошо подстраиваются под историю. Но не умеющие зарабатывать. Больше ничего вы не знаете. Все — это 95% людей. Которые не могут зарабатывать. Собственно, что они создают — стратегию самообман или для продажи лохам. Когда я написал статью про это — никто меня не понял. Кто то спросил как проводить оптимизацию. Не более. Никого не интересуют вопрос — умеет ли стратегия зарабатывать. Их интересуют деньги. Которые они видят в оптимизаторе. Вас, насколько я понял. И это даже не интересует. Для чего вопросы?
avatar

LogikoMen, 

1. Что такое форвардный анализ, примерно понял. Насколько понимаю, ошибка организации тестирования и в него может закрасться. 

Но дело даже не в этом, а том, что некоторые ТС работают и без проверки, в том числе и без форвардной. 

2. Подписался на Вас, почитаю. 

3. Меня интересует именно умеет ли ТС зарабатывать. Просто я все свои стратегии создавал без оптимизации на истории и форвардного анализа — именно за счёт заглядывания в суть той закономерности, на которой они работали.

Чтобы знать, что в ряду А … Я буква А — это не буква Б, не нужно проводить анализ, всё на поверхности. Вот за счёт этой простоты можно делать ТС, не нуждающиеся в проверке.


Правда, меня немного смутил вот этот комментарий: 

smart-lab.ru/blog/619710.php#comment11158745

Потому что наблюдение мной всё же применялось. Хотя наблюдение не равно бэктест.

avatar
Foudroyant, я не пишу сложных статей и не делюсь информацией. Прежде всего потому. Что это никому не нужно. Стратегии никому не даю. Про что писал вам smart-lab.ru/blog/500491.php#comments
С того момента я все больше узнаю об рынке. 
Вы оцениваете некую закономерность на короткой истории. А зарабатываете на этом я не знаю. Я знаю, что есть положительные отклонения. Которые непрерывно существуют. И могут существовать в теории бесконечно. Это обычно люди называют везением. На такой волне я видел не мало трейдеров. Там нет стратегий. Есть логика мышления  и период времени. При котором ему просто прет. Бесконечно везучих пока не видел. Обычно 2 года максимум.
avatar
LogikoMen, ну вот и поглядим, долго ли проработают мои ТС, созданные по данной идеологии.
avatar
Основывая свои ТС на любом из таких общих законов, Вы избавляете себя от необходимости проверять их на истории.
Готовы ответить своим депозитом?
Дмитрий Овчинников, уже отвечаю. Я же не только теоретик. Ни одну свою ТС никогда не проверял на истории. И не буду. И так могу понять, что будет работать, а что нет.
avatar
Foudroyant, 
и это прекрасно! 

теги блога Foudroyant

....все тэги



UPDONW