<HELP> for explanation

Блог им. bocha

о тестировании систем для начинающих

Все, кому доволидось создавать систему (робота), сталкивались с проблемой тестирования.
Для того на проторах инета есть целая условно бесплатная куча вспомогательных программ, начиная от мастодонта-Метастока и заканчивая популярным нынче WLD
Ппри всем богатстве выбора, делают они (тестеры) примерно одно и то же — помогают наилучшим образом подобрать настроечные коэффициенты, которые в явном или неявном видет всегда присутствую в любом алгормтме (системе). 
Хорошо подогнанные параметры позволяют приветсти нашу «теоретическую» эквити во вполне пристойный вид.
Следует ли рассчитывать, что полученный таким образом алгоритм начнет приносить абсолютно такую же прибыль, как на «причесанной» (in sample )тестовой кривой?
Искушенная часть публики достоверно знает, что нет, не следует. Алгоритм, если и будет работать вообще в реале, то как минимум вдвое-втрое хуже, нежели его (in sample) — родоначальник. При этом существует высокая вероятность, что работать в реале данный алгоритм не будет вовсе.  Как проверить?
1. Запустить в торговлю одним контрактом на полгодика и за счет потери небольших денег убедиться в реальных цифрах заработка/просадки
2. Еще на этапе тестирования произвести тест под назнанием «Walk-Forward»
Ежели кому по прежнему интересно, то по своему опыту очень и очень рекомендую второй путь.
Большинство тестеров дают такую возможность — грех ей не воспользоваться в целях экономии своих будущих финансов
И последнее, на что мне хотелось бы обратить внимание читателей:  «out-of-samole» кусок рынка НИКОГДА не может быть выбран слева от протестированного куска. НИКОГДА. Только и только справа. Это важно и концептуально. Почему — догадайтесь сами :)
3. Гарантируют ли хорошие результаты «out of sample» стабильную работу алгоритма в реале?
Нет!!! Тоже не гарантируют, просто поверьте моему опыту.
Не гарантируют. Но существенно повышают вероятность прибыльной работы алгоритма. Достоверно  известно, что если вы произведете вышеописанную процедуру со всеми своими двумя-тремя сотнями роботов, то половина алгоритмв (иногда две трети) выбросится на помойку, зато оставшиеся статистически будут работать лучше и дольше
Как-то так, если совсем коротенько :)

 

Когда Бог хочет поиздеваться над трейдером, он делает его ещё и программистом)))Имхо.
Владимир Спицын, на вол стрит сидят бедняги, и не знают, что их мучает Бог. То ли дело светлоликие на смарт лабе. Все как один на ферарри :-)
Евгений, разумеется там сидят бедняги, потому как они на работе, а у нас любимое хобби…и то, что Вас автоматически в поклоне сгибает перед ними — ваша беда, а не наша)))
Владимир Спицын, если человек как хобби занимается каким-то делом, то его нельзя именовать профессией. Вы не трейдер. Вы врач (к примеру, ваша профессия), который пробует заработать на бирже.
Евгений, разумеется — я ЛЮБИТЕЛЬ, а профессионал с профаном вабще слова однокоренные )))
Владимир Спицын, я думал вы по делу. А в по троллить. Не, так не интересно. Слишком толсто :-)
Евгений, ))) я ж не алго, которому всегда есть чё делать — вот дурью и маемся, пока там оно само торгует…
Владимир Спицын, под столом, самый большой прикол — что ЭТО ТАК
Запустить в торговлю одним контрактом на полгодика и за счет потери небольших денег убедиться в реальных цифрах заработка/просадки, а вот вопрос: не изменится ли стиль торговли так, что через пол-года пойдёт просадка?
avatar

2153sved

В жизни может случиться все. Может измениться стиль торговли, цвет волос (их наличие), внешность, гендерные предпочтения…
Однако изначально подразумевался запуск в реал если не в виде робота, то как минимум четкое следование сигналам именно исследуемой системы.
В остальном — воля Ваша, меняйтесь на здоровье
avatar

bocha

Ответ для тезки-Владимира:
Богу. как мне кажется, нет дела до нашх знаний-умений, равно как и до стиля-резульатов нашей торговли. Кто он и кто мы? :)
Умение же программировать — одна из составляющих профессии трейдера. Это в среднем, бывают исключения, кто спорит. Вот только исключения бывают в обе стороны. Не удержусь, даже примерчики приведу
akademik.livejournal.com/
vovam.livejournal.com/31865.html
avatar

bocha

bocha, просто ирония… и сочувствие одновременно — алгонадежды
всего лишь новый виток человеческих надежд найти философский камень… на бирже(((
«И последнее, на что мне хотелось бы обратить внимание читателей: «out-of-samole» кусок рынка НИКОГДА не может быть выбран слева от протестированного куска. НИКОГДА. Только и только справа. Это важно и концептуально. Почему — догадайтесь сами»
Объясните плиз дураку. Почему так?
avatar

Casper

Тунеядец,
Коли Вы задумались — уже не «дурак»
Ну а почему именно… конда-нибудь я напишу на эту тему отдельный пост. Длинный (пугаю) без математики (совращаю)
Ну в общем, обыкновенный отдельный длинный пост. Тема того заслуживает, ибо даже «гуру» алготрейдинга делают на этом поприще ошибки
avatar

bocha

ru.wikipedia.org/wiki/%D0%9F%D0%BE%D1%80%D0%BE%D0%B6%D0%B4%D0%B0%D1%8E%D1%89%D0%B5%D0%B5_%D0%BC%D0%BD%D0%BE%D0%B6%D0%B5%D1%81%D1%82%D0%B2%D0%BE_%D0%B3%D1%80%D1%83%D0%BF%D0%BF%D1%8B
ну можно, можно, чего уж говорить
именно для некоторых систем так и приходится делать
Но вы серьезно считаете, что сие сохраняет статус №для начинающих№?
avatar

bocha

bocha,
Что не так? Ссылка было на нусском языке, статья на русском
Начинающий трейдер — это основа для продолжающих.
Читать вышеупомянутую ссылку необязательно, поначалу она только вредит. Но знать, что придется и такое читать… почему бы не знать сие с самого начала трейдинга…
avatar

bocha

bocha, подписались почитать и ЖЖ в закладки — интересно повникать в сами идейки… кроме темы тупых «железных парней»
Парни и девушки!
Мы вступили в войну с не менее умным ребятами
Война не на убийство, войнушечка простенькая, только за деньги.
Читийте, читайте и читайте, что вам коллеги подкидывают
Без этого Вас не убъют, нечего бояться. Но деньги потеряете
И начнете все заново…
Дык, отчего бы не прочитать сегодня :)
avatar

bocha

Почему out-of-sample не может быть слева? Если, скажем, интрадей, чем сентябрь хуже октября, который in sample?
"… И последнее, на что мне хотелось бы обратить внимание читателей: «out-of-samole» кусок рынка НИКОГДА не может быть выбран слева от протестированного куска. НИКОГДА. Только и только справа. Это важно и концептуально. Почему — догадайтесь сами :)..."
ДАННОЕ УТВЕРЖДЕНИЕ ОШИБОЧНО!!!
— тестирование проводится только ради того чтобы не залететь в переоптимизацию. Проверить переоптимизированы ли параметры системы ( не насадили ли Вы её на пик Джомолунгмы) можно на любом участке вне участка настройки. Поэтому:
— оптимизация на последних данных более эффективна, т.к. дает менее запаздывающие параметы системы. Допустим невозможное,- пусть нам известны «идеальные» параметры системы и они меняются гладко. Реально мы вычисляем эти параметры с запаздыванием (это очевидно, т.к. на участке настройки они лучшие). Вы предлагаете брать эти параметры с еще большим запаздыванием.
— оптимизация параметров системы — это один из способов настройки. Не самый лучший. Мне кажется правильным проводить поиск робастных параметров. В некоторых классах систем (рекомендуемых начинающим :-)) система становится робастной не только по параметрам, но и по отношению к цене.
avatar

MadMan


Только зарегистрированные и авторизованные пользователи могут оставлять комментарии.

Залогиниться

Зарегистрироваться
....все тэги
Регистрация
UP