dr-mart

Разговоры о трейдинге №19. Критерии оценки системы

Допустим, вы по очереди тестируете две системы на одном инструменте. Получили два результата – две положительных теоретических кривых вашего депозита.  
Как оценить какой результат лучше?
Какую из систем запустить в работу?
★9
75 комментариев
обе :-)
avatar
Атрейдес, логично. Диверсификацию ещё никто не отменял. Если возник вопрос — какую запускать, то значит надо запускать обе. Выделив лимиты пропорционально их эффективности.
Атрейдес, не одной, все равно обе сольют на длительном интервале. Пусть сделает как умеет, продаст ее на около рынке. Волатильность.
avatar
Начало как в загадке про 2 стула)
Наверное та по которой волатильность ниже
avatar
профит фактор, максимальная просадка и рекавери, а также визуальный анализ графика эквити (плавность, угол наклона).
проще не выбирать что то одно. Если зарабатывают обе системы проще их обе и запускать.
avatar
Если оба теста норм имхо стоит запускать обе, особенно, если одна тренд другая конттренд. Общая эквити будет плавнее…
avatar
Конечно обе, а время покажет!
avatar
шарп?
корреляция?
Лучше тот где просадок меньше
avatar
Или выложить описание обеих систем, а мы уже подскажем, что лучше))))
avatar
ту на которй просадке меньше
avatar
Вопрос не какую запустить, а когда останавливать запущенную.
Интересно мнение ves2010
avatar
Систему Муханчикова
avatar
Какой результат лучше? — Где лучшее соотношение Риск / Доходность (через заемное плечо можно привести к нужной доходности или риску).
Какую запустить? — Где время восстановления меньше (психология).
Ну и соглашусь, что если системы раскоррелированы между собой, то запускать обе
Дмитрий ЕрМак, про психологию верно. Не стоит запускать систему, которая на длительном отрезке времени в просадке либо топчется на месте. Хотя если все протестировано на 5-7 годах, система зарабатывает хотя бы по итогам года каждый год и есть такие участки боковика в эквити, то если терпеливость позволяет, можно и запустить. Но надо быть либо оптимистом либо пох… стом чтобы торговать такие системы.)) Нервы не у всех железные.)
avatar
vladkot, да, согласен, если было бы терпение… Но известно, что человек хочет всего и сразу. Поэтому терпеть систему, которая не приносит прибыли целый месяц — трудно. Выход: либо мельчить (переходить на мелкие ТФ), либо брать группу стратегий.
Писалось же об этом у Винса, в трейдинге давно уже все разжевано, причем опираясь на математические выводы, а не коллективное мнение нескольких трейдеров.
avatar
evgen000, чукча — не читатель, чукча — ПИСАТЕЛЬ! :-)
Если доходность примерно одинаковая, то выбрать ту у которой просадка меньше и меньшее количество сделок(для уменьшения потерь на проскальзывании)
Вам бы, Тимофей, читать книжки, а не свои писать...
Та система счиатется лучшей, у которой выше HPR (геометрическое ожидание выигрыша), читайте Ральфа Винса «Математика управления капиталом»
Финансовый трутень, Верно!!! Вот видно что человек черпает инфу с нужных источников, Винс давно уже обо всем написал. Не надо тут велосипед изобретать.
avatar
Финансовый трутень, для тебя будет сюрпризом, но именно сегодня утром я в третий раз перечитывал Ральфа Винса как раз, и про HPR.
Тимофей Мартынов, ну что-нибудь понял там наконец? :-)
судя по этому топику — нет :-)
одну запустить, вторую продать смарлабовцам
avatar
1.Никак не определить какая БУДЕТ лучше С ПРАВОЙ стороны графика… кроме реальной торговли)))
2.Никак не выбрать — нет однозначных критериев — процесс вероятностный.
Интересная методика написания книги ))
avatar
evgen000, ваще жесть :-)
Как это делаю я...

1-Если Профит-фактор меньше 1,4-1,5 — систему в отстойник)) Сразу без разбора причин..

2-Если средняя сделка меньше 100 пунктов по РТС, то тоже — сразу в отстойник..

3-Сравниваем показатель самых худших 12 мес. (года) с просадкой за весь период тестирования… Если в самый худший год мы заработали 20%, а просадка 30% — то это не очень гуд..

4-Берем самую худшую доходность за 3 года и сравниваем с макс. просадкой за весь период тестирования… Если соотношение меньше 1 к 10 (доходность за 3 года — 100%, просадка -10%) то система — не очень...

5-Проводим манипуляции с плечами для подбора оптимального соотношения доходности и риска… Тут много вариантов… И Ральф Винс — не особо ОГОНЬ)))

6-Если есть переносы в ночь — надо смотреть каждый гэп и цену исполнения сделки..

7-Очень важен не сам размер просадки, а время сидения в просадке… Лучше просадка — 30% — и она будет длится 2 мес., чем просадка 10% с длительностью 12 мес. — ну это при одинаковых показателях доходность / риск.



Да много чего можно написать)))
Свиридов Максим Trader-journal, наверное ты сегодня в изрядном плюсе, Максим. Улыбаешься широко. А меня попилило нынче. :-(
Вестников, нее… я сегодня ливанул опять)))
Свиридов Максим Trader-journal, ну тогда я тоже могу улыбнуться. Хоть и грустно. Вот так. |
Вестников, да норм))) надо дождаться опять месяца, когда перевернётся и на нашей улице Камаз с плюшками… Главное, много не слить до этого момента…
Свиридов Максим Trader-journal, круто!
обе.
В объем распределить по максимальной просадке.
макспросадка1*объем1=макспросадка2*объем2
avatar
две положительных теоретических кривых вашего депозита.


Спасибо, посмеялся.
Никаких теоретических кривых, косых и прямых у депозита нет =)

Историческое тестирование помогает только в одном направлении — отсеить полный шлак (заведомо сливные идеи).

Выбирать параметры ТС на основе исторических, якобы, «профитных» тестов — это всё равно что ожидать после нескольких орлов подряд следующего орла или решку ТОЛЬКО на основании факта «ну было же несколько подряд!».
Иными словами, сам вопрос некорректен.
Reshpekt Fund Russia, ну мы ж не скальперы…
Не должно быть длительных боковиков у системы, как уже упоминали выше
avatar
1. Чем больше сделок тем лучше. Система с количесвом сделок меньше 1000 скорее всего подгонка.
2. Тестируй систему на других инструментах.
3. Оптимизируй ситему на одном участке, тестируй на другом.
4. Торгуй несколько систем.
avatar
EAGor, можно так оптимизировать, что и с 1000 сделок система будет подгонкой. минимальное кол-во параметров системы — гарантия честности системы
Финансовый трутень, да оптимизируемых параметров должно быть минимум. Вся оптимизация и подгонка выплывает, когда систему тестируешь на других акциях. Я беру для теста акции из MICEX10.
avatar
EAGor, а учитываешь выплаты дивидендов по тестируемой акции? ведь после отсечки акция резко просаживается в цене
Финансовый трутень, да.
avatar
EAGor, а какую закладываешь ставку дисконтирования для дивов?
Финансовый трутень, определяю по фьючерсам.
avatar
EAGor, сечешь тему. а тестируешь системы в чем?
Финансовый трутень, от инструмента тестировани результат не меняется. Тесты пишу сам.
avatar
EAGor, это понятно, но интересно на чем люди свои идеи обсчитывают, я вот, как лох, на excel'е… :-)
Если обе системы рабочие — запускать обе. Почему нет?
Распределять лимиты исходя из волатильности эквити. Не той, что получилась на истории. А эквити реальной торговли тестовым лимитом.

Ну и количество сделок в бектесте должно быть 1000+ если система с 2мя параметрами, если параметров больше 2х, то стоит задуматься о подгонке под историю. Если параметров нет вообще, то можно и 300 сделок взять. Но комфортно ли будет такое торговать?

Чем больше сделок и систем, тем стабильней суммарная эквити.
avatar
где кривая с меньшим количеством рывков.
avatar
Щас вес придёт и скажет, что надо выбрать ту, которая на двух EMA, т.к. больше ничё не работает.
tim, 2 ема сложно очень… торгую ботом на 1ой SMA очень доволен…
avatar
ves2010,

ты помнишь, у Стругацких была такая книжка «Далёкая радуга». Там был мужик, который ходил всё время в каске. По-моему, его Камилл звали?
ves2010, ипользуй медиану результат лучше!
avatar
надо конкретно смотреть… и конкретно обсуждать…
1 эквити это дело десятое… например один бот может торговать охульеном а второй тока мильоном… либо у одного 1 параметр оптимизации а у другого 3...
один торгует только сбер а второй торгует все подряд… у одного поле оптимизации 100% профитное а у вторго поле оптимизации на 80% убыточно...
2 если это одинаковое то смотрим доходность, среднюю сделку и дродаун, но не от хаев эквити а от начальной суммы
3 если дохи, средняя и дродаун приммерно равны, то нужно найти непрерывный интервал стабильности параметров оптимизации на котором доход изменяется в пределах от 100% до 50% тот у кого этот диапазон ширее тот и лучше…

ну это вкратце…
avatar
ves2010, ты ваще кросавчег
ves2010, почему надо смотреть среднюю сделку?
Тимофей Мартынов, тестить надо без комиссов и без проскальзываний… чтоб увидеть резалт тестов без искажений… комиссы и проскальзывания вычитаешь из средней сделки… для акций средняя сделка от 0.18% в фьючах от 0.1% в си от 0.05%
avatar
ves2010, пздц как всё сложно и субъективно! без комиссий и искажений… идеалист ёпта))) безабид! не учитывайте рыночных реалий кроме цены! для демо пойдет! тут мля наоборот отматываешь чарт к 1000м годам до нашей эрыя, усредняешь свою прибыль, считаешь комису и стопы по полной, а тут оказывается накуй это надо когда можно мечтать об идеальном!
avatar
ves2010, знаешь, твой блог наверное самый трейдерский из всех на этом ресурсе!
ves2010, если система с реинвестированием, то с точки зрения концепции геометрического роста системы тестировать без учета комиссионных неверно

 
Тима, два тебе за не знание !:)
avatar
Один из самых простых способов, это применить метод Монте-Карло.
avatar
Тимофей, пора бы и самому что-нибудь рассказать. С высоты написанного:)
avatar
возможно «ulcer index» подойдёт
avatar
Один состоятельный господин всю свою жизнь всё делал по системе. Вот и жениться он решил тоже по системе.
Шёл длительный и нудный отбор.
В финал на должность жены вышли три девушки.
Каждой из них завидный жених выдал крупную сумму денег в качестве приза.
Через месяц девушки ответили ему примерно так:

— Любимый, я сделала всё, чтобы великолепно выглядеть. Потратила все деньги, чтобы рядом с тобой была самая роскошная девушка, ты достоин самой лучшей! Пусть весь мир завидует такой прекрасной паре как мы!

— Любимый, я купила тебе самый лучший подарок, который только можно было купить на все деньги. Я знаю, что тебе понравится, это то о чём ты мечтал. Твоя мама мне рассказала...

— Любимый, все деньги я вложила в акции твоей компании со вторым плечом, когда увидела как ты ведёшь дела. Это была отличная инвестиция. Скоро я смогу вернуть тебе начальную сумму с процентами и у меня ещё останется значительный пакет наших акций!

Господин долго думал… И знаете на ком он женился?
Fry (Антон), у кого самые большие титьки :-))
avatar
Выяснить что не так, отчего они зарабатывают на тестах. Вероятнее всего смотрят в будущее.
Смотри на просадки по системам, высчет сложного процента и если устраивают обе, на субсчет 2ю.
avatar
вот ты херней страдаешь! усложняешь звездец как! так и будешь бабло сливать какой рынок тебе не дай! вот увидишь. запомни, пускай я пока неизвестен что бы давать советы таким как ты!!! но млять система для прибыльной торговли для всех реальных трейдеров одна или хотя бы примерно одинакова тк строится на базовых приницпах! вообще накуй бери найс и CME не лезь на россию накуй тебе эти рубли делай доллары! торгуй от уровней с узким стопом а не ищи свое не найдешь! в сети есть вся доступная инфа что бы построить мало мальски прибыльную систему! да и интуитивно можно мля самому догадаться!!! проблема слабачков которые не могут заработать в том что они ска либо не могут в кучу собраться все никак! либо пытаются заниматься 20 тысячами систем одновременно и еще бизнесом и свой сайт вести! никогда бы я долго не парился с тупыми тестами этих систем роботов и тд я бы доверил это тем у кого это хорошо получается а сам делаю что умею и не пытаюсь жадным способом заработать на рынке как то еще — прям ВСЁ И СРАЗУ! делает деньги тот кто сводит трейдинг к простоте, это еще АМ сказал который зарабатывает больше всех вас вместе взятых
avatar
Sharpe Ratio надо смотреть. У какой системы выше, та значит БЫЛА лучше)))
avatar

теги блога Тимофей Мартынов

....все тэги



UPDONW
Новый дизайн