Ловушки тестирования и оптимизации

Очень интересно узнать, кто какие методы использует для для избежания подгонки (overfitting) системы.

Я лично ничего, кроме форвард тестирования для себя пока не нашёл. Поделитесь, если кто сталкивался и успешно использует подобные методы.

Что можете сказать про алгоритм бустинга AdaBoost?

оптимизация подгонка тестирование торговые алгоритмы

First

Москва

115

с 1 октября 2014

58 Комментариев

Антон Денисков (Fry)
09 февраля 2018, 04:56
правило первое: всё что можно упростить — упрости.

Это значит что:
1) если на тестах нечто более сложное даёт результат лучше, а нечто более простое проигрывает, всё равно выбирай более простое. Оно в жизни будет наоборот =)
2) всё сложное, но без чего нельзя обойтись надо спрятать в «чёрный ящик» оттестить как следует и забыть — пусть там себе работает и на глаза не попадается (никаких внешних параметров).
3) больше чисел во время разработки! Больше всяких распределений и сводных таблиц. А затем выбирается самое сладкое на глазок и всё. Остаётся золото из шлака. Остальное — забыть.

Параметров может быть очень много, но они все должны быть такие, что бы не возможно было ничего оптимизацией испортить =). Пример: куча параметров по временным ограничениям + РМ + 1 ключевой параметр, от которого зависит «чувствительность». 1 раз на глазок подбирается и всё. Больше ничего и не надо.

Причём, пробовал я много раз всякие хитрые подходы с самооптимизацией и внутренней настройкой бота — фигня выходит. Всё что можно упростить — упрости =)
+4
Sergey Pavlov
09 февраля 2018, 08:05
Что вы называете форвардным тестированием?
0
ves2010
09 февраля 2018, 08:48
форвардное тестирование для лохов… сам подумай… последние данные имеют максимальную ценность… а их как раз и выкидываем из оптимизации...
имеет смысл все делать наоборот… ну например оптимизировать за последние лет 5… с 2012-2017гг а затем тестировать на более ранних данных 2007-2012гг

вообще алготрейдинг ничем не отличается от инвестирования… так же выбираем бумажки… и молимся чтоб динамика сохранилась

из этого следуем мораль… которую расписывать не буду… т.к грааль
+10
Friendly Deep Space
09 февраля 2018, 10:18
Чем меньше модификаций цены применяется, чем проще и яснее логика, тем лучше.
+1

Читайте на SMART-LAB:

USD/JPY: Разворот от "красной линии" — готов ли рынок к глубокому падению?

Банк Японии в очередной раз подтвердил значимость психологического уровня 160.00, не пропустив котировки выше этого рубежа. Текущий день закрывается классическим мощным «медвежьим поглощением»,...

Tickmill

20:24

Как получить деньги для личных целей без продажи активов

Иногда деньги нужны здесь и сейчас — но продавать активы не хочется. В таких случаях можно использовать маржинальный вывод: получить средства под обеспечение портфеля и при этом сохранить...