OOS

Несколько лет назад написал простой инструментарий для лучшего понимания фильтра, что использую. Сам фильтр (торговых сигналов) был опубликован с открытым исходным кодом почти пять лет назад.

Теперь любой желающий может попробовать этот инструмент (beta). А ниже просто покажу его удивительные результаты в теме машинного обучения (МО) через одну из версий (8.13) имитации интеллекта (ИИ).

 

Подопытный.

Для статистически значимой проверки требуется много сделок, поэтому с помощью вышеупомянутого ИИ был собран робот с просьбой (к ИИ) ничего не фильтровать и быть постоянно в рынке одной позицией, только ее переворачивая. Грубо говоря, вся история торгов — это чередование Buy/Sell.

 

В итоге в замечательном MT5-тестере с возможностью подключения ONNX-моделей был получен такой результат.

( Читать дальше )

Любой скальпер знает, что круглосуточная торговля — глупость. Есть интервалы, где достигается высокая и стабильная прибыльность, поэтому различными способами находят эти интервалы. Например, при оптимизации всех параметров ТС перебирают еще и возможные временные интервалы (начало/конец).

 

( Читать дальше )

IS – in sample (оно же обучающая выборка), OOS — out of sample (оно же тестовая выборка). Ну или ближе к обычным алго – IS – там, где оптимизируешь стратегию, OOS – данные, которые стратегия ещё не видела.

 

 

Какое соотношение выборок лучше. Просто сейчас накапливаю некоторые данные (которые иным способом не получить), а любопытство оно же такое, что нельзя просто так взять и подождать 3 месяца и только тогда начать с данными работать, поэтому начал работать с данными чуть когда их было ещё совсем мало, потом продолжил когда их было просто мало, продолжил когда стало чуть побольше и т.д., сейчас уже вполне достаточно.

 

Из-за того, что несколько раз к данным подступался при разных объёмах этих самых данных, несколько выпятился наружу вопрос достаточности данных в целом и в частности вопрос соотношения IS/OOS в целом.

 

Когда данных совсем мало – без разницы как делить – не хватит ни чтобы обучить (терминология у меня ML’ная, но, по сути, без разницы, ML или классические алгоритмы) ни чтобы оценить.

( Читать дальше )

Девушка анонсировала нового робота, но забыла сказать, что это псевдо-грааль.

Один из результатов, показывающий, почему это так.

Почему псевдо? -потому что не Моцарт! Так не бывает и где-то должен быть подвох. Но со всем своим опытом мне не удалось его найти.


( Читать дальше )

Боевые торговые советники время от времени перенастраиваются по разным причинам через Тестер на исторических данных.

Однако, результат таких периодических настроек сводится к наблюдению за неизвестным — будущая торговля.

Аргументировать и обосновать целесообразность таких действий в отношении того или иного торгового советника довольно непросто.

Крайне малая часть авторов роботов создают внутренние адаптивные механизмы через автооптимизацию, т.к. это требует серьезной подготовки программиста и не носит универсальный характер. Это всегда сложно, громоздко и индивидуально.

Поэтому говорить об автооптимизации всех торговых роботов не приходилось. Особенно, когда речь заходила о платных чужих роботах с закрытым исходным кодом (Маркет).

Именно так начинается описание бесплатного инструментария Validate с открытым исходным кодом, который легко позволяет через автооптимизацию проверить любой советник на робастность.

( Читать дальше )

Когда-то в паблике столкнулся с мнением, что OOS должен располагаться только справа. Т.е. расположение его слева от интервала Оптимизации — ошибка. Я с этим был категорически не согласен, т.к. не видел разницы. Теперь вижу. Ошибался, был не прав.

( Читать дальше )

Про Out-Of-Sample скорее всего все слышали, так что расписывать суть не буду, а сразу перейду к вопросу.

Предположим, есть система с двумя параметрами на дневках, которая на периоде с 01.01.2008 по 01.01.2015 дает определенную доходность, но сделок всего чуть более 400 со средним периодом удержания позиции чуть более 3 дней. Получается, что в год примерно 57 сделок, или 1 в неделю. Если методом OOS разбивать весь период на 3+1, т.е. тестировать на 3 годах и потом OOS на 1 годе, то получится 4 теста со смещением в 1 год. Даже если каждый OOS период не показывает слив, то эти 2 параметра все разные для каждого теста. А если выбрать диапазон пересекающихся параметров, который приемлем для всех 4 тестов, и потом из него выбрать пару параметров, то на всем периоде с 01.01.2008 по 01.01.2015 с этой парой параметров получаем плюс-минус боковик. Не совсем понятно, в чем преимущество OOS в данном случае? Или итоговый результат «плюс-минус боковик» говорит о том, что система в любом случае переподогнана и «рыбы» тут нет?