randomforest

Привет Мир!

Использование нейронок в торговле на форекс, где нельзя по нормальному посмотреть стакан, не означает Random торговлю.

1. Не используйте reduce learning rate, старайтесь подобрать для инструмента свой параметр.
2. Используйте относительные движения, а не абсолютные для обучения нейронной сети. Также для каждого инструмента свое отношение.
3. Не зацикливайтесь только на одном виде сети, пробуйте CNN, LSTM, GLM и др.
4. Переобучайте регулярно. Отладка на бэктесте должна быть максимально приближена к боевым, т.е. во время бэктеста (форвард, не важно), тоже должно идти переобучение. Иначе слив в реале. Структуры рынка меняются регулярно и не застывают в одной и тоже форме.
5. Для обучения нужна длинная выборка, который надо разбивать на samle, train и test выборки. Sample и train не забываем перемешать.

Пока все. Всех благ.

Всем привет! 

После ряда экспериментов с ML нашел, что рынок криптовалют вполне поддается моделям, основанным на машинном обучении — а значит имеет место быть неэффективность. До недавних пор вполне реально было составить спрэд из 3-4 бирж и торговать там где за исполнение со стороны maker не берут комиссию. 
Однако рынок не стоит на месте — на рынок приходит бабло. Пришло бабло и место под солнцем заняли парни, которые свели maker модель в убыток.
И вот в печали и тоске я попытался сваять что-то для агрессоров. Скачал с Bitfinex свечки, прогнал через систему и получил профит! Для Евро, кстати, модель не работает, что показывает то, что BTC все еще не эффективный рынок.
Использовал 0.3% на круг для подсчета fee + спрэд.

Внизу OutOfSample. Более 7000 сделок (почти HFT). Торговался 1 лот. Модель всегда в рынке (на положительном мат. ожидании).

( Читать дальше )

Продолжая тему, затронутую в  предыдущей публикации хочу поделиться некоторыми наблюдениями.

И так, возьмем 1000 дней AAPL, 20 внутридневных метрик и попробуем обучить алгоритмы случайного леса и ближайших соседей и прогнать его на последних 120 днях. 

Результат для числовых значений результата:
 

( Читать дальше )

Все больше и больше нравится использовать R для поиска идей и анализа. 
Сегодня я хочу рассказать о небольшом исследовании и сравнении системы прогнозирования на основе алгоритма случайного леса и  алгоритма ближайшего соседа. 

Вопросы, которые я себе ставил были следующими:
— на сколько алгоритм Random Fores (RF) продуктивнее чем Nearest Neighbor (NN) или наоборот;
— каково влияние параметров количества случайных соседей на работу алгоритма и на сколько оно может оказаться простой подгонкой данных;
— получится ли эффективно сочетать результаты NN для маленькой и большой выборки, избавляясь тем самым от ошибки переоптимизации;
— как оценить надежность обучения;
— какой метод работает лучше, регрессионный или с формализованными ответами;
— когда проводить переобучение;

Данное исследование помогло мне ответить на некоторые вопросы. 

В качестве предикторов были использованы некоторые внутридневные метрики (10 штук) акции AAPL за один год, результатом я считал изменение цены акции от Close первой пятиминутной свечи до конца дня. Сразу скажу, предикторы мне показались неэффективными, но суть исследования, все же, была в оценке методов прогнозирования прежде всего. Я надеялся, что алгоритмы смогут выявить определенные паттерны внутри многомерного пространства и использовать их. 

( Читать дальше )

Вопрос к тем, кто использует Датамайнинг алгоритмы, какой вы выбрали, и почему.

От себя отмечу, что выбрал алгоритм Random Forest (деревья делает С 4.5), так как данный алгоритм с моей точки зрения:
1) достаточно хорошо устойчив к шуму данных (видел несколько исследований которые показывают что деревья самый устойчивый алгоритм при повышении шума в данных).
2) Может отделить слабо значимые данные (можно удалить слабозначимые взодящие данные и заменить их более эффективными)
3) Показывает область «неуверенности» — класические деревья показывают только вероятность по одной из моделей.

Если есть те кто кто пользуется подобными алгоритмами — напишите подалуйста свои мысли.