Data Mining

В прошлом посте я писал о том, что для поиска торговых идеи часто бывает полезным задаваться вопросами. Сегодня я решил продолжить этот пост и провести более интересное исследование. Задача исследования, статистическим путем выяснить в какие часы дня проходят наибольшие объемы для фьючерса на индекс РТС (далее фРТС).

Для этого мы опять будем использовать язык R.
 
код: http://pastebin.com/38FNtub6

Полученная табличка:

( Читать дальше )

Знаете, какой набор переменных лучше всего предсказывает S&P500? Ни за что не догадаетесь: это производство сливочного масла в Бангладеш и США + выпуск сыра в США + поголовье овец в США и Бангладеш. И это не совсем шутка — именно такой результат получили исследователи, когда попытались найти, какие переменные лучше всего скоррелированы с рынком акций.


На самом деле, конечно, это экстремальный пример так называемого overfitting — переподгонки. Будьте осторожны с корреляциями! ) И с моделями, основанными на истории — тоже. Модель, идеально описывающая исторические данные, может абсолютно идиотически вести себя в будущем. Яркий пример:

( Читать дальше )

Пока что небольшие техпроблемы, как только все решится, ссылка появится.

Доказав себе однажды, что ни один из индикаторов по отдельности или в совокупности с другими работают неудовлетворительно (по тестам от 3-х лет и более) я пришел к простейшим методам Data Mining, которые показали очень хорошие результаты. Пришла пора капнуть глубже, тут как раз и аккуратненькая подборочка, для поверхностного ознакомления, нашлась. 

А вы используете в своей торговле подобные штуки?

Метод опорных векторов
 



Метод опорных векторов был разработан Владимиром Вапником в 1995 году [86] и впервые применен к задаче классификации текстов Йоахимсом (Joachims) в 1998 году в работе. В своем первоначальном виде алгоритм решал задачу различения объектов двух классов. Метод приобрел огромную популярность благодаря своей высокой эффективности. Многие исследователи использовали его в своих работах, посвященных классификации текстов. Подход, предложенный Вапником для определения того, к какому из двух заранее определенных классов должен принадлежать анализируемый образец, основан на принципе структурной минимизации риска. Вероятность ошибки при классификации оценивается, как непрерывная убывающая функция, от расстояния между вектором и разделяющей плоскостью. Она равна 0,5 в нуле и стремится к 0 на бесконечности.




( Читать дальше )

Как можно улучшить результаты системы, используя методы data mining? Самое элементарное — это использовать кластерный анализ на некоторых данных. Допустим, у вас есть функция f(x,y,...). Можно исследовать поведение этой функции на разных кластерах значений аргументов. Иногда, можно выделить несколько кластеров значений аргументов, на которых функция ведет себя с некоторой закономерностью. И далее уже анализируя эту закономерность — написать правило. Главное, не перегнуть палку с такого рода оптимизацией. Является ли это подстройкой под кривую? Я думаю, это зависит от функции f. Что она из себя представляет? Есть некоторые фундаментальные законы поведения рынов, которые заставляют самые обычные индикаторы вести себя определенным образом. Эти вещи можно попытаться использовать. Тестирование нужно проводить на самых разных рынках: волатильные, трендовые, стремительно падающие, спокойные. Если правило улучшает все рынки — правило годное. К сожалению мне не хватает знаний в этой области, а идеи как это применить — есть. Придется видимо почитать что-нибудь по теме.

( Читать дальше )