Применение data mining в оптимизации ТС.

Как можно улучшить результаты системы, используя методы data mining? Самое элементарное — это использовать кластерный анализ на некоторых данных. Допустим, у вас есть функция f(x,y,...). Можно исследовать поведение этой функции на разных кластерах значений аргументов. Иногда, можно выделить несколько кластеров значений аргументов, на которых функция ведет себя с некоторой закономерностью. И далее уже анализируя эту закономерность — написать правило. Главное, не перегнуть палку с такого рода оптимизацией. Является ли это подстройкой под кривую? Я думаю, это зависит от функции f. Что она из себя представляет? Есть некоторые фундаментальные законы поведения рынов, которые заставляют самые обычные индикаторы вести себя определенным образом. Эти вещи можно попытаться использовать. Тестирование нужно проводить на самых разных рынках: волатильные, трендовые, стремительно падающие, спокойные. Если правило улучшает все рынки — правило годное. К сожалению мне не хватает знаний в этой области, а идеи как это применить — есть. Придется видимо почитать что-нибудь по теме.


Небольшой пример.
 
На графике видно, что есть несколько экстремальных значений, которые приводят только к убыточным сделкам(красная кривая). Для данного кластера мы можем их отсечь, написав соответствующее правило.