Исследование индекса оптимизма Smart Lab. Часть 1

Насколько предсказуемо поведение индекса оптимизма? Какие внешние факторы на него влияют, а на сколько это «вещь в себе»? Попытаемся ответить на эти вопросы в ходе исследования.

Прежде всего, обратимся к тому как он собственно расчитывается, на данный момент используется довольно простая формула Количество Быков/Количество Медведей. При этом возникают следующие проблемы: распределение индекса совсем не симметрично, резкое изменение соотношения приводит к серьезным «выбросам» (тяжелые хвосты распределения). 

<cut>

Поэтому первым делом приведем его к более приемлемому со статистической точки зрения виду.  Для этого пересчитаем индекс следующим образом: Процент Быков — Процент Медведей или (X — Y)/(X+Y). Сравним распределение индекса построенного по оригинальной(cлева) и предложенной формуле(справа):
 

 
 Распределение справа, хотя бы отдаленно напоминает нормальное. Поэтому остановимся на предложенной формуле и пересчитаем значения индекса:


В качестве внешних факторов будем использовать следующий набор финансовых инструментов: индекс РТС, индекс ММВБ, акции Сбербанк, акции Газпром, индекс Bovespa, индекс S&P, фьючер на нефть марки BRENT, фьючерс на золото и фьючерс на пару рубль/доллар.
Для каждого из которых расчитаем, разницу логарифмов открытия и закрытия(фактически, процентное приращение за день).

Наиболее всего индекс оптимизма скоррелирован с индексом РТС, корреляция достигает 38%, корреляция с индексом ММВБ  9.5%, с S&P 13.5%. (возможно значительное влияние оказывает вечерняя сессия)

Построенную модель, будем оценивать по двум параметрам:
1. Средне-квадратичное отклонение(СКО) ошибки, которое показывает насколько близко предсказания модели к реальным значениям индекса.  sqrt(sum((actual — prediction)^2)/N)
2. Корреляция предсказаний модели и значений индекса, показывает насколько часто модель правильно угадывает направление индекса.

В качестве нулевой модели будем использовать линейную регрессию с одним фактором: приращение логарифма индекса РТС, то есть формулу вида: A*приращение логарифма индекса РТС + B, где A и B находятся минимизацией СКО ошибки. В результате получим, СКО ошибки: 0.235,
Корреляция:  38.8%. Получим следующий график значений индекса и предсказаний модели(красным).

Как видно из графика, хотя модель достаточно часто правильно прогнозирует направление графика(относительно большая корреляция),  с амплитудой дела обстоят гораздо хуже(большое СКО ошибки). 

В следующей части исследования, мы ответим на вопрос, как улучшить эту простейшую модель, а так же какие абсолютно бессмысленные факторы влияют на поведение смарт лабовцев. И главное, сможет ли бездушный математический Терминатор, точно предсказать поведение иррационального, движимого толпой теплого лампового индекса, не пропустите.