evgen000
evgen000 личный блог
05 апреля 2018, 11:57

Ох уж этот LSTM

Всем привет!.. Я тут систему пишу на на дневках применяя LSTM сеть из библиотеки Keras, обнаружил забавный эффект. Я пытаюсь предсказать движение на завтрашний день некоторого синтетического индекса, который более стационарен, чем входящие в него инструменты. Так вот, забавно, что основной подход в таких системах это почти всегда брать значения за предыдущие несколько дней, и на их основе делать предсказание на завтра (если речь о дневках)

Интересно то, что в процессе реализации метода генерации данных для обучения, я накосячил и таргет значение было не следующий день, а следующий день + 1, и вместо того что бы брать 5 предыдущих дней я беру 5 дней без учета вчерашнего дня. В результате я получаю вот такой результат. Все картинки ниже на тестировании Out-of-sample

Ох уж этот LSTM
Ох уж этот LSTM



После чего я все продебажил и нашел проблему, оказалось, что если пытаться предсказать следующий день и для предсказания включить предыдущий, то система превращается в это

Ох уж этот LSTM
В очередной раз убеждаюсь, если на рынке пытаться делать так как все, то результат будет отрицательный, даже используя DeepLearning, вот мне бы в голову никогда не пришло пытаться предсказать не завтра, а послезавтра без учета вчерашнего дня )
18 Комментариев
  • Евгений
    05 апреля 2018, 12:27
    послезавтра без вчера == завтра без вчера и позавчера
      • Евгений
        05 апреля 2018, 12:32
        evgen000, Добрый день, тот :)
  • Stasik
    05 апреля 2018, 12:33
    Как вы думаете открыли пенецилин, просто случайность. 
    Сохранил пост даже на флешку, явно грааль)
  • Авентадор
    05 апреля 2018, 12:39
    а потом еще продебажите, и всё окажется как в той старой шутке:
    прогноз погоды на завтра вы узнаете послезавтра )

    P.S. кстати, я серьезно, у вас там наверняка затесалось какое-то неявное подсматривание в будущее, потому что невозможно, чтобы прогнозная кривая настолько совпадала с реальной…
    Иначе, через месяц-другой ждём обновления списка миллиардеров Forbes! Вы там, еси чо, смартлабику отдельный привет передавайте со страниц журнала )
      • Авентадор
        05 апреля 2018, 12:59
        evgen000, в своей прогностической модели вы используете данные со скользящих средних или с других индикаторов?
      • Sergey Pavlov
        05 апреля 2018, 15:27
        evgen000, 40% годовых это не всего лишь, а очень много!!! Поэтому стоит внимательнее присмотреться на предмет ошибок. Если их, действительно, нет, то это грааль (без сарказма).
  • Константин Доронин
    05 апреля 2018, 13:00
    А мы баловались нейросетями в матлабе ) были же времена
  • Чужой
    05 апреля 2018, 13:31
    а если за 10 лет посмотреть результат?
  • jug
    05 апреля 2018, 20:06
    Ну это всего лишь говорит о том, что данные по последнему дню вносят шум в предсказание. Странно только, что нейросетка сама не исключила эти данные из значимых — вообще то она это умеет
  • Александр Иванов
    15 марта 2019, 12:35
    Интересное наблюдение

Активные форумы
Что сейчас обсуждают

Старый дизайн
Старый
дизайн