Блог им. egenui

Ох уж этот LSTM

Всем привет!.. Я тут систему пишу на на дневках применяя LSTM сеть из библиотеки Keras, обнаружил забавный эффект. Я пытаюсь предсказать движение на завтрашний день некоторого синтетического индекса, который более стационарен, чем входящие в него инструменты. Так вот, забавно, что основной подход в таких системах это почти всегда брать значения за предыдущие несколько дней, и на их основе делать предсказание на завтра (если речь о дневках)

Интересно то, что в процессе реализации метода генерации данных для обучения, я накосячил и таргет значение было не следующий день, а следующий день + 1, и вместо того что бы брать 5 предыдущих дней я беру 5 дней без учета вчерашнего дня. В результате я получаю вот такой результат. Все картинки ниже на тестировании Out-of-sample

Ох уж этот LSTM
Ох уж этот LSTM



После чего я все продебажил и нашел проблему, оказалось, что если пытаться предсказать следующий день и для предсказания включить предыдущий, то система превращается в это

Ох уж этот LSTM
В очередной раз убеждаюсь, если на рынке пытаться делать так как все, то результат будет отрицательный, даже используя DeepLearning, вот мне бы в голову никогда не пришло пытаться предсказать не завтра, а послезавтра без учета вчерашнего дня )
    5.7К | ★10
    18 комментариев
    послезавтра без вчера == завтра без вчера и позавчера
    avatar
    Евгений, Добрый день, а вы тот самый Евгений с форума alfadirect4? )
    avatar
    evgen000, Добрый день, тот :)
    avatar
    Как вы думаете открыли пенецилин, просто случайность. 
    Сохранил пост даже на флешку, явно грааль)
    avatar
    а потом еще продебажите, и всё окажется как в той старой шутке:
    прогноз погоды на завтра вы узнаете послезавтра )

    P.S. кстати, я серьезно, у вас там наверняка затесалось какое-то неявное подсматривание в будущее, потому что невозможно, чтобы прогнозная кривая настолько совпадала с реальной…
    Иначе, через месяц-другой ждём обновления списка миллиардеров Forbes! Вы там, еси чо, смартлабику отдельный привет передавайте со страниц журнала )
    avatar
    avento, look-ahead-bias я уже давно у себя вылечил ). Да какой уж форбс, тут 40% годовых всего лишь. Единственное, что конечно можно сделать, это отдельные интрадей стратегии с учетом этой.
    avatar
    evgen000, в своей прогностической модели вы используете данные со скользящих средних или с других индикаторов?
    avatar
    avento, индикаторов не использую никаких. Я не утверждаю что у меня нет ошибок, возможно я где-то ошибся. В любом случае после некоторых доработок я отправлю ее в прод, там и посмотрю как она себя ведет на реальной торговле.
    avatar
    evgen000, 40% годовых это не всего лишь, а очень много!!! Поэтому стоит внимательнее присмотреться на предмет ошибок. Если их, действительно, нет, то это грааль (без сарказма).
    avatar
    А мы баловались нейросетями в матлабе ) были же времена
    а если за 10 лет посмотреть результат?
    avatar
    MyKey, ага, сейчас =)… Тонок =)

    Здесь весь секрет как раз и заключается в том, чтобы сделать псевдостационарный процесс из суммы рыночных инструментов (тот самый синтетик). А уж найти на нём оптимальный метод входов-выходов — фигня. Для этого не надо так мудрить со всякими диплёрнами.
    Fry (Антон), Ну в общем-то да, так и есть
    avatar
    Ну это всего лишь говорит о том, что данные по последнему дню вносят шум в предсказание. Странно только, что нейросетка сама не исключила эти данные из значимых — вообще то она это умеет
    avatar
    Интересное наблюдение

    Читайте на SMART-LAB:
    Фото
    Как заработать на росте цен на удобрения
    Дарья Фёдорова Конфликт на Ближнем Востоке и перекрытие Ормузского пролива вызвали ралли не только цен на нефть и газ, но также алюминий и...
    Курс доллара на Forex впервые за два месяца превысил 80 рублей
    Доллар в паре с рублем на международном валютном рынке достиг психологически значимой отметки 80 впервые за два месяца, однако примерно через...
    Фото
    Обзор рынка облигаций
    Если не считать бури вокруг Евротранса, то неделя прошла спокойно. Рынок продолжает взвешивать ситуацию с дефицитом бюджета и способами...
    Фото
    Гендиректор Инарктики продал свои акции компании. Что это может значить?
    Вечером в пятницу (6 марта ) вышел сущфакт о том, что Соснов Илья Геннадьевич, гендиректор Инарктики, продал свои акции компании. В нашем...

    теги блога evgen000

    ....все тэги



    UPDONW
    Новый дизайн