Блог им. egenui

Ох уж этот LSTM

Всем привет!.. Я тут систему пишу на на дневках применяя LSTM сеть из библиотеки Keras, обнаружил забавный эффект. Я пытаюсь предсказать движение на завтрашний день некоторого синтетического индекса, который более стационарен, чем входящие в него инструменты. Так вот, забавно, что основной подход в таких системах это почти всегда брать значения за предыдущие несколько дней, и на их основе делать предсказание на завтра (если речь о дневках)

Интересно то, что в процессе реализации метода генерации данных для обучения, я накосячил и таргет значение было не следующий день, а следующий день + 1, и вместо того что бы брать 5 предыдущих дней я беру 5 дней без учета вчерашнего дня. В результате я получаю вот такой результат. Все картинки ниже на тестировании Out-of-sample

Ох уж этот LSTM
Ох уж этот LSTM



После чего я все продебажил и нашел проблему, оказалось, что если пытаться предсказать следующий день и для предсказания включить предыдущий, то система превращается в это

Ох уж этот LSTM
В очередной раз убеждаюсь, если на рынке пытаться делать так как все, то результат будет отрицательный, даже используя DeepLearning, вот мне бы в голову никогда не пришло пытаться предсказать не завтра, а послезавтра без учета вчерашнего дня )
Данная публикация является личным мнением автора. Мнение владельца сайта может не совпадать с мнением автора.
    5.8К | ★10
    18 комментариев
    послезавтра без вчера == завтра без вчера и позавчера
    avatar
    Евгений, Добрый день, а вы тот самый Евгений с форума alfadirect4? )
    avatar
    evgen000, Добрый день, тот :)
    avatar
    Как вы думаете открыли пенецилин, просто случайность. 
    Сохранил пост даже на флешку, явно грааль)
    avatar
    а потом еще продебажите, и всё окажется как в той старой шутке:
    прогноз погоды на завтра вы узнаете послезавтра )

    P.S. кстати, я серьезно, у вас там наверняка затесалось какое-то неявное подсматривание в будущее, потому что невозможно, чтобы прогнозная кривая настолько совпадала с реальной…
    Иначе, через месяц-другой ждём обновления списка миллиардеров Forbes! Вы там, еси чо, смартлабику отдельный привет передавайте со страниц журнала )
    avatar
    avento, look-ahead-bias я уже давно у себя вылечил ). Да какой уж форбс, тут 40% годовых всего лишь. Единственное, что конечно можно сделать, это отдельные интрадей стратегии с учетом этой.
    avatar
    evgen000, в своей прогностической модели вы используете данные со скользящих средних или с других индикаторов?
    avatar
    avento, индикаторов не использую никаких. Я не утверждаю что у меня нет ошибок, возможно я где-то ошибся. В любом случае после некоторых доработок я отправлю ее в прод, там и посмотрю как она себя ведет на реальной торговле.
    avatar
    evgen000, 40% годовых это не всего лишь, а очень много!!! Поэтому стоит внимательнее присмотреться на предмет ошибок. Если их, действительно, нет, то это грааль (без сарказма).
    avatar
    А мы баловались нейросетями в матлабе ) были же времена
    а если за 10 лет посмотреть результат?
    avatar
    MyKey, ага, сейчас =)… Тонок =)

    Здесь весь секрет как раз и заключается в том, чтобы сделать псевдостационарный процесс из суммы рыночных инструментов (тот самый синтетик). А уж найти на нём оптимальный метод входов-выходов — фигня. Для этого не надо так мудрить со всякими диплёрнами.
    Fry (Антон), Ну в общем-то да, так и есть
    avatar
    Ну это всего лишь говорит о том, что данные по последнему дню вносят шум в предсказание. Странно только, что нейросетка сама не исключила эти данные из значимых — вообще то она это умеет
    avatar
    Интересное наблюдение

    Читайте на SMART-LAB:
    Фото
    Что ждет застройщиков в октябре, когда в России вернутся к обсуждению изменений в семейной ипотеке?
    В последние две недели июня случился ажиотажный спрос на недвижимость по программе семейной ипотеки, ведь с 1 июля ожидался ввод...
    Фото
    Записки инвестора. Ключевые тренды и события на рынке
    «Записки инвестора» — еженедельная рубрика для быстрого погружения в рынок. Мы выделяем самые важные события, за которыми стоит следить — и...
    Обновление кредитных рейтингов в ВДО и розничных облигациях (МФК Быстроденьги подтвержден на уровне ruBB | ЭкономЛизинг подтвержден на уровне ruBBB- | КЛВЗ Кристалл рейтинг на пересмотре)
    🔴ООО «Альфа Дон Транс» НРА понизило кредитный рейтинг ООО «Альфа Дон Транс» до уровня «CC|ru|» по национальной рейтинговой шкале для...
    Фото
    Сбер РПБУ 6 мес. 2026 г. - кому нужны 30% доходности?
    Сбер опубликовал финансовые результаты по РСБУ за 6 месяцев 2026 года. Чистая прибыль за полгода работы составила 995 млрд руб. (+20,4%). За...

    теги блога evgen000

    ....все тэги



    UPDONW
    Новый дизайн