Список проголосовавших за комментарий "silentium, <br/> 1. без регуляризации (сорри если неправильно перевел термин) будет обычный галимый оверфиттинг, добавьте дропаут 0.5 и L2 и посмотрите на результат.<br/> 2. использовать обычную многослойку для таймсерис моветон, есть RNN, LSTM или самый свежак Grid LSTM"