Список проголосовавших за комментарий "akuloff, про сети внимания можно почитать <a href="/r.php?u=https%3A%2F%2Farxiv.org%2Fabs%2F1706.03762&s=3581194734">Attention Is All You Need</a>. Про последнюю SOTA в этой области <a href="/r.php?u=https%3A%2F%2Farxiv.org%2Fabs%2F1906.08237&s=324531737">XLNet: Generalized Autoregressive Pretraining for Language Understanding</a> — внутри есть ссылки на похожие модели в частности BERT. <br/> Про сверточные в приложении к временным рядам <a href="/r.php?u=https%3A%2F%2Farxiv.org%2Fabs%2F1609.03499&s=1827633696">WaveNet: A Generative Model for Raw Audio</a>. А дальше гуляете по ссылкам внутри статей и экспериментируете сами.<br/> Дополнительно можно порыться в исходниках <a href="/r.php?u=https%3A%2F%2Fgluon-ts.mxnet.io%2Findex.html&s=3438874096">Gluon</a>