Список проголосовавших за комментарий "Марат, почитайте статьи про NLP — там это широко используется, так как трансформеры так же ничего не знают о позиции, а позиции важны при анализе речи — ключевое слово positional encoding. Есть два основных варианта: <br/> <br/> 1. В качестве признака добавляют значении номера позиции пропущенное через embedding слой (редко используется) <br/> 2. Формируют набор признаков Sin(номер позиции * k) для разных k"