Список проголосовавших за комментарий "<blockquote>Векторизация — как раз это для меня выглядит формальностью и просто техническим моментом</blockquote>Гигантская ошибка. <br/> Приведу избитый пример правильной векторизации (типа той, какую делает, например Word2Vec.)<br/> Каждому слову или последовательности слов сопоставляется вектор одинаковой длины (длиной 1000+-500).<br/> Возьмем четыре слова:<br/> король<br/> королева<br/> мужчина<br/> женщина<br/> Соответственно получим четыре вектора.<br/> Произведем простейшую математическую операцию над векторами(они все одинаковой длины).<br/> Вектор_искомый=вектор_король — вектор_мужчина + вектор_женщина.<br/> Полученный вектор сравним ( операция называется — вычисление косинусной близости)с вектором королева. Оказывается это почти одно и тоже. Т.е. мы еще не начинали собственно обучения, а в эмбеддингах уже полно смысла!<br/> Если вместо «правильной» векторизации использовать что попроще — например «мешок слов» — ничего хорошего не выйдет. И никакая супер-пупер нейронная сеть этого уже не исправит."