Избранное трейдера master1
Откровенно говоря…
Большинство людей, рассуждающих об искусственном интеллекте, либо дают текстовые определения, либо совершенно не понимают, о чем идет речь, когда кто-то упоминает большие языковые модели или нейронные сети.
Вам не обязательно быть кем-то из них.
Я считаю, что есть 5 терминов, 5 концепций, которые, если вы действительно их понимаете (а не просто заучили), дадут вам огромное преимущество перед остальными. Неважно, работаете ли вы в сфере технологий, бизнеса, образования или просто интересуетесь тем, куда движется мир.
Итак,
Первое, что вы должны усвоить: модели искусственного интеллекта не читают слова. Они даже не читают буквы. Они читают токены.
Так что же такое токен?
Представьте, что вы читаете книгу, но вместо того, чтобы читать все слова, вы читаете фрагменты слов. Иногда фрагмент представляет собой полное слово, например «кошка». Иногда это часть слова, такого как «оон» или «тион». Иногда это пунктуация. Этот фрагмент текста (chunk) является токеном.