Надежда умирает последней.

DrManhattan, Чисто спекулятивно — да.  Глобально — вечно падающая компания. 

|-, Вот алгоритм 4го ГПТ. Но я не проверял, может так что-то другое используется 

Byte Pair Encoding (BPE) — это алгоритм для токенизации текста, который изначально был разработан для сжатия данных, но в последние годы стал популярным в области обработки естественного языка (NLP) для создания подсловных токенов. Вот как он работает и какие его основные характеристики:

Основные этапы алгоритма BPE:

1. Инициализация:

   • Начинаем с набора символов (например, букв) и считаем частоту каждого символа в тексте.

2. Поиск пар символов:

   • На каждом шаге алгоритм ищет наиболее часто встречающуюся пару соседних символов. Например, в словах «low», «lower» и «new» пара «lo» может быть наиболее частой.

3. Замена пар:

   • Самая частая пара символов заменяется новым токеном, который представляет эту пару. Это создаёт новый «словарь» токенов, который включает как отдельные символы, так и новые пары.
   • Например, пара «lo» может быть заменена на новый токен «X».

4. Повторение:

   • Процесс повторяется: после каждой замены снова вычисляется частота всех пар символов, и процесс продолжается до достижения заранее определённого количества токенов или до тех пор, пока не останется только один токен.

5. Финальная токенизация:

   • После завершения процесса BPE текст может быть разбит на токены, которые могут быть как одиночными символами, так и созданными подсловами.

Преимущества BPE:

• Сокращение размера словаря: Вместо того чтобы хранить каждое слово отдельно, BPE позволяет сохранять комбинации символов, что уменьшает размер словаря.
• Справление с редкими словами: BPE позволяет разбивать редкие слова на более частые подслова, что улучшает обработку таких слов в языковых моделях.
• Контекстуальная осведомлённость: Позволяет модели лучше понимать морфологию слов, что особенно полезно для языков с богатой морфологией.

Недостатки BPE:

• Неоптимальная длина токенов: В некоторых случаях BPE может создавать слишком длинные токены, что может увеличить вычислительные затраты.
• Потеря контекста: Если слишком много подслов, это может привести к искажению значения оригинальных слов.

BPE широко используется в современных языковых моделях, таких как GPT и BERT, для повышения качества обработки текста и улучшения результатов в задачах NLP.

|-, Короче думай как хочешь. Я наводку дал. 

|-, Да он не разбивает на буквы. Это ты видишь буквы, а он свой текст разбивает на токены и это совсем не слова, какие то слова вообще выбрасывают из текста. 

|-, я объяснил почему так выходит. Но можешь и дальше тратить время на выяснения. Спроси его лучше что такое токенизация и как ее используют для тренировке моделей и какие проблемы возникают. 

|-, это ничего не значащий пример. Современные модели работают с токенами- кусками слов, поэтому им тяжело ответить на вопрос про количество букв. С ростом мощностей перейдут на буквы и проблема отпадет.

Опять развод готовят покупцам) окажется уткой.

A.C.S., «Маленькие функции и участки кода пишутся быстрее и без ошибок руками „ 
не ну я тут не согласен. Все же нейрона может приличный кусок за пару секунд настрочить. Тут главное не перебарщивать. Четкие задание давать что на вход что на выход. 

Zvezdniy Den, Меньше аварий будет. Че бояться то) 

Liberalism, Не бойся. Огорчи.   

Не всё так радужно/трагично.   Написание кода — это 10-20% времени. Остальное время на раздумья и эксперименты. ИИ конечно сократит время на раздумывания в том числе, но пока до уровня «сказал и оно всё написало» далековато.   

Вообще всё будет зависеть от рынка комодов.  На крайний случай переставят рубль на новое дно и запретят баксы покупать, чтобы заставить покупать ОФЗ.

Sloikin, Кому продадут то по таким ценам?

StockChart.ru, Это даже обcуждать не хочу. Ты вместо фактов приводишь свои домыслы еще и стыдишься их?  Как можно уничтожить Россию, запрещая стрелять по ее территории?

StockChart.ru, Ну если такое было, то согласен, не очень культурно звучит для президента. Но это в 100 раз лучше, чем то что наговорила наша гопница тут. А самое главное мне не понятно, как ты испытываешь испанский стыд при фразе старый день, но не испытываешь его при фразах «Высказывания «просроченного» Зеленского» «проявление мошенничества англосаксов и их украинских марионеток». Не может быть так.  Либо и то и то для тебя нормально, либо и то и то уровень гопоты.   

StockChart.ru, Привел бы пример цитаты. Чтобы все испытали. 

plazma37, Да большая часть из-за того, что продолжают сидеть в упавших облигациях.  Эту картинку второй год уже постят) Ставка упадет и убытки исчезнут, если конечно по какой-то причине, не придется их фиксануть. 

VалиБакS, В том то и фишка, что программировать не нужно. Нужно просто понять как имитировать работу нейронов правильно.  Нейросети уже обходят во многих видах деятельности человеческие способности.  Большинство людей уже сейчас не могут отличить когда они общаются в интернете с ботом, а когда с человеком. 

BobbyKotick, Я бы начинал с ассемблера. А то понаучатся на С писать, потом сплошные уязвимости в коде. А еще лучше с машинного кода начать. И не важно что он никогда не понадобится в жизни.