Сергей Викторович, парадоксально, но факт — для RAG не нужны фундаментальные модели с сотнями миллиардов параметров. «Насыщение» наступает в районе 7-9 млрд. параметров. Я тут ради интереса экспериментирую вообще с qwen3.5-4b. Для RAG важнее длина контекста и способность обобщать и делать выводы из прочитанного. Количество параметров тут больше нужно для того, чтобы модель без особых плясок с бубном могла воспользоваться предоставленным RAG-инструментарием.

Про embedding-модели вам уже расписали, они нужны. Они они крохотные — по 300 млн. параметров, в памяти занимают 90 мб. И даже на ноутбучном процессоре core i7-1235u (даже без задействования встроенной графики) вполне выжимают под тысячу токенов в секунду. Для, условно, разовой векторизации нормативной базы — оставить компьютер на полчасика раз в сутки (если нормативная база обновляется каждый день) — вполне адекватное решение.

Raiseran, откуда взялась цифра 20% по ипотеке? Буквально вчера изучал вопрос ипотеки, задался целью перезеда с СеверОв в тёплые края. На авито, когда ради хохмы жмёшь кнопку «Рассчитать ипотеку», там вываливается сводка по ставкам банков. Например, Тиньков предлагает 15,6%. Процент, конечно, конский, но уже в общем-то — разговор. Плюс, если на Домклике берёшь, то за сам факт покупки жилья там обещают -0,5% от ставки. Звучит как смех, но по факту, это примерно минус 3к от ежемесячного платежа.

Плюс такой совсем не очевидный вопрос. Если своих доходов хватает, чтобы платить ипотеку, то можно уже существующий капитал взять себе на подмогу в досрочном гашении ипотеки.