Список проголосовавших за комментарий "Видеокарта на 16Gb для нейросетей это мало, либо поиграться, либо медленно будет работать, потому что часть будет на CPU<br/> Надо было брать бушную 3090 с 24Gb или две карты 3060Ti/4060Ti на 16Gb — в в таком случае можно юзать с нормальной скоростью модели до 32b параметров, и даже 72b — но не очень быстро.<br/> Проц тоже нужен с видеоядром — иначе вывод на монитор откусит еще 1Gb от памяти видеокарты.<br/> Либо брать б.у сервер на AMD Epyc c 512Gb оперативы — в пределах 200тыр <br/> Тогда можно будет запускать полную модель DeepSeek и прочее, не сильно быстро но в общем приемлемо работает"