Видеокарта на 16Gb для нейросетей это мало, либо поиграться, либо медленно будет работать, потому что часть будет на CPU
Надо было брать бушную 3090 с 24Gb или две карты 3060Ti/4060Ti на 16Gb — в в таком случае можно юзать с нормальной скоростью модели до 32b параметров, и даже 72b — но не очень быстро.
Проц тоже нужен с видеоядром — иначе вывод на монитор откусит еще 1Gb от памяти видеокарты.
Либо брать б.у сервер на AMD Epyc c 512Gb оперативы — в пределах 200тыр
Тогда можно будет запускать полную модель DeepSeek и прочее, не сильно быстро но в общем приемлемо работает

