Спасибо за пост! Тоже очень интересна эта тема, так как на ней завязан мой бизнес.

Ситуация действительно не в пользу обычного потребителя. Я думаю так: скорее всего, простым смертным никогда не удастся развернуть на домашней системе праймовую модель. Хотя, надо признать качество моделей на каждый 1GB VRAM растёт день ото дня. 

Для себя решил так: для своей личной работы использую топовые модели по подписке, а для моих бизнес задач (ИИ-боты для бизнеса) кручу локальную LLM-ку Qwen27B. И её вполне хватает и по качеству и по пропускной способности!
Для большинства бизнес-задач локальные LLM-ки уже очень качественно выполняют свою работу, хорошо работают с данными, следуют инструкциям, у них хороший русский язык, из них получается хороший ассистент общего плана.