Это вдогонку к моему предыдущему посту
Вот вы тут спросите поцоны – зачем ты Гуру Хренов пишешь всякую заумь про нейронные сети – какое отношение это вообще имеет к инвестициям?
Отвечаю – самое прямое. Я пытаюсь для себя и для вас ответить на вопрос – является ли текущая волна хайпа по поводу AI и датацентров – пузырем или только началом длительного тренда.
В предыдущей серии, отчаявшись найти домашнее решение для больших и реально умных LLM-ок — я решил позвонить чувакам, которые занимаются перепродажей старого серверного железа от Энвидии
И вот какие цены они мне выкатили (это все в канадских долларах, чтобы привести к американским – делите на 1.4)
38 тысяч за старый сервер на древнем GPU V100 на 512 GB!!! И этого все равно не хватит для передовых моделей тима KIMI!!!
Короче, поцаны, вот вам суровая правда про локальные модели:
- Современные модели – супер – большие, и им нужно где-то 1500GB видеопамяти!
(справедливости ради – для Mixture-of-Experts (MoE) моделей типа Kimi – там есть читы, когда можно часть модели грузить в VRAM, а остальное оставлять в обычной памяти, потому что там только часть “Экспертов” активна в любой момент времени)
Авто-репост. Читать в блоге >>>

Финаме
БКС Мир Инвестиций



