Считал и не раз, в моем случае подписка значительно выгоднее покупки своего железа.
Ho_Chu, подписка на средний тариф GLM 5.2 от z.ai на этот год обошлась в 20к, следующий 45к. По эффективности — это примерно как рабочая группа очень трудолюбивых программистов начально/среднего уровня. Мини-ПК Ryzen AI 395+ со 128Гб ОЗУ сейчас стоит под 300к, при этом у него ноутбучная система охлаждения, то есть он скорее всего просто сдохнет года через три при интенсивном использовании (может и раньше помереть, посмотрите на отказы игровых ПК). Ну и этот ПК не тянет LLM которые мне нужны. Кроме того LLM растут как на дрожжах, а железо для ИИ быстро морально стареет. Так что такая штука нужна если нужна какая-то конфиденциальность (но это фикция на полностью чужом железе и софте и текущей международной обстановке) и не нужна серьезная модель. Ryzen AI 495 будет еще дороже, думаю где-то 500к (пока память не дешевеет), скорость ответов будет скорее всего довольно плачевная. Я бы такое купил, если бы деньги девать было некуда, но увы, кризис. Так что мне проще всего было купить подписку. Можно еще сделать монстра на старых видеокартах, но эта штука будет жрать просто уйму энергии и по ОЗУ будет очень чахлой.
Ho_Chu, llm типа glm 5.2, которой я сейчас активно пользуюсь новый ai 495 не потянет, нужно ещё больше ОЗУ. Про скорость я молчу. Пока проще платить за подписку.
Ho_Chu, живем в такое время, что для проверки идей у нас есть Клод Код — он решает самую сложную технически часть проблемы — программирование и интеграцию. При этом. для дизайна любой системы — все равно надо понимать предметную область и архитектуру, конечно. Но стоимость экспериментов — это снижает радикально
лора — только до обучать.
а до обученную модель где-то хранить.
и все это делается на арендованном железе.
и главное в арендованном железе — масштабируется если надо быстро и срочно.
а если не надо — то заплатил обучил попробовал и все.
железо на эксперименты чтобы до обучать.
ОДИН РАЗ в квартал, не чаще lora если.
а остальное время что это железо делает?
при том что на обучение и на инверсенс нужны разные модели.
в инференс ты можешь распараллелить хоть на разные физически машины ОДНУ СЕТКУ.
А вот обучать нужно на одной «видеокарте» — она как инверсенс на разные видеокарты не очень параллелится.
и старые видеокарты или из под майнинга порезанные не подойдут для обучения никак.
Ho_Chu, насколько помню, у него ограниченный сертификат пока выдали — не холоднее -8, не теплее +25 погода, твёрдое и сухое покрытие — на мокрую полосу нельзя. Но может я отстал от жизни и уже всё в порядке?
Ho_Chu, проверить идею можно и на подписке.
не надо вот это городить.
или саму модель по подписке ту что умная.
а голос-текст и обратно — локально на gemma4.
снижает раундтрип.
чем отдельно вызывать голосовые модели.
Ho_Chu, Ты не можешь выставить заявку выше лимита. В этом и смысл планки.
Решили сегодня напугать шортистов планкой, что бы рынок не давили.
Решение про отмену аукциона ОФЗ не в 19ч же родилось. Наверное ещё на прошлой неделе. Сегодня с утра до кого надо слухи дошли. И в нужный момент для планки эту новость запустили. В этом весь их план по планке.
Ho_Chu, подписка на средний тариф GLM 5.2 от z.ai на этот год обошлась в 20к, следующий 45к. По эффективности — это примерно как рабочая группа очень трудолюбивых программистов начально/среднего уровня. Мини-ПК Ryzen AI 395+ со 128Гб ОЗУ сейчас стоит под 300к, при этом у него ноутбучная система охлаждения, то есть он скорее всего просто сдохнет года через три при интенсивном использовании (может и раньше помереть, посмотрите на отказы игровых ПК). Ну и этот ПК не тянет LLM которые мне нужны. Кроме того LLM растут как на дрожжах, а железо для ИИ быстро морально стареет. Так что такая штука нужна если нужна какая-то конфиденциальность (но это фикция на полностью чужом железе и софте и текущей международной обстановке) и не нужна серьезная модель. Ryzen AI 495 будет еще дороже, думаю где-то 500к (пока память не дешевеет), скорость ответов будет скорее всего довольно плачевная. Я бы такое купил, если бы деньги девать было некуда, но увы, кризис. Так что мне проще всего было купить подписку. Можно еще сделать монстра на старых видеокартах, но эта штука будет жрать просто уйму энергии и по ОЗУ будет очень чахлой.
так что можно rag свой локальный+ внешняя жирная модель.
есть уже даже скиллы на это.
и mtp сервера — самый простой вот пример.
можно прямо его в rag обернуть
{ «mcpServers»: { «Memory»: { «command»: «npx», «args»: [ "-y", "@modelcontextprotocol/server-memory" ], «env»: { «MEMORY_FILE_PATH»: «memory.json» } } }}
лора — только до обучать.
а до обученную модель где-то хранить.
и все это делается на арендованном железе.
и главное в арендованном железе — масштабируется если надо быстро и срочно.
а если не надо — то заплатил обучил попробовал и все.
железо на эксперименты чтобы до обучать.
ОДИН РАЗ в квартал, не чаще lora если.
а остальное время что это железо делает?
при том что на обучение и на инверсенс нужны разные модели.
в инференс ты можешь распараллелить хоть на разные физически машины ОДНУ СЕТКУ.
А вот обучать нужно на одной «видеокарте» — она как инверсенс на разные видеокарты не очень параллелится.
и старые видеокарты или из под майнинга порезанные не подойдут для обучения никак.
однозначно почасовая аренда на обучение.
не надо вот это городить.
или саму модель по подписке ту что умная.
а голос-текст и обратно — локально на gemma4.
снижает раундтрип.
чем отдельно вызывать голосовые модели.
Ну а про «физтех и продавщицу тканей» вы выдумали интересно :)
Или, как думаете, я в магистратуру без вышки поступаю?
Решили сегодня напугать шортистов планкой, что бы рынок не давили.
Решение про отмену аукциона ОФЗ не в 19ч же родилось. Наверное ещё на прошлой неделе. Сегодня с утра до кого надо слухи дошли. И в нужный момент для планки эту новость запустили. В этом весь их план по планке.