Андрей К, кодекс покупной, подписка за $200, если аккуратно пользоваться — хватает. Он скорее как мозговой центр, перепроверяет за Qwen, который делает основную работу. Поэтому расход токеноа не такой большой. Точно не измерял, в день может 5-7 млн новых, кэшированных больше… Не знаю, не считал точно.

chizhan, если бы они существовали...))

Андрей К, да обычный конфиг, 96Gb RAM, 24Gb VRAM, 3090. Используйте квантованную модель, Q4, 27B она весит порядка 17Гб, остальное под контекст, тоже квантованный.
llama-server \  -m Qwen3.8-27B-Q4_K_M.gguf \  -ngl all \  -np 1 \  -c 160000 \  -fa on \  -ctk q4_0 \  -ctv q4_0 \  --ctx-checkpoints 4 \  -b 512 \  -ub 256 \  --jinja \  --reasoning-preserve

В 32Gb наверное влезет Q5+256K контекста в Q8_0, почему у вас туда только 9B модель помещается я хз

Михаил Шардин,  квен, да, Q4, на 17 с небольшим Гб, с Q4 KV квантованным контекстом и парой настроек получается полный оффлоуд на 24Gb GPU с 160-170k контекста и скоростью 31-33 ток/с. Если есть 32GB и больше, туда можно и Q5 с 256k Q8 KV контекстом поместить, а это уже почти неотличимо от оригинала.По метрикам по моим расчетам равен GPT-5, местами тупит конечно, но компенсируется любым временем работы и бесплатными токенами.

А по поводу агентов — это вы зря. У меня команла из локального Qwen 3.8-27B (до этого 3.6) в роли чернорабочего-кванта и Codex Sol 5.6 xhigh в роли супервайзора-дата саетиста-менеджера превратилась в почти автономный конвейер по поиску альфы.

Они делают лучше человека уже почти все. Им только не хватает наводки где и как искать — остальное уже по накатанной гораздо лучше меня.

Михаил, бесполезно, местный народ вообще не одупляет о чем речь, в топике ровно ноль комментариев по теме. На смартлабе публика давно деградировала до уровня срачей и обсуждения примитивных инвестиций. Если кто-то что-то еще понимает про простых роботов и теханализ, то как только появляется ML и DL на основе микроструктуры — понимание падает до нуля. Я один раз попробовал — больше не буду тратить время и ресурс клавиатуры).

ЗЫ. На конференции Биржевой Алгоритм будете про этот эксперимент рассказывать?

Какая нахрен стрижка за 2500, такси и, особенно, баня когда ты в режиме экономии?
Такси вообще понты, на нем часто даже менее удобно с учетом транспортной доступности в Мск, стрижка отличная вполне за 800-1000 можно раз в месяц. Про баню молчу, я там последний раз был 25 лет назад, для здоровья надо по парку пробежки делать и в зал ходить, а не в баню.

Хотя минимальная цифра в 100-120к для жизни одному, снимая жилье, названа верно. Но для Москвы это совсем небольшая зарплата

Думаю что история как с голубцами — кто-то ест мясо, но большинство — капусту.
Хотя мои родители получают хорошую по российским меркам пенсию — 67 и 46 тыс.

Сталин, хозрасчет, социализм… все ясно, автора в ЧС

Если вы иммигрируете из РФ по экономическим причинам — вам не надо никуда иммигрировать

Я ставлю на то что с недвижкой все будет очень плохо в РФ в ближайшие годы с точки зрения ее валютной стоимости. Чем депрессивнее и нестабильное локация, тем дешевле там недвижимость, особенно высокого уровня.

lori, все конечно из-за ужасной проклятой Канады

rog, (свобода, стиль жизни, учёба) - а что из этого похожего может родина предложить?

Балаган типичный ватник, с одной стороны говорит какой он высоко духовный, с другой весь взгляд на иммиграцию в Канаду исключительно со стороны работы, недвижки, баб, денег и т.п. Не приходило в голову что люди по другим причинам уезжают?

Alex Craft, агенты токены как в не в себя кушают, какой код?

Чёрный Ленин, на аппаратном нет, но пользователей, да, могут начать банить

Алексей, вторая покупается, по апи можно китайцами догнаться. А если вы и в это не помещаетесь, значит у вас такие задачи, что придется много платить))

drow, тут да, без HuiHui не обойтись)

Гуру Хренов, мне тоже бывает не хватает $200 на кодексе, тогда подключаю лимиты жены), или по апи гоняю дипсик. Но это пара тысяч долларов в год, а оборудование для подобных моделей это сотни тысяч долларов)

Я вот чего только не пойму — а зачем вам локальные LLM? Обычному юзеру подписка за $20 выше крыши, такому как я — подписка-две за $100-200, плюс, ну сожгу я пару сотен долларов в месяц по API на что то китайское типа дипсика, квена или кими. Забавно разве что поиграться с abliterated моделями, (я на своих двух 3090 проигрался), но тоже непонятно зачем. И так понятно что железо на серьезные модели сейчас стоит не подъемных денег.