лора — только до обучать.
а до обученную модель где-то хранить.
и все это делается на арендованном железе.
и главное в арендованном железе — масштабируется если надо быстро и срочно.
а если не надо — то заплатил обучил попробовал и все.
железо на эксперименты чтобы до обучать.
ОДИН РАЗ в квартал, не чаще lora если.
а остальное время что это железо делает?
при том что на обучение и на инверсенс нужны разные модели.
в инференс ты можешь распараллелить хоть на разные физически машины ОДНУ СЕТКУ.
А вот обучать нужно на одной «видеокарте» — она как инверсенс на разные видеокарты не очень параллелится.
и старые видеокарты или из под майнинга порезанные не подойдут для обучения никак.
Ho_Chu, проверить идею можно и на подписке.
не надо вот это городить.
или саму модель по подписке ту что умная.
а голос-текст и обратно — локально на gemma4.
снижает раундтрип.
чем отдельно вызывать голосовые модели.
Alex Craft, локальная модель может быть лучше если:
1) генерить порно — есть куча ии инфлюенсеров в телеге уже.
2) контекст связанный с обманом в т.ч 1).
3) если данные для комании важны — персональные данные например.
или вообще данные ограниченного доступа.
госуха например.
но там уже не локальные модели а вполне большие китайские kivi 3.
на дорогих серверах.
4) обработка звука сразу в модели — gemma4 — можно не выделять голосв в текст — отдельным запросом.
а делать это локально.
а в большую ллм уже передавать текст.
это еще и безопаснее так как распознанный текст можно проверить тут-же локально на стоп слова.
пред отправкой в ллм наружу.
Гуру Хренов, купил на авито 2 недели назад для подобных целей rtx2060 12гб за 13к рублей.
(чуть дороже чем по гб за 1к)
Есть материнки куда влезают 4 таких карты.
дунвольтишь их — чтобы ядра работали медленнее — там главное память.
и у тебя 48гб видеопамяти на 4 видеокартах.
(50к рублей)
+xeon 12 ядер + 32gb + серверная материнка которая имеет 4 выхода (или переходная видеокарта)
(30к)
за примерно 1к usd.
а еще есть майнинговые видеокарты.
там ~20гб вообще за ~15к рублей.
можно собрать 80гб видеопамяти за 1к usd в сборе...
но тут придется с драйверами морочится.
и подбирать чтобы слои ллм модели ложились так чтобы между видеокартами было мало обмена данными.
так урезана шина данных.
и да сами рабочие проекты строго платят за токены.
— так как там главное требование маштабирование проекта у клиента.
а этот только покупать именно токены.
и еще один момент что твой ллм отвечает на вопрос «чей крым»
есть проблемы с подобным пулом стоп вопросов.
и решение этих проблем тоже стоит денежек.
(самая дорогая часть для проектов в РФ)
Сергей Морилов, это не доходные дома коммерческие.
а муниципальное жилье.
которое строится на муниципальные деньги.
и на деньги больших бизнесов рядом.
(вот ровно как в СССР)
а не по коммерческим расценкам при ставке 14% годовых.
и в таком жилье живут в ГОРОДАХ примерно ПОЛОВИНА семей в европе.
Именно по этому так там мало доля собственности жилья.
Потому что жилье предоставляется муниципалитетом.
И из него хрен выселишь — оно НАДЕЖНЕЕ ЧЕМ ИПОТЕЧНОЕ.
А не коммерческое.
Vladimir Kharitonov, есть проблема что те кто покупают 2-3 квартиры не заводят 6-7 детей.
а те кто мог бы завести детей не заводят потому что негде.
если квартира это инвестиция то страна такая умирает за два поколения.
ипотека это геноцид получается ровно по опредению геноцида — ограничение рождаемости административными мерами.
живет страна только если квартира это жилье.
во всех этих европах с дорогим жильем ПОЛОВИНА ЖИЛЬЯ МУНИЦИПАЛЬНАЯ.
с многолетними контрактами с муниципалитетом.
и та часть семей что не имеет своего жилья живет в муниципальном жилье, может там родить, ДЕЛАТЬ РЕМОНТ, иметь гарантии.
в РФ же просто дорогое жилье и все.
нет муниципальной части для семей.
во Франции например трехкомнатная муниципальная дается ВСЕМ СЕМЬЯМ с ребенком.
вот у тебя есть ребенок — приходишь в муниципалитет и получишь трешку в жилье.
да не в собственность.
но трешка уровня наших хрущевок.
в пятиэтажке строй -ну вот хрущевка трешка ровно.
с газом, со стиральной машиной, с мебелью… ну такой.
(кровать и стол кухонный, ХОЛОДИЛЬНИК, кухня там вот кухонный обвес весь , полностью санузел)
заезжай и живи.
и можешь жить там пока дети не вырастут.
и для этого даже ГРАЖДАНИНОМ быть не обязательно.
просто легально находится постоянно.
Ильфат Искандеров, морской шельф катастрофу сша чинили долго и нефти нам вылилось море.
и дальше бы выливалось сколько лет?
возможно сотни лет.
и за сотни лет просто весь берег всю береговую линию без чистки уничтожили.
всю прибрежную живность в океане.
на всем континенте.
Если вы торгуете в плюс.
Вам все такие штуки не нужны.
Есть финам коммон где вы просто выкладывает валидированные результаты.
И инвесторы набегут.
В т.ч. можете сами их собирать прямо туда. в финам.
Все остальное это напрасная трата времени.
Если у них есть капитал то они могут сами связаться с ЛУЧШИМИ из финам коммон у кого треки по несколько лет валидированные.
и договорится о копировании и\или о специальных условиях.
Если так не сделали, то капитала ИМЕННО ТОРГОВОГО у них нет.
А раз у них его нет то и вам они его не дадут.
(Это не значит что вообще денег нет,
деньги наверно есть, но вот торгового — под риск нет)
Вы же ищите именно торговый капитал под риск.
Такие штуки много кто пытался сделать.
В том числе вполне честные люди.
Алекс Ван например искал команды с альфой....
И даже сотрудничал несколько лет назад с несколькими трейдерами — аналитиками.
Ничего там не выросло.
Даже у честных людей ничего там не растет в процессе попытки выявить трейдеров и дать им денег.
Либо трейдер не может — и это выявляется,
либо МОЖЕТ но от предложения рисковать СНАЧАЛА СВОИМИ он удивленно убегает.
Самое жизнеспособное это логика финам коммон.
когда трейдер не обязан ничего компенсировать.
и никто даже не пытается его заставить или договорчик подсунуть с компенсацией.
Как только в договоре компенсация убытков плюсовой трейдер сразу говорит — нет.
Так как плечи он и у брокера возьмет под СВОЙ риск.
А сверх того что дает брокер риска лучше не брать НИКОГДА.
стойки, разводка сетей и слабо точки.
те-же требования.
это жестко захардкоренный под ОДНУ операцию хеша и повторенный на чипе 100 000 раз алгоритм.
ничего другого он делать не может.
а вот видеокарты из под майнига эфира и подобных можно под ллм применить.
технически.
только там экономика не сойдется уже в электричестве.
электричество сделает токен от этого железа ДОРОЖЕ чем купить ллм сервис.
технически можно но только если крутить что-то что нельзя отдать наружу.
это такой-же кредит но выбивать его придут бандиты.
а золотишко это мелочи — в лобмард сдать на еду.
машина уже и так в залоге.
в лучшем случае есть недвижимость против долгов.
об этом лучшем случае говорит.
а вообще они все пройдут через банкротства.
так как все на заемные деньги.
весь бизнес купи- продай он на заемные деньги.
иначе его не построить.
так как нашел нишу — ее надо занять быстро.
нативный рост на свои не даст занять быстро нишу.
с другой стороны вот товар, вот история его продаж которую не подделать — от валлберис и озон, — и под него хорошо кредитуют банки.
так-же обрабатывается.
с учетом знака.
нет корреляции это 0.
все остальное в ОБЕ СТОРОНЫ от 0 чем дальше тем лучше.
Все компьютерные и ит фирмы на этом законе должны упасть в цене?
так что можно rag свой локальный+ внешняя жирная модель.
есть уже даже скиллы на это.
и mtp сервера — самый простой вот пример.
можно прямо его в rag обернуть
{ «mcpServers»: { «Memory»: { «command»: «npx», «args»: [ "-y", "@modelcontextprotocol/server-memory" ], «env»: { «MEMORY_FILE_PATH»: «memory.json» } } }}
лора — только до обучать.
а до обученную модель где-то хранить.
и все это делается на арендованном железе.
и главное в арендованном железе — масштабируется если надо быстро и срочно.
а если не надо — то заплатил обучил попробовал и все.
железо на эксперименты чтобы до обучать.
ОДИН РАЗ в квартал, не чаще lora если.
а остальное время что это железо делает?
при том что на обучение и на инверсенс нужны разные модели.
в инференс ты можешь распараллелить хоть на разные физически машины ОДНУ СЕТКУ.
А вот обучать нужно на одной «видеокарте» — она как инверсенс на разные видеокарты не очень параллелится.
и старые видеокарты или из под майнинга порезанные не подойдут для обучения никак.
однозначно почасовая аренда на обучение.
не надо вот это городить.
или саму модель по подписке ту что умная.
а голос-текст и обратно — локально на gemma4.
снижает раундтрип.
чем отдельно вызывать голосовые модели.
1) генерить порно — есть куча ии инфлюенсеров в телеге уже.
2) контекст связанный с обманом в т.ч 1).
3) если данные для комании важны — персональные данные например.
или вообще данные ограниченного доступа.
госуха например.
но там уже не локальные модели а вполне большие китайские kivi 3.
на дорогих серверах.
4) обработка звука сразу в модели — gemma4 — можно не выделять голосв в текст — отдельным запросом.
а делать это локально.
а в большую ллм уже передавать текст.
это еще и безопаснее так как распознанный текст можно проверить тут-же локально на стоп слова.
пред отправкой в ллм наружу.
Petr S, модели ОЧЕНЬ! хорошо.
практически ЛИНЕЙНО! по производительности.
параллелятся.
при инференсе.
4x16 может дать БОЛЬШУЮ СКОРОСТЬ чем 1x64
так как скорость памяти — а это ключевой момент.
тупо суммируется у видеокарт.
Petr S, да. именно там 4 линии всего pci.
но это влияет только на загрузку модели — дольше грузится.
уже загруженная модель будет обмениваться между видеокартами ТОЛЬКО в склейке слоев.
условно 72 слоя.
4 видеокарты.
по 18 слоев на видеокарту.
так вот эта урезанная в 4 раза скорость обмена между видеокартой и озу НЕ НАГРУЖАЕТСЯ в процессе работы.
не является узким горлышком.
важна скорость самой видеопамяти для расчета слоев модели. а она нормальная у майнинговых видеокарт. не порезанная.
(чуть дороже чем по гб за 1к)
Есть материнки куда влезают 4 таких карты.
дунвольтишь их — чтобы ядра работали медленнее — там главное память.
и у тебя 48гб видеопамяти на 4 видеокартах.
(50к рублей)
+xeon 12 ядер + 32gb + серверная материнка которая имеет 4 выхода (или переходная видеокарта)
(30к)
за примерно 1к usd.
а еще есть майнинговые видеокарты.
там ~20гб вообще за ~15к рублей.
можно собрать 80гб видеопамяти за 1к usd в сборе...
но тут придется с драйверами морочится.
и подбирать чтобы слои ллм модели ложились так чтобы между видеокартами было мало обмена данными.
так урезана шина данных.
и да сами рабочие проекты строго платят за токены.
— так как там главное требование маштабирование проекта у клиента.
а этот только покупать именно токены.
и еще один момент что твой ллм отвечает на вопрос «чей крым»
есть проблемы с подобным пулом стоп вопросов.
и решение этих проблем тоже стоит денежек.
(самая дорогая часть для проектов в РФ)
а муниципальное жилье.
которое строится на муниципальные деньги.
и на деньги больших бизнесов рядом.
(вот ровно как в СССР)
а не по коммерческим расценкам при ставке 14% годовых.
и в таком жилье живут в ГОРОДАХ примерно ПОЛОВИНА семей в европе.
Именно по этому так там мало доля собственности жилья.
Потому что жилье предоставляется муниципалитетом.
И из него хрен выселишь — оно НАДЕЖНЕЕ ЧЕМ ИПОТЕЧНОЕ.
А не коммерческое.
а те кто мог бы завести детей не заводят потому что негде.
если квартира это инвестиция то страна такая умирает за два поколения.
ипотека это геноцид получается ровно по опредению геноцида — ограничение рождаемости административными мерами.
живет страна только если квартира это жилье.
во всех этих европах с дорогим жильем ПОЛОВИНА ЖИЛЬЯ МУНИЦИПАЛЬНАЯ.
с многолетними контрактами с муниципалитетом.
и та часть семей что не имеет своего жилья живет в муниципальном жилье, может там родить, ДЕЛАТЬ РЕМОНТ, иметь гарантии.
в РФ же просто дорогое жилье и все.
нет муниципальной части для семей.
во Франции например трехкомнатная муниципальная дается ВСЕМ СЕМЬЯМ с ребенком.
вот у тебя есть ребенок — приходишь в муниципалитет и получишь трешку в жилье.
да не в собственность.
но трешка уровня наших хрущевок.
в пятиэтажке строй -ну вот хрущевка трешка ровно.
с газом, со стиральной машиной, с мебелью… ну такой.
(кровать и стол кухонный, ХОЛОДИЛЬНИК, кухня там вот кухонный обвес весь , полностью санузел)
заезжай и живи.
и можешь жить там пока дети не вырастут.
и для этого даже ГРАЖДАНИНОМ быть не обязательно.
просто легально находится постоянно.
так что таких людей довольно много.
учитывая что любое жилье с рук УЖЕ ВТОРИЧКА, даже новое.
и дальше бы выливалось сколько лет?
возможно сотни лет.
и за сотни лет просто весь берег всю береговую линию без чистки уничтожили.
всю прибрежную живность в океане.
на всем континенте.
а фьюч стал без дивидентентов ровно в 10:00
так что все ровно.
вопрос конечно к бирже и ее планке.
зачем там планка… если в этот момент в сбере нет планки.
а так-же тем, кто на планке покупал.
так что если счет 10-20 лямов то можно было забрать лям.
Если вы торгуете в плюс.
Вам все такие штуки не нужны.
Есть финам коммон где вы просто выкладывает валидированные результаты.
И инвесторы набегут.
В т.ч. можете сами их собирать прямо туда. в финам.
Все остальное это напрасная трата времени.
Если у них есть капитал то они могут сами связаться с ЛУЧШИМИ из финам коммон у кого треки по несколько лет валидированные.
и договорится о копировании и\или о специальных условиях.
Если так не сделали, то капитала ИМЕННО ТОРГОВОГО у них нет.
А раз у них его нет то и вам они его не дадут.
(Это не значит что вообще денег нет,
деньги наверно есть, но вот торгового — под риск нет)
Вы же ищите именно торговый капитал под риск.
Такие штуки много кто пытался сделать.
В том числе вполне честные люди.
Алекс Ван например искал команды с альфой....
И даже сотрудничал несколько лет назад с несколькими трейдерами — аналитиками.
Ничего там не выросло.
Даже у честных людей ничего там не растет в процессе попытки выявить трейдеров и дать им денег.
Либо трейдер не может — и это выявляется,
либо МОЖЕТ но от предложения рисковать СНАЧАЛА СВОИМИ он удивленно убегает.
Самое жизнеспособное это логика финам коммон.
когда трейдер не обязан ничего компенсировать.
и никто даже не пытается его заставить или договорчик подсунуть с компенсацией.
Как только в договоре компенсация убытков плюсовой трейдер сразу говорит — нет.
Так как плечи он и у брокера возьмет под СВОЙ риск.
А сверх того что дает брокер риска лучше не брать НИКОГДА.