llm

Ничего конкретного, так, локальный поток мыслей.

 

Немножко стриггерено соседними постами про AI, убивающий алго, или трейдинг в целом, или рынок, не помню уже.

 

Буду стараться, говоря про AI оперировать понятием LLM, это намного предметней.

 

Исчезнет ли возможность зарабатывать на рынке в течение 10 лет — думаю, нет. Исчезнет ли рынок в течение 10 лет – думаю нет. Станет ли зарабатывать сложнее (в другой формулировке: станет ли рынок эффективней) – думаю, да, это общий тренд, он и до LLM был. Другое дело, что, возможно, не корректно оценивать просто эффективность рынка в вакууме. Корректно оценивать эффективность в контексте имеющихся технологий и знаний, с этой точки зрения эта некая «относительная эффективность» вероятна колеблется в районе константы. Другими словами, ты просто используешь другие технологии, подходы, концепции, вычислительные мощности для извлечения эджа, это делает твои действия в абсолютном значении намного более эффективными, но в относительном ты, по сути, стоишь на месте.

( Читать дальше )

Сознательная часть мозга делает свою работу, но и бессознательная не спит. И она у меня генерировала… опасения на тему AI и будущего, ближайшего и не очень. Сделал некоторый заныр по некотором веткам этой тематики, чтобы получить для себя ответы на некоторые вопросы, в частности в разрезе конкретных рисков и опасений. Немножко причесал представление по этой теме.

 

Ну что, если будущее ещё не наступило, то уже явно подступает.

 

Многое из того, что мы читали в фантастических книжках уже за окном или скоро будет.

 

Что например:

— Разговаривать с костюмом, машиной, компьютером, чем угодно.

— Говорить компьютеру: найди мне то, обобщи мне это, а помнишь, а как ты думаешь, а приблизь картинку и т.д.

— Более мощный AI (а-ля AGI) – тоже не выглядит чем-то далёким.

— Роботы уже прыгают, ходят очень бодро, мелкая моторика уже тоже вполне ух, LLM к ним уже тоже прикручивают, в том числе мультимодальные, это все постепенно становится лучше, в какой-то момент покажут что-то прорывное, каким был в свое время айфон, например.

( Читать дальше )

Демократизация доступа к вычислительным мощностям — один из ключевых драйверов роста развития Generative AI. На сегодняшний день одним из основных сдерживающих факторов для разработки новых больших языковых моделей (LLM), которые обеспечивают работу Generative AI, является крайне высокая цена процессоров (GPU), из-за чего стоимость разработки одной модели может превышать $100M.

Ключевой причиной крайне высоких цен является резкая нехватка процессоров на рынке: в 2023 единственным чипом, адаптированном под создание больших фундаментальных моделей, был H100 от Nvidia, стоимость которого превышает $40k за единицу, в то время как для обучения и работы таких моделей, как Anthropic Claude или GPT-4 OpenAI, требуются тысячи GPU.

Однако рынок начинает меняться и в скором времени монополия Nvidia может закончиться. На этой неделе был представлен новый процессор Intel Gaudi 3 разработанный специально для обучения Generative AI. Согласно пресс-релизу, производительность нового чипа Intel в 1.7х превосходит результаты Nvidia H100 и в 1.3х превышает заявленные результаты H200, нового поколения процессоров Nvidia, релиз которых запланирован в середине 2024.

( Читать дальше )

VK разработала собственную языковую модель (LLM) для генерации текстов, используя комментарии из открытых групп «ВКонтакте». Первые функции тестируются в сервисах Mail.ru, а также аналогичные технологии изучаются в «Яндексе». Основной упор делается на автоматизацию рабочих задач, а не на добавление функций в соцсеть.

Разработка LLM осуществлялась на основе открытых текстов из интернета и публичных данных «ВКонтакте». Эксперты отмечают перспективы использования таких моделей в рабочих сервисах. Тестирование происходит в сервисах Mail.ru, а также рассматривается в «Яндексе». VK также разрабатывает продукты для госслужащих.

В долгосрочной перспективе VK рассматривает внедрение технологии в рабочие сервисы. Компания располагает вычислительными мощностями для тренировки LLM и имеет достаточные ресурсы для этого. Основным направлением разработки является автоматизация рабочих задач.

Источник: www.kommersant.ru/doc/6533556

Квантовая физика как сонет Шекспира. 

Торговая теория, объясненная пиратом. 

Детская сказка о космическом динозавре. 

Люди с удовольствием просили современных чат-ботов создавать всевозможные необычные тексты. 

Некоторые запросы оказались полезными в реальном мире — например, маршруты путешествий, школьные сочинения или компьютерный код. 

Современные большие языковые модели (ЛМС) могут генерировать их все, хотя тем, кто уклоняется от домашней работы, следует остерегаться: модели могут ошибаться в некоторых фактах и склонны к полетам фантазии, которые их создатели называют «галлюцинациями».

Если не принимать во внимание случайные сбои, все это представляет собой огромный прогресс. Еще несколько лет назад такие программы были бы научной фантастикой. Но штамповка письма по запросу может оказаться не самой важной способностью llm. 

Их умение генерировать текст позволяет им действовать как универсальные логические механизмы. Они могут следовать инструкциям, генерировать планы и отдавать команды для выполнения другими системами.

( Читать дальше )