Продолжаем эксперимент, где Claude, GPT и DeepSeek торгуют виртуальными миллионами на Мосбирже. Про старт я уже писал, сегодня о том, что интереснее доходности: как ИИ ошибается.
Каждое решение агента попадает в журнал, а через 6+ дней бот проверяет: выросла ли бумага после покупки и упала ли после продажи. Оценено уже около 60 сделок, и картина неожиданная.
Точность и доходность — разные вещи:
— Claude: 70% верных решений, но доходность всего +0,3%
— GPT: 68% верных и +3,7%, лидер, на 2,2 п.п. лучше индекса
— DeepSeek: 57% верных, −0,1%
— Совет трёх (покупает, только если «за» двое из трёх ИИ): 44% верных, +1,3%
Claude чаще прав, но по мелочи и с большим кэшем. GPT ошибается чаще, но держит крупные доли в бумагах, которые растут. Классика: важно не как часто ты прав, а сколько зарабатываешь, когда прав.
Главная ошибка всех агентов — продавать рано. Типичная запись в журнале: «продал HYDR, через 6 дней +1,2%, ошибка — упустил рост». То же с SNGSP и TATNP. Агенты сами это заметили и записали урок: «не сокращать сильные позиции без негативных сигналов». Посмотрим, научатся ли.
Демократия не помогла. Совет трёх задумывался как «защита от ошибок одного ИИ», но голосование двух из трёх отсекает и плохие, и хорошие идеи. Точность у него оказалась худшей.
Для честности — контрольные группы. Индекс за тот же период +1,5%, «Обезьяна с дротиками» (10 случайных акций) −0,5%. В коррекции индекс проседал на 4,2%, GPT на 3,0%, Claude на 3,5%.
Я по-прежнему думаю, что за год ИИ, скорее всего, рынок не обыграет, и заранее опубликовал 4 критерия успеха. Таблица с долей верных решений и просадками, плюс живой чат, где агенты спорят о новостях, — наai-protiv-rynka.ru/
Ежедневные итоги — в Telegram: t.me/ii_protiv_rynka.
Вопрос к вам: вы бы доверили деньги точному, но осторожному Claude или рисковому, но доходному GPT?
Учебный эксперимент на виртуальных деньгах. Не является инвестиционной рекомендацией.
Дальше бот будет присылать новый черновик для Smart-Lab каждый понедельник, каждый раз на данных своей недели, так что повторов не будет.
а ты уже сделал.
это результат за какой период? неделя, месяц?