Блог им. MoneyMan

Будущее Алготрейдинга

    • 01 июля 2023, 10:14
    • |
    • T-800
  • Еще
В моем топике про итоги полугодия коллега Дмитрий Ермаков поднял тему про «бизнес эпохи будущего» в контексте торговых роботов.

Хочу отдельно высказать свое мнение о возможном сценарии развития трейдинга в будущем. Еще раз подчеркну, что речь всего лишь о возможном сценарии и не претендую на истину в последней инстанции.

Итак, в последний год много нейронки типа ChatGPT дошли до рядового обывателя. Это говорит о том, что уровень этих систем вырос до практического применения. А новые версии ChatGPT4, 5, 6,… уже плотно войдут в обыденную жизнь. Пока нейросети добились успеха в составлении текстов, рисунков и программировании. Рано или поздно нейронки доберутся до трейдинга. Уверен, что сейчас уже во всю идут работы в этом направлении у тех, кто может себе это позволить (тут я имею ввиду не простенькие нейросети в трейдинге, про которые уже лет 20 мелькает информация, а профессиональные, уровня ChatGPT3, 4).
И как сейчас большинство статистически обоснованных стратегий алго обыгрывают общую массу интуитивных трейдеров (за исключением, конечно Ильнура, Олега, Карпова и других профи), так и профессиональная нейронка сможет обыгрывать статистический алготрейдинг, в котором также интуитивно принимается решение, например в вопросе «система уже сломалась или просто в просадке».
Для успешной работы трейдинговой нейронки требуется анализ огромного количества параметров и инструментов за определенный (не маленький) период времени. И чем чаще будет проводится такой анализ, тем адекватнее будут системы рынку (ChatGPT знает что было пару лет назад и ранее, а это значит, что пока нейросети очень долго обрабатывают информацию). Нужны большие вычислительные мощности (перестроить майнинговые фермы под нейронки?)
Для рядового алготрейдера выдержать конкуренцию с огромными вычислительными мощностями крупных компаний будет практически нереально. Произойдет консолидация рынка в руках нескольких крупных игроков, как это происходило, например в ритейле и других областях. Поэтому либо сейчас забирать, то что дают с рынка, либо запрыгивать в этот разгоняющийся поезд нейросетей (либо и то и другое).

UPD: скорее всего это не коснется инвесторов, ХФТ, арбитражеров и ряда других видов трейдинга.

Всем добра.
Не является ИИР)
★2
80 комментариев
И сколько еще лет существования Вы даете нашим системам? 
avatar
SergeyJu, процесс же растянут по времени. Ближайшие лет 5 нам точно ничего не угрожает. Надо смотреть за рынками США, если там появится информация об успешных проектах, то через некоторое время это может появиться и у нас.
avatar
Времени еще много, но не стоит недооценивать такой сценарий
avatar
T-800, имхо наш рынок слишком мал 
один два мега проекта могут просто быстро упереться в потолок ликвидности или масштабируемости

ну что такое 15-20 ликвидных бумаг? их обсчитывать это просто греть воздух
пара проектов если будут максимально эффективно работать за год-два могут просто поделить между собой весь рынок
это как при игре в монополию — когда все фишки уже разошлись поигрокам и каждый круг это просто передача денег между собой, а в банке уже денег не осталось — выход печатать деньги и доп эмиссии
avatar
evg_gen, согласен, рынок мал и два проекта справятся с отъемом денег у:
— 95% тех кто пришел на рынок в первый год
— финансовых организаций, работающих на рынках с нетрейдинговыми целями
— «домохозяек»
— текущих успешных трейдеров
— прочих контрагентов
avatar
T-800, тоже посещают такие мысли. Но вот алготрейдеры тоже рубят по 5-20% в месяц на капитале 1-20 млн. условно. Это не значит, что получится так делать на капитал в 1 млрд рублей. Вернее, точно не выйдет. Поэтому для большого игрока с нейронкой вопрос стоит не когда совершать сделки, а как. Огромный капитал, совершающий целенаправленные действия как акула — она видна, и прилипалам можно фронтраннить. Вариант превратить рынок в контртрендовое болота есть, но такого игрока порвет, тк он не сможет манипулировать курсом нацвалюты и коммодов.

Еще есть риск, кстати, вмешательства государство в биржевой процесс ценообразования. Но при текущей власти биржу прикрыть не должны
avatar
krolix, думаю если подключать ИИ то и проблема фронта рана решается колокацией — это капля в море бюджета..

бесит фронтран — не как не могу понять моя заявка как мейкерская исполняется или тейкерская, если она даже в стакане не успевает мелькнуть
avatar
evg_gen, понимаю, поэтому бью по рынку. Пока терпимо — комса с учетом фондовой секции около 10% от прибыли)

Я немного про другой фронтран — длительный — большой объем невозможно набрать одной заявкой. Надо что-то типа движущегося айсберга делать. Например, минут 15 набирать. А это успевают увидеть мелкие алго, ибо тренд пошел, и запрыгнуть до окончания набора позы. То есть нам еще и помогут, цену разгонят. Что нейронка будет торговать? В нише hft? Ну так это очень конкурентная и переменчивая сфера, я скептичен относительно перспектив нейросеток здесь.
avatar
krolix, в хфт не залезут. Это другая тема, и кстати тоже под контролем крупных игроков с дорогими решениями
avatar
T-800, в инете есть работы, не помню, научные или нет, как нейронки уже применяют при анализе трафика и выявлении сетевых атак. В свое время касперский звал меня на такой проект.

вот думаю, если такие наработки применить на анализе трафика ордеров и засунуть в хфт )

вообще у нас на рынке примерно такие вещи действуют и вроде как не плохо
avatar
krolix, Но вот алготрейдеры тоже рубят по 5-20% в месяц на капитале 1-20 млн. условно.
Я знаю только одного серьёзного алготрейдера (Александра Горчакова), и там не заметно таких доходностей… Какая-то выдуманная результативность, как и в случае
Ильнура, Олега, Карпова и других профи
avatar
Михаил К., так почитайте автора, Дмитрия Овчинникова. Даже у меня доходность около 17% в квартал средняя. У Горчакова очень большой капитал в управлении, что, увы, снижает эфыективность. Есть потолок ликвидности в отрасли. По этой же причине свои системы лучше не продавать. Все если и торгуют +- одно и то же, но заходы все равно по-разному оформляют
avatar
krolix, прямо вот всегда, гарантированная доходность 17% в квартал? А не думали, что руками могло и лучше выйти? Просто, в чем преимущество алго? Это ведь всего лишь глупый алгоритм. 
avatar
Михаил К., это средняя, с учетом слабых годов типа 2021. В последние 3 квартала выше — в этом 22%, например. Руками не лучше: вариаций ботов более 70 на разных инструментах, для получения статпремущества надо четко исполнять профитный алгоритм
avatar
T-800, вы высокочастотных (HFT) роботов имеете ввиду под тем алготрейдингом, с которым могут конкурировать биржевые «ChatGPT»?

Какая должна быть частота сделок?
avatar
V.V., нет, я имел ввиду, что нейронки могут конкурировать со спекулятивным трейдингом, кроме хфт, инвестиций.
avatar
evg_gen, масштабировать будут успешное на более мелкие рынки, вот и все
Не забывайте про обратную связь. Если кто-то начнет стабильно обыгрывать рынок, то сразу возникнет неэффективность.
avatar
Дмитрий Овчинников, программисты станут учителями, как и математики
Дмитрий Ермаков, 
да, также, как и музыканты, спортсмены и все остальные. Нужны единицы талантливых профессионалов, все остальные всего лишь шлак.
ИИ не способен видеть будущее априори
а вот в прошлом ковыряться ему место и на здоровье 
я лично спокоен 
Валерий Осипенко, Будущее создают. Пусть и через людей, но это будет царство машин. ИИ сделает рынок предсказуемым. Превратит его в строгую и контролируемую систему слияния и поглощения ресурсов и капитала. Получим идеальную командную экономику
У людей цель прибыль на колебаниях и в тренде. У ИИ цель усилить управляемость. Сжимать рынок. Получится пинг-понг
Дмитрий Ермаков, вас понял и даже очень
имею иную картину будущего в котором место Человека будет больше чем сегодня
да, есть люди у которых мало мозгов и которые даже не могуи сформировать собственное видение мира вокруг, поэтому пользуются чужими мнениями и даже религиозными догмами
это не есть ни плохо, ни хорошо- это просто факт, но таких всего 1/3 о от всех- вот для них Ии будет новым божеством, потому с их позиции ИИ велик
как предтеча такого Кашпировский и Чумак 
я про другое и других людей
и это то же всего лишь факт 
вот дипфейк поопасней будет. но то же решаемо
просто Человеку придется чуток подвинуться 
я за то что б цвели все цветы 
Дмитрий Ермаков, я вот все думаю когда графики превратятся в нечто похожее на график Каги. Только Каги это по сути индикатор, а вот если сам рынок станет таким это будет жесть.
avatar

Также я не очень понимаю к чему такой buzz по этим «цепям Маркова».

Вчера (условно) случилось более важное событие — Открытие гравитационно-волнового фона. www.youtube.com/watch?v=rkdyVA0xiVI&t=0s

avatar
nicknh, да это реклама ИИ
про генерацию картинок
одна недавняя картинка Путина как невозможность ИИ предугадать ее никогда о койчем говорит точно
Ничего не изменится в базе. Изменения произойдут только если поменяется сама модель рынка из-за вмешательства регулятора в результате какого-то серьезного кризиса ликвидности. Но это будет означать появление альтернативного рынка на котором повторится текущая модель.

Другими словами: рынок эффективный, кто бы на него ни пришел он будет двигаться в бок и в импульс в бок и в импульс. Исключение: коммунизм, плановая экономика, гос регулирование цен. 
avatar
Biopsyhose trader, в ваш список исключений добавлю -тюрьма
там все всегда стабильно 
даже если ИИ спрогнозирует весь рынок в данный секунд, остаюсь я который может кое что выкинуть 
а может и вы ? 
Biopsyhose trader, рынок с годами меняется. Нейронки его изменят в очередной раз.
avatar
T-800, назови один год в истории когда ликвидный рынок двигался без боковиков и импульсов на дневном таймфрейме?
avatar
Тут такое дело, любое вмешательство в рынок влияет на результат, то, что называется «загадка наблюдателя» или "эффект наблюдателя" в квантовом мире. Поэтому использование ChatGPT и подобных систем для прогнозироания движения котировок несомненно изменит движение котировок и рынок снова будет сложно предсказуемым. Но с роботами, я считаю, биржа должна бороться, поднимая комиссии. Возможно создавать какие-то альтернативные рынки, тот же срочный рынок, но спорт фондового рынка должен быть ориентирован на инвесторов, а не на алго-спекулянтов.
avatar
Не во всех видах человеческой деятельности бог находится на стороне больших батальонов. Каждый раз фейспалмлю, читая про огромные вычислительные мощности крупных компаний.
ChatGPT

Так много упоминания этого слова я последний раз видел в телевизионных новостях, ну и ещё в одном из чатов интернета, где ципсовики с Украины в свободное от защиты Зеленского время рекламировали этот ресурс. Оно и понятно:
ChatGPT (от англ. Generative Pre-trained Transformer «генеративный предварительно обученный трансформер») — чат-бот с искусственным интеллектом, разработанный компанией OpenAI 

OpenAI — американская компания, занимающаяся разработкой и лицензированием технологий на основе машинного обучения. Одним из основателей является предприниматель Илон Маск

Сэмюэл Х. Олтмен (англ. Samuel H. Altman, МФА: /ˈɔːltmən/; родился 22 апреля 1985 г.) — американский предприниматель, инвестор, программист и блоггер. Он является генеральным директором OpenAI 
Он получил свой первый компьютер в возрасте 8 лет. Он родился в еврейской семье.
Он был генеральным директором Reddit в течение восьми дней в 2014 году после того, как генеральный директор Ишан Вонг ушел в отставку

А я думаю, откуда все Реддит знают)) Маск+евреи=гремучая смесь из капитализации и самопиара))
Олтмен был вегетарианцем с детства. Олтмен — гей, не скрывающий это с подросткового возраста

Жаль не инвалид, а то бы я обязательно зашёл на его сайтик. Но поскольку он оставляет слишком большой углеродный след, я воздержусь от любых продуктов, связанных с ФИО Илон Маск.
Жёсткий Ястреб, богато написано… тянет на пост))
avatar
Трейдинг не настолько сложен, чтобы применять в нем сложные нейроники, типа ChatGPT или ИИ. Что называется, из пушки по воробьям.)
avatar
3Qu, такую нейронку можно натаскать на трейдинг по ньюсфиду, соцмедиа или отчётности. ChatGPT даже в текущем виде неплохо "понимает" окраску текста, вычленяет содержательную часть.
avatar
На эту тему, о не понимании и страхах, на ютубе, был фильм 1982г. или 1992г. Страшилка первых нейро-чипов от интел, когда обучение производится на суперкомпьютерах а в сами чипы заливают уже обученный ИИ. Там как раз поднимается вопрос о том как они повлияют на финансовые рынки.
avatar
ИИ как и большинство алготрейдеров будут обучатся на истории. Т.е. делать то что диктует история, сольется в общий косяк. Чуда не случится. Боятся нечего!
avatar
Сами подумайте, что должно случится, чтобы всё бесконечное разнообразие систем и алго дружно перестали работать?
avatar
22022022, подождать немного и будет совсем нетрудно.) Вполне допускаю такой сценарий, когда все и разом.)
avatar
3Qu, допускаю, что сократятся периоды, фазы. Но это уже происходит!
avatar
22022022, если в мировом масштабе, то, возможно, вы правы. На МОЕХ же совсем другие процессы, и этот процесс — деградация биржи как института.
avatar
ИИ будет работать на полуавтомате. Как и сейчас, тренды на рынке, будут задавать политические воротилы, а кукловоды будут рубить капусту на фондовом рынке при помощи волатильности, которой будет управлять ИИ по командам операторов. Только и всего. Просто облегчение труда операторов. Почему сценарные наброски будут создавать политики? Простой ответ, им принадлежат СМИ. А если устраивать волатильность без логических объяснений на большом количестве эмитентов, то это отпугнёт рядовых участников фондового рынка. С кого тогда стричь шерсть?
avatar
Если 3Qu уже протестировал торговую стратегию от ИИ, дало ли это лучшие результаты, чем его алго-игра без ИИ сегодня?
Как идёт освоение keras + tensorflow?
Rostislav Kudryashov, 
Как идёт освоение keras + tensorflow?
Освоил. Гораздо интересней, чем нейросети (НС) scikit-learn, но не заменяет других методов ML имеющихся в scikit-learn. Каких-то новых результатов по сравнению с НС scikit-learn на данный момент нет.
Напомню, что задача заменить алгоигру нейросетью не стояла, лишь частично дополнить.
avatar
Не лень лить воду про ИИ? Где конкретика личного опыта разработки торговой стратегии?
Попытки использовать нейросети в трейдинге имели место начиная с 1980-х. И все безуспешно. Но привлекательность идеи переложить сложную работу на плечи ИИ заставляет каждые 10-20 лет уже новому поколению трейдеров воскресить эту тему и напрасно убить на ней кучу времени и сил… Тренировка нейросети  — это, по сути, оптимизация механической торговой системы с огромным количеством параметров. Она всегда хорошо работает на тренируемом сете данных, и всегда плохо — на out of sample. 
avatar
Михаил К., 15:34 сколько слоёв и узлов в каждом слое твоей «всегда хорошо работающей на тренировочном наборе данных» нейросети?
В каком framework'е (каркасе, среде) ты построил свою нейросеть?
Rostislav Kudryashov, а что, это принципиально, что за сеть используется? Никакая сеть не может хорошо торговать, потому что (я уже сказал, почему). Могу ещё добавить, что обучением сети занимаются люди, как правило, не умеющие торговать руками (то есть, не понимающие, сути трейдинга). Это, кстати, в полной мере относится и к алготрейдерам. То есть люди, не умеющие что-то делать, пытаются научить компьютер делать это вместо них. 
avatar
Михаил К., 15:156 принципиально, говоришь ли ты чего сам не знаешь (слышал звон) или о своём опыте?
Уклончивость твоего ответа указывает пустозвонство.
Rostislav Kudryashov, о нейросетях я знаю только приблизительно. Так сказать, концепцию нейросетей. Зато я понимаю суть трейдинга. И нейросеть тут просто не нужна. Ещё раз, нейросетями увлекаются те, кто не понимает, в чем суть торговли. Иначе бы они просто не тратили время попусту. 
avatar
Михаил К., в 80х не было достаточных вычислительных мощностей для обработки такого объема информации, который перелопатил современный ЧатГПТ
avatar
T-800, не знаю, верится с трудом, что с увеличением объёма данных результаты нейросетей улучшатся. Ведь трейдинг — это не про объём данных. 
avatar
Елена Прекрасная, 15:47 много слов — ни о чём.
Вопрос простой: есть ли корреляция между ценами предыстории и ценами последующей истории торгов? Такая, что обеспечит доход игрока.
Аналитически вопрос неразрешим. Только практика.
Елена Прекрасная, 15:59 в физике есть генерал-законы — законы сохранения, исходя из которых можно утверждать невозможность невозможного.
Какой генерал-закон указал тебе на невозможность корреляции, упомянутой в комменте Rostislav Kudryashov Сегодня в 16:01?

Или ты исходишь из чистой Веры?
Искать закономерности в прошлом — много ума не нужно… ИИ тут точно нех делать)

Беда в том, что прошлые закономерности не закономерят в будущем.
avatar
$100, нет прошлых «закономерностей» — нет и трейдинга. Другой вопрос, что искать «закономерности» вообще не получится, даже если они реально есть. Это так не работает.
avatar
Довольно странно звучит
3Qu Сегодня в 17:28 ...  Напомню, что задача заменить алгоигру нейросетью не стояла, лишь частично дополнить.
при заявлениях, что после февраля 2022 успешная игра на ФОРТСе обломилась начисто.
Хотя картина True Range для фьючерса на индекс РТС вроде бы не изменилась. Размахи цены 80% 5-минутных интервалов превышают 0.1% цены — это более 100 руб. Покроет любую комиссию с лихвой.
Но если 3Qu освоил-таки нейросети на keras + tensorflow, спрошу:
1) Удалось ли вставить custom (пользовательские) loss функции в работу фукции model.fit()?
2) Удалось ли соотнести аргумент y_true из функции custom_loss (y_true, y_pred) с массивом train_targets? У меня в тензоре y_true порядок элементов совсем не тот, что задавал в определении модели.

Эти и другие заморочки возникли из-за того, что стандартные loss-функции из набора keras ведут к бесполезным предсказаниям модели (y_pred, predictions).
При тестировании стратегии на истории торгов можно не смущаться «непредсказуемостью будущего». И предыстория в несколько (единиц-десятков-сотен?) баров для формирования решения о входе в позицию и последующая история жизни этой позиции — уже в прошлом.
Вопрос о корреляции цен предыстории с последующими ценами.

Но если кто построил модель, обученную на одном историческом интервале, которая так же хороша и на других достаточно больших исторических интервалах, может рискнуть своими деньгами и на будущих интервалах.
Rostislav Kudryashov, 18:07 инженеры, используя закон Гука, ничуть не смущаются «непредсказуемостью будущих» деформаций разных твёрдых тел. Хотя в деформации каждого отдельного тела участвуют мириады частиц, присущих только этому телу.
Достаточно установить модуль упругости для конкретных материалов.
Нейросеть сделает это на раз-два.
Нейросети не просто позволяют увеличить объём анализируемых данных.
Нейросети позволяют почти неограниченное усложнение модели, вводя в неё тысячи, миллионы параметров.
Оптимизация модели градиентным поиском с "обратным распространением ошибки" от последнего слоя к первому имеет громадную производительность против других методов минимизации.
Никакие "генетические алгоритмы" даже близко не стоят.
Rostislav Kudryashov, ну вот, что и требовалось доказать. Миллионы параметров. Прямой путь к курва-фитингу. 
avatar
Михаил К., 21:07 невежество не служит оправданием.
Количество параметров определяется сложностью задачи.
Перечти 101books.club/carte/descarca-francois-chollet-deep-learning-with-python-pdf
Как это делается
«Deep Learning with Python 2Ed» Fransois Chollet
Глава 5 Fundamentals of machine learning
Раздел 5.1.1  Underfitting and overfitting
Задачи решаются умными так, чтобы была польза.
А дураки могут и позубоскалить — без пользы.
Rostislav Kudryashov, ну, я полистал книжку. Ничего не понял. Там же вроде разговор был о распознавании изображений? Но, не суть. Твоя проблема заключается в твоей уверенности, что решение такой сложной задачи, как предсказание рынка, требует применения в той же степени сложного инструментария. Но это не так! Рыночных и прочих данных, которых можно скормить нейросети, колоссальное множество. Но, проблема в том, что большая часть этой информации бесполезна и не имеет прогностической ценности. Я уже где-то выше говорил, что попытки применения нейросетей в трейдинге имеют давнюю (и не внушающую оптимизма) историю. Думаешь, с усложнением технологий и увеличением вычислительных мощностей, ситуация изменится? Я сомневаюсь, потому что считаю этот подход изначально в корне не верным. Зачем привлекать ИИ (или даже вообще алгоритмический подход), если простые, нарисованные от руки, линии тренда и поддержки/сопротивления, плюс определенный период практики, даст заведомо лучший результат?
avatar
Как можно называть ИИ- интеллектом. Это шаблонно настроенный код, ИИ не может сам себя править, проводить самодиагностику. Вот когда научат ИИ этому, тогда и станет интеллектом(терминатор). А пока это  универсальный копирайтер.
п.с.
Машина не может смотреть ценовой график, как видит его человек. Судный день отменяется.
avatar
BearBull, терминатор работал на 6502, а не на каких-то там нейросетях. Принципиальное отличие микропроцессора 6502 от нейросетей — те, кто с ним имел дело, как правило понимали принцип его функционирования. 
Будущее алготрейдинга в закрытости обмена знаниями. Чем меньше сгенерированных идей мы вывалим в публичные соцсети, тем большим конкурентным преимуществоом в алго мы будем обладать. Это тот же принцип полицейских фильмов «все сказанное вами может быть направлено против вас».

Сила того же Чата состоит в том, что обучающее множество его представлено, например, целиком скачанным reddit-ом.
avatar
Очень странно что адготрейдер задаёт себе вопрос " система сломалась или в просадке"
Такого вопроса вообще быть не должно
С матчастью автору надо разбираться, и разбираться серьёзно.
Все *chatGPT это Т9. Продвинутые, но не более. Могут дать общие рекомендации относительно ПРИНЦИПОВ выбора инструментов для ИНВЕСТИРОВАНИЯ, но не для трейдинга и не для спекуляций, и не конкретных инструментов и не на конкретных рынках.

В целом, о нейронных сетях (deep learning).
Существует много классов нейронных сетей, разработанных под узкоспециальные задачи, одна из них — chatGPT. По сути, это набор LSTM сетей.
А ещё:
1. Распознание изображений
2. Классификация
3. Сегментация
4. Аугментация
5. Прогнозирование временных рядов
и ещё там штук 50 далее по тексту

В чистом виде в трейдинге не работают, а это значит, что архитектор, методолог и разработчик должны думать, что они делают.

Базис, о котором можно говорить — цена хаотична или случайна, что не одно и то же, но сути это не меняет. Нейросети с этим не справятся.

Вижу тут между строк «грааль найден», это не так, конечно.
Ещё и эластичность цены. Ордера на $1000 и $1bln дают понимание, как будет реагировать рынок.

Для успешной работы нейронки достаточно 7-15 параметров, только тут вопрос в том, что считать «успешностью» её работы.
avatar

теги блога T-800

....все тэги



UPDONW
Новый дизайн