Блог им. wrmngr

Но моя модель машинного обучения может прогнозировать цены на активы!

    • 05 декабря 2022, 12:12
    • |
    • wrmngr
  • Еще
  Минутка обучающего контента
   Перевод (twitter.com/bennpeifert/status/1587433226514989057)

Стационарность — одно из важнейших понятий теории вероятностей и статистики.

Суть его значения в том, что конкретный паттерн, который вы пытаетесь понять, постоянен в вероятностном смысле.

Технически это означает, его безусловное совместное распределение вероятностей не меняется со временем.

В блэкджеке правила игры известны и постоянны, и, основываясь на виденных до сих пор картах, мы можем узнать вероятности исходов следующей руки.

В финансах базовая структура мира сложна, неизвестна и меняется со временем. на пути к объективной, достоверной истине мало что есть. Любой анализ исторических данных, предполагающий иное, занижает неопределенность перспективных прогнозов.

Учебники сосредоточены на простых и очевидных случаях, таких как тот факт, что уровни цен на активы (в отличие от изменений) нестационарны. это, конечно, правда, и именно поэтому твиттер-шарлатаны постоянно публикуют графики ложной корреляции двух переменных во времени.

Но гораздо меньше академического внимания уделяется непредсказуемым изменениям в процессах генерации данных для доходности, волатильности, корреляции и т. д.

 

Отрицательные цены на нефть в марте 2020 года из-за нехватки хранилищ — один очень простой пример.

Академикам нравятся модели переключения режимов (regime switching models), но на практике они гораздо лучше подходят к историческим данным, чем к пониманию того, что такое истинные «режимы», и которые помогают наблюдать и прогнозировать изменения в реальном времени.

Когда кто-то пытается подогнать сильно нелинейную модель со многими неявными или явными параметрами к сложной динамической системе с процессом генерации данных, который меняется со временем, то результатом является прекрасное соответствие обучающей выборке и совершенно бесполезное прогнозирование на будущих данных.

Большинство методов AI/ML были разработаны для стационарных задач с высоким отношением сигнал/шум, например, для обработки изображений. Да, есть аналогичные задачи и в финансах, для которых они отлично подходят; на ум приходит автоматизация ручных задач, таких как сопоставление идентификаторов неизвестного формата.

Но наивное предсказание доходности активов не входит в их число. Трюки, которым они учат в классе (валидация с разделением выборки и т. д.), отчасти помогают, но не решают основную проблему, заключающуюся в том, что сигнал очень слаб по сравнению с шумом, и сигналы смещаются быстрее, чем вы можете научиться.

(это всегда было весело)

Есть некоторые очень специфические случаи, когда эта критика менее верна — например, HFT market making, когда имеется огромный объем данных за очень короткие периоды времени, когда основная динамика достаточно постоянна, а модели могут быстро адаптироваться.

B не подходите ко мне с тестами ADF, которые могут разумно ответить только на единственный вопрос типа «это полное безумие, чтобы запустить эту регрессию или посмотреть на этот график?», но не все остальное.

Мы можем научить компьютер играть в ГО, потому что структура игры не меняется. Поэтому мы можем смоделировать миллион игр и обучить нейронную сеть, и следующая игра будет точно такой же, как первый миллион, на котором мы обучались.

Опять же, речь идет не о том, что «машинное обучение бесполезно», совсем наоборот. Но вы должны думать о том, для каких задач оно полезно, как вы применяете это осмысленным образом и как быстро распознать ту чушь, которую вам внушают.

Я раскрываю здесь эту тему с точки зрения финансов, но та же история в целом верна для других сложных явлений, где структура проблемы неизвестна или непостоянна.

Например «мы решаем задачи здравоохранения, используя алгоритмы машинного обучения для диагностики заболеваний». Нет, вы не делаете этого.

★3
61 комментарий
В блэкджеке правила игры известны и постоянны, и, основываясь на виденных до сих пор картах, мы можем узнать вероятности исходов следующей руки.
Дальше читать уже не хочется :)
avatar
Юрий, блекждек имеет даже строгое решение не требующее ML вообще. 
www.amazon.com/Beat-Dealer-Winning-Strategy-Twenty-One/dp/0394703103
avatar
wrmngr, да я это уже сотню раз слышал от любителей обвести казино. Никому из них это еще не удалось :) Но схема рабочая 100% !!
Можно посчитать вероятность любого события без каких либо проблем. Вопрос лишь в том, что использовать в прибыль их не получится. Особенно в блэкджеке. Поэтому, читать дальше не интересно
avatar
Юрий, вы конечно не удивитесь, но автор этой книги (Эдвард Торп) в свое время (в 1960х) на пару с небезывестным Клодом Шенноном даже сконструировали первый в мире носимый компьютер чтобы обчищать казино на рулетке!
avatar
wrmngr, не удивлюсь. Потому что у меня друган, используя обычную тетрадь в клетку из 36 листов, описал рабочую схему выигрыша в рулетку ))
avatar
Юрий, друган видимо не совсем понимает с чем имеет дело 
avatar
wrmngr, как и Эдвард Торп
avatar
Юрий, Торп как раз прекрасно понимал. Ваш пренебрежительный тон мне претит. Пожалуйста,  не продолжайте
avatar
wrmngr, значит вы не поняли, что делал Торп )))
Уверен, вы по его методичкам уже обобрали все казино и пришли на рынок обирать нас. Успехов
avatar
Юрий, эх, дружище...

Не хватает Вам образования и эрудиции...

Торп заложил начало процесса. К 2000 г. были разработаны практически идеальные стратегии игры в БЖ (сложные). Масса моих знакомых подняла сотни тысяч долларов.

Однако, ввиду малости МО при достаточно высокой дисперсии, я не стал играть в эту игру. Но свой миллион вынес в 2008 в оазис-покере (покер против казино).

И да, ТС — прав. БЖ — это детерминированная, полностью считаемая игра.

С уважением
avatar
Мальчик buybuy, а шахматы и шашки?
avatar
Юрий, не надо путать друганов с профессионалами. Лучше бы Торпа почитали, очень умный человек, ученый  и весьма умелый спекулянт. 
avatar
SergeyJu, ну точно не дураки. Причем и тот и другой. Друган тоже очень богатый человек.
Но самое смешное, что чаще всего зарабатывают состояния совсем не теми способами, что описывают в своих «тетрадях» 
avatar
Юрий, Ну, мне и нескольким моим друзьям это удавалось, пока в Москве казино были. Правда, казино математиков вычисляли и вежливо (в отличии от шулеров) просили больше не приходить.
avatar
прогнозировать может кто угодно 
avatar
Берем ОбувьРоссии и прогрнозируем
Give me four parameters and I shall describe an elephant; with five, it will wave its trunk (Дайте мне четыре параметра, и я опишу слона; с пятью он будет махать хоботом).
avatar
Читается как предисловие к чему — то. Под многим бы подписался. Только конструктива нет.
avatar
SergeyJu, это формат твиттера, оно не предполагает развернутых мыслеформ. Просто срезонировало с моими мыслями, решил поделится 
avatar
wrmngr, просто хочется прочесть то, к чему, собственно, было это введение. 
Про сигнал/помеха, нестационарность, трудностях в применении ИИ к ценовым рядам и тому подобное я и сам могу написать. Так и писал на смартике не раз.
avatar
SergeyJu, ваше недоумение я полностью разделяю. но, во-первых повторенье — мать учения. во-вторых добавлю контекста. Автор — продвинутый квант, имеющий свой фонд  realtive-value volatility statarb. Ему постоянно приходят разные вьюноши с горящими глазами и машин-ленинг моделями за пазухой. Это скорее он для себя линк сделал, чтобы быстро таких посылать куда нужно  
avatar
wrmngr, машинг-ленинг-вьюношей со взором горящим надо на стажировку в поля отправлять. 
На 1С годик попрограммировать или в гидроакустику погрузить. Пока не разберется хотя бы в одной предметной области, считать юнгой. 
avatar
SergeyJu, сурово, но справедливо!
avatar
SergeyJu, кстати

Если перейти к реальным цифрам, то шум по абсолютной величине может превышать сигнал в 10-50 раз. По энергии цифры похожие (не идентичные).

Я в своей (неосновной) военной специальности с такими челленджами не связывался. А Вы?

Ну и мои споры с уважаемым А.Г. касательно зависимости/независимости приращений цен могут иметь схожую природу. При таком соотношении сигнал/шум (и негауссовом шуме) выборочные АКФ могут показывать все, что угодно. Не?

С уважением
avatar
Мальчик buybuy, я занимался обнаружением сигнала на фоне шумов. Но мы хотя бы приблизительно имели представление о структуре сигнала и помехи, поэтому могли усиливать сигнал и ослаблять шум достаточно успешно. 
Что касается корреляции как меры — не уважаю. Она неустойчива и не решает базовый вопрос — повышение отношения сигнала к помехе. 
При этом в многомерном случае ковариационная матрица полезный инструмент, я возился много с SVD разложением. Метод сильный, но не универсальный.  
avatar
SergeyJu, спасибо за развернутый ответ

И все же — дьявол в деталях
С каким предельным соотношением сигнал/шум Вы сталкивались в реале?

С уважением
avatar
Мальчик buybuy, в 10 раз улучшали легко, бывало, что и в 50 раз вытягивали, но уже в зависимости от конкретной помеховой обстановки. Море есть море. 
avatar
Само применение слова может-неможет, уже закончило дальнейшее прочтение этой, без преувеличения, ценной статьи.
Зачем заниматься предсказаниями? Вам в другой клуб, здесь предсказатели, опирающиеся на волны с линиями, которые на грани лудоманства🤣🤣
avatar
Dzem205, граждане, проходим, не загораживаем выход!
avatar
wrmngr, вы серьезно о том, что посчитаете все вероятности и скажете, что с ноля заработаете хотя бы на остаток жизни?
Ну ладно, не с ноля, а имея пару лимонов.
Не смешите, если вам КТО-ТО не шепчет в ухо, думаю понимаете.
А так, все сообщество смартлаба просто похоже на стадо индюков, просто отвести душу на умностях, особенно перед Новым годом, Кстати, с наилучшими пожеланиями вновом году, молодежи советую не лезть в это болото, и, администратор, удали меня насовсем.
avatar
Dzem205, Уважаемый, избавьте нас от ваших нравоучений. Мы тут и сами с усами
avatar
Dzem205, администратор, к сожалению, глух к таким просьбам на этом славном ресурсе…
avatar
Dzem205, правильно.Самое простое -коридор.Он сохраняется пока торгует одна группа участников.Выход в другой коридор делает новый объем.
avatar
В финансах базовая структура мира сложна, неизвестна и меняется со временем
Она не просто меняется, а активно противостоит попыткам взаимодействия с ней с целью извлечения прибыли)
avatar
Eugene Logunov, ага. надо всеми силами избегать торговли по невыгодным  ценам! (что бы это ни значило)
avatar
wrmngr, любая цена кому-то выгодна и кому-то невыгодна.
Смотрим на торги — по любой цене покупают и продают. Ну, не все же они идиоты, чтобы делать это по невыгодным ценам.)
avatar
3Qu, далеко не всегда так. Есть цена которая невыгодна одному из контрагентов, но у него нет возможности 1) изменить уже выставленную заявку из-за технических ограничений — см первую секунду фортса например или сбой каналов связи 2) повлиять на процесс в принципе — принудительное закрытие брокером    
avatar
wrmngr, не выгодные цены в середине коридора или в облаке Ишимоку.А выход из облаков и середины надо торговать тк это 2 й шаг цены.
avatar
ezomm, Судя по всему, в этой жизни я уже не смогу овладеть темным искусством волновой разметки и прикладного вуду Ишимоку. Однако приложу все усилия, чтобы в следующей реинкарнации иметь фамилию… эммм… Фибоначчи например. Ну а что? Тоже красиво звучит  
avatar
wrmngr, разметка не обязательна.Важна форма свечи.Если тело больше суммы теней, то это прогресс.Новые 3 таких свечи тренд, а 2 против коррекция.Этот тренд растягивается на +2 ...+2… и тд. даже 1 свеча = тренд.Перешагни волновой вперед к свечному.Сила тренда вверх
L-ref(H,-2)   и условие сильного тренда  L >ref(H,-2). Можно и L >ref(C,-2).Но тут будут перекрытия уровней тенями.
avatar
ezomm, к счастью свечной анализ а тоже перешагнул давным-давно. Не имею причин возвращаться
avatar
В торговле главное не прогноз, а знание точки входа. Далее важна жадность, те какую часть прибыли взять? на 3 месте размер убытка с одной сделки или убыток за 1 тайм .
На последнем месте прогноз цены выхода, те цель тренда. Легче прогнозировать время до цели.Это объясняется тем, что график состоит из четных гармоник .180д-45д-9д и тд. Цель цены зависит от объема .
все расчеты(в % от счета) можно делать по 1 средней свече тайма нашей торговли.
avatar
не знаю, что вы учебниками называете. Но настоящие учебники дают базу. 
Она не для прогнозов нужна, а для понимания что такое экономика и какое место у рыночных активов и бирж в народном хозяйстве.
Николай Помещенко, хм. А какие вы знаете настоящие учебники по прикладному применению ML/AI в финансах?
avatar
wrmngr, годных не видел ни одного. А негодные вроде бы ни к чему. 
avatar
Eugene Logunov, 500 страниц, это, блин, годовой курс, не меньше.
Вам что-то подошло в торговле, или показалось интересным? 
avatar
SergeyJu, Про применение rl для маркетмейкинга интересно написано.
avatar
Eugene Logunov, понял, не моя тема, увы. 
avatar
Eugene Logunov, кстати

Как мне кажется (IMHO) на рынке есть 3 задачи:
1. ТС с отличной эквити
2. «Задача маркетмейкера» (поддержание узких котировок в плюс)
3. Опционы и прочие отложенные платежные поручения

Я сильно продвинулся в задаче 1 (в т.ч. практически), уже год успешно (IMHO) работаю над задачей 3 и не имею ни одной креативной мысли в части задачи 2.

Это я тупой? Литературу подскажете? Буду лично признателен.

С уважением
avatar
Мальчик buybuy, 

1. O'Hara «Market Microstructure Theory»
2. Hanson «Combinatorial Information Market Design»
3. Hanson «Logarithmic Market Scoring Rules for Modular Combinatorial Information Aggregation»
4. Othman «A Practical Liquidity-Sensitive Automated Market Maker»
5. Loesch, Hindman, Richardson, Welch «Impermanent Loss in Uniswap v3»
6. Das «Intelligent Market-Making in Artificial Financial Markets»
7. Avellaneda, Stoikov «High-frequency trading in a limit order book»
8. Laruelle «Faisabilité de l’apprentissage des paramètres d’un algorithme de trading sur des données réelles»
9. Gueant, Lehalle, Tapia «Dealing with Inventory Risk. A solution to the market making problem»
10. Gueant «The Financial Mathematics of Market Liquidity: From Optimal Execution to Market Making»
11. Cartea, Jaimungal, Penalva «Algorithmic and High-Frequency Trading»

avatar
Eugene Logunov, спасибо!

Часть из них уже есть в моей коллекции (с Вашей подачи)

Вопрос был несколько в другом (я, как всегда, пропустил самое важное)
Кто-то из авторов пытался исследовать вопрос феноменологически?
Ну т.е. пытался решить задачу вне модели GBM? Обобщенного GBM?

С уважением
avatar
Мальчик buybuy, Общедоступных и внятных рассуждений на эту тему не видел.
avatar
Мальчик buybuy, мне представляется, что почти все алготорговцы работают по незамутненной теорией эмпирике. 
avatar
SergeyJu, ну знаете, иметь землю под ногами обходится дешевле, чем голую теорию.
avatar
Мальчик buybuy, Можно попробовать порассуждать «от печки». Допустим у нас есть доступ к некоему абсолютно пустому ордербуку с неизвестным нам активом, есть возможность выставлять частично обеспеченные заявки бид и аск, и у нас эксклюзивное право на пассивные заявки. Мы знаем, что он из класса stocks, т.е. цена заведомо неотрицательна, других предположений о fair price нет. Параметр лот 1 акция, шаг цены 1 цент.
Как нам с минимальными потерями по дороге нащупать уровень предложения? Очевидно надо поставить бид минимального сайза по минимальной цене и постепенно смещаться вверх по цене.
Далее получаем первый филл по биду — это сразу даёт нам
1) информацию о примерной fair price в моменте
2) возможность выставить аск чуть выше цены исполнения на 1 лот
3) возможность поставить новый бид по цене чуть ниже филла
Вуаля! Мы УЖЕ маркет мейкер без какой-либо изощрённой формализации процессов.
avatar
Eugene Logunov, упор на высокочастотный трейдинг у Вас? 
avatar
SergeyJu, Нет, и уже давно. Просто профессиональный интерес.
avatar
Мальчик buybuy, номер 2 — портфель! А, может, даже номер 1.
avatar
SergeyJu, нет

В п. 1 портфель просто сглаживает эквити. На любимых мною рынках далеко не всегда успешно
П. 2 — черная дыра для меня. Но портфель здесь точно не в кассу.

С уважением
avatar

теги блога wrmngr

....все тэги



UPDONW
Новый дизайн