Эпоха больших данных и ИИ: как частному трейдеру не потеряться

Многие трейдинг-ресурсы рекомендуют не быть “толпой”, следить за действиями крупных участников, не использовать технические индикаторы и вот это вот все. Каждый сам за себя выбирает наиболее предпочтительный путь развития. Мы же можем только поделиться нашей перспективой (и перспективой ученых в области финансовых рынков) для наиболее объективной оценки того, к чему желательней стремиться в трейдинге и инвестициях уже сегодня. И все же оказаться вне “толпы”.

Полезные материалы, которые хорошо бы изучить перед продолжением:

1. Человек против машины: интуитивный трейдинг против системного.
2. Кто лучше прогнозирует цены на акции — человек или искусственный интеллект?
3. История алгоритмической торговли, HFT трейдинга и системной торговли на основе новостей.

Что происходит с данными?

Сперва вспомним, что из себя представляют ценовые движения на рынках.

Большая часть — шум, и где-то среди этого шума есть сигналы.

Никто достоверно не знает, сколько шума в моменте есть на графике — 60%, 80% или вовсе 100% (с учетом сложности рынков, скорее всего, это значение стремится к 100%).

100 лет назад начал зарождаться метод VSA (тогда он еще так не назывался, но логика была схожа с современными концепциями объемного анализа). Так как в то время рынки были на 100% отражением человеческих эмоций и их решений, “системой” можно было назвать анализ тех самых эмоций. Ричард Вайкофф — прародитель современного объемного анализа — именно через призму этой “системы” и подошел, анализируя поведение толпы на рынке и работая против нее.

На финансовых рынках 2020-х годов эмоции все так же отражаются в котировках. Только теперь в перемешку с эмоциями могут быть алгоритмы, высокочастотные стратегии и другие технические решения. Поступающие данные, которые транслируются на котировках вашего любимого инструмента, измеряются квинтильонами байтов ежедневно. Если что, один квинтильон — это вот столько: 1000000000000000000.

По оценкам IDC (International Data Corporation), общий объем данных, создаваемых ежегодно, увеличился с ~2 зеттабайт в 2010 году до ~180 зеттабайт в 2025, причем около 90% всех данных в мире было сгенерировано за последние несколько лет.

Рост данных. Источник: IDC.com.

Рост объема данных кардинально изменил практики в различных областях финансового сектора. Доступные данные и вычислительные мощности позволили финансовым организациям внедрять аналитику больших данных практически во все процессы: от трейдинга и инвестиций до управления рисками и работы с клиентами.

Проще от такого количества данных рынки точно не становятся — преобладание шума никуда не делось. Зато появляются технические возможности, которые позволяют хоть как-то отфильтровывать этот самый шум от сигналов. И эти технические возможности точно достоверней, чем два наших глаза и мозг, которые часто “рисуют” совсем не ту картину мира, которая есть на самом деле.

Генерируемые и сохраняемые данные по регионам.

• China — Китай
• EMEA — Европа, Ближний Восток и Африка
• APJ&C — Азиатско-тихоокеанский регион
• US — США
• ROW — Прочие регионы

Все мы немного «кванты»

Кванты — математики, программисты, дата-аналитики или физики, которые применяют свои навыки на финансовых рынках.

На Уолл-Стрит такие специалисты уже давно ценятся выше, чем классические трейдеры (которые относятся, скорее всего, к вымирающему виду). В индустрии хедж-фондов и инвест-банков практически не осталось тех, кто вообще никак не использует компьютерные возможности. Но не надо бежать и защищать диссертацию по высшей математике — чуть-чуть “квантом” может стать каждый.

Кванты могут работать и в дискреционных фондах, а не только в алгоритмических. Если раньше управляющий дискреционного фонда мог использовать инсайдерскую информацию, интуицию или какие-то еще “плавающие” данные, то сегодня такие инвесторы нанимают ребят, которые готовы и могут обрабатывать миллионные данные с помощью алгоритмов. А если финальное решение принимается все равно человеком, такой фонд по-прежнему остается в списке дискреционных. Системные же и алгоритмические фонды полностью перекладывают все процессы на автоматизацию.

Системный трейдинг и его история развития

Каждые 10–20 лет привносят на рынки новые технологии, которые влияют на следующие лет 10. Ниже — основные этапы системного трейдинга.

1-я волна (1970–1980-е)

Первые системные подходы начали зарождаться около 50 лет назад. Алгоритмические стратегии формировались на простейших моделях — трендослежении и техническом анализе.

Привлекательность таких подходов в нескольких факторах:

• простая логика торговых стратегий и их кода;
• тренды хоть и встречаются не каждый день, все равно это одни из самых важных аномалий, которые существуют на финансовых рынках;
• продолжительные тренды позволяли наращивать прибыльные позиции при контроле рисков (одни сделки переводились в безубыток и открывались другие).

2-я волна (1980–2000-е)

Количественные трейдинг — следующий этап развития.

Бум квант-фондов начал развиваться в 1980-х. Один из главных пионеров этой области — Джим Саймонс. Появляются следующие стратегии:

• парный арбитраж;
• статистический арбитраж;
• mean-reversion;
• факторные стратегии (size, value, momentum).

Эту нишу занимают хедж-фонды, которые впоследствии станут лучшими из лучших (AQR, Citadel, Renaissance Technologies и т. д.).

Рост количественных фондов с 2000 года.

3-я волна (2000–2010-е)

Высокочастотный трейдинг (HFT) — еще один технологический тренд, который образовался в конце 2000-х.

Такие подходы фокусируются на предоставлении и потреблении ликвидности в рамках миллисекунд, зарабатывая на незаметных для человеческого глаза разницах в цене. Высокочастотным трейдерам необходимо близкое расположение к биржам, чтобы скорость связи с котировками была минимальной, софт, ну и не самые простые алгоритмы для исполнения тысяч сделок в сутки.

Подробнее почитать про эру HFT можно в книге Майкла Льюиса “Flash Boys”.

4-я волна (2010-е — настоящее время)

Машинное обучение (ML), нейронные сети и искусственный интеллект — именно это в фокусе сегодня.

ML-фонды учат стратегии быть адаптивными — обучаться в процессе реальных поступающих данных. Следом идут модели вроде ChatGPT, которые позволяют частным трейдерам использовать системные принципы, недоступные ранее без профессиональных программистов и дата-аналитиков.

Подборка статей блога по ChatGPT:

1. ChatGPT и трейдинг на финансовых рынках — искусственный интеллект уже среди нас.
2. Может ли ChatGPT предсказывать ценовые движения в трейдинге?
3. Практикум: используем ChatGPT для анализа больших данных в трейдинге.

Преимущества системных подходов

1. Нет эмоций — нет когнитивных искажений

Первое и самое главное преимущество — отсутствие влияния человеческих эмоций на результаты сделок.

Наука о поведенческой экономике на основе десятков тысяч экспериментов подтвердила, что мы — люди — очень уж нелогичные и иррациональные существа, а контролировать свое эмоциональное поведение нам сложно. Страх, жадность, эго — всё это отсутствует у алгоритма. А именно эти психологические крайности чаще всего приводят к денежным потерям или ошибочным действиям на финансовых рынках (да и во многих других сферах человеческой деятельности).

2. Обработка больших данных? Ок, попробуем

Тут всё ясно — один средний компьютер обрабатывает информацию быстрее, чем тысячи трейдеров. Данных становится всё больше, компьютерные скорости растут, а человек имеет примерно те же вычислительные способности, что и 2000 лет назад.

3. Одновременно открывать десятки сделок? И с этим разберемся

Опять же, сложно спорить с тем, что алгоритмы быстрее и точнее открывают сделки, закрывают их, и контролируют риски на сделку.

Когда мы впервые автоматизировали торговую стратегию и наблюдали за тем, как алгоритм сам адаптируется под волатильность и выставляет ордера, — мы как будто открыли для себя небольшую новую вселенную. Что-то похожее испытывают водители Теслы, впервые включая автопилот — ощущение “будущего”, которое уже здесь и сейчас.

Пример того, как алгоритмы открывают и закрывают десятки системных сделок. Зеленые и красные линии — покупки и продажи.

Недостатки и риски системных подходов

1. Отсутствие гибкости

Системные стратегии, чаще всего, строятся на исторических данных. А то, что было в прошлом, не гарантирует повторения в будущем. Значительный вклад в “гарантию” стратегии вносят бэктест, форвард-тест и некоторые другие оптимизации на устойчивость. Но никогда нельзя получить 100% гарантию в сфере бизнеса, где преобладает шум.

2. Вероятность переоптимизации торговых стратегий

Это самый коварный и скрытый элемент алгоритмических подходов.

Переоптимизация (или overfitting) — получение хороших или отличных результатов в процессе обучения алгоритма (этап in-sample — он же бэктест), и получение плохих результатов в процессе применения этого же алгоритма (этап out-of-sample — он же форвард-тест или лайв-трейдинг).

Для снижения шанса переоптимизации используются разные статистические подходы, о которых мы рассказываем в премиальном материале Переоптимизация торговых стратегий: как не одурачить себя на стадии разработки алгоритма.

Слева — in-sample период с хорошей результативностью (синий график), справа — out-of-sample период, где результативность уже отрицательная. Пример классической переоптимизации.

3. Отделять сигналы от шума все также сложно

Алгоритмические и системные подходы не решают проблему шума. И, судя из современных исследований в области машинного обучения, нейронных сетей и даже квантовой механики, это пока утопическая задача (скорее всего, не только «пока», а навсегда).

Подробнее — в материале “Сигнал и шум” — как взломать финансовые рынки + торговая стратегия Buff и вебинар.

Что ждет системные подходы в будущем

За последние 10–20 лет финансовые рынки прошли путь от относительного дефицита данных к их изобилию, а искусственный интеллект из экспериментального инструмента превратился в подручного ассистента, доступного для всех. 

Среди профессиональных управляющих адаптация к системным подходам уже давно началась, и этот тренд только набирает обороты. Среди нас — частных трейдеров — пока всё не так очевидно.

Многие еще верят, что финансовые рынки парят на трёх китах, а за ценовыми движениями стоят манипуляторы, которые водят толпу на их же стоп-лоссы. Когда-то люди верили, что гром и молния — это проделки Зевса, а за гипотезы, которые шли вразрез с концепцией «Земля в центре мироздания», просто сжигали на костре. Человеку проще верить в то, что проще. Но эта простота не всегда бывает достоверной картиной мира.

В 1990 году суперкомпьютер Cray-2 стоил примерно 32 миллиона $ (по сегодняшнему курсу), весил около 2500 килограмм и требовал небольшой ангар с охлаждением для своего размещения. При этом его мощность была 1,9 миллиардов вычислений в секунду. Ваш смартфон, который сегодня помещается в кармане, имеет производительность примерно в 500 раз больше. И эта компьютерная эволюция произошла за какие-то 30 лет. Что будет в следующие 30 лет — для всех загадка.

Очевидно одно — мы уже находимся в эпохе данных. И если вы не хотите быть той самой “толпой” на финансовых рынках, нужно учиться работать с этими данными уже сегодня, даже если вы придерживаетесь ручного трейдинга.

Материалы

1. Why Is Systematic Investing Important? Campbell R. Harvey, Duke University. 2021.
2. Man vs. Machine: Quantitative and Discretionary Equity Management. Simona Abis, Columbia University. October 23, 2020.
3. The Digitization of the World From Edge to Core. David Reinsel, John Gantz, John Rydning. 2018.
4. Статья Человек против машины: интуитивный трейдинг против системного.
5. Статья VSA и VSA 2.0 анализ — основы и метод торговли.
6. Статья Тестирование торговых стратегий на исторических данных (бэктест) — почему это так важно?
7. Статья Тренд — лучшее, что вы можете использовать в своей торговле. Исследования тренд-аномалий за 136 лет.
8. Статья Почему алгоритмы торгуют по-разному на истории и в реальном времени и какую ценность дает форвард-тест?
9. Курс Системный трейдинг.
10. Практика алгоритмической торговли.