Иван Файртрейдов
Иван Файртрейдов личный блог
29 апреля 2018, 10:54

Когда роботы заменят трейдеров

Я потратил приличное количество времени на разработку стратегий и  даже имел парочку которые приносили определенный доход некоторое время. Занимался пару лет машинным обучением и тоже представляю, что это за зверь.  Также работал в инвест банке где видел как роботы рубят капусту особенно во время кипишей на маркете, в такие времена прибыль просто была огромной у ХФТ.

Собственно здесь мои  сбивчивые размышления на тему когда же наступит момент когда всех трейдюков заменят алгоритмы, и я думаю этот момент в конечном итоге наступит.

В начале хочу вкратце описать типичную разработку стратегии с классическим маш. Обучением – берется входной массив данных, вручную выделяются признаки-фичи которые могут быть ценны для прогноза, нормализуются, модель обучается на тестовой выборке, фичи которые имеют меньший предсказательный вес удаляются для уменьшения вероятности оверфиттинга, и увеличения робастости модели, модель снова обучается,  потом проверяется на тестовом сете данных, что модель действительно работает. Вроде просто. На самом деле есть несколько проблем

 

1. рынок действительно меняется, то что работало вчера не обязательно будет работать завтра, а скорее всего не будет, т.к.у на рынке множество яйцеголовых ботанов которые норовят вас ободрать.

2. данные для статистически достоверного результата есть в основном на мелких таймфреймах, поэтому ХФТ по сути вотчина роботов в настоящее время, но с таймфреймами от часа и выше дела обстоят хуже, т.к. бэктест даже для 500 сделок можно закурвафитить влегкую и будет выглядеть как грааль, но не будет работать в реале. Большее количество сделок выжать на этих таймфреймах сложно, поэтому для стратегии нужна “идея” которая собственно идет от человека и слабо автоматизируема.

3. Выделение признаков довольно трудозатратно и не автоматизируемо из зашумленных данных.

4. Информации ценового ряда недостаточно, чтобы делать прогноз, в модель надо приносить экзогенную информацию из внешних источников и инструментов.

 

Классические модели ИИ такие как random forest, linear regression, SVM и т.д. не решают данных проблем или решают частично и дискреционные трейдеры имеют право на существование.

 

В настоящее время активно идет разработка модель основанной на так называемом глубоком нейронное обучении, они частично решают проблему номер 1. где модель может забывать старые паттерны и переобучаться. И частично проблему номер 3. — автоматичное выделение признаков из зашумленных данных. Проблемы 2 и 4 будут решены когда модели научаться делать “make sense” из данных, для этого нужен еще один революционный прорыв в ИИ как это было с глубоким нейронным обучением. Большие компании типа гугла уже работают над этим строя онтологические сети, но пока сложно предсказать когда или будет ли этот прорыв сделан. Как только он будет сделан дискреционные трейдеры потеряют бОльшую часть рынка. Примерно тоже самое произошло с трейдер десками последние 10-20 лет, их заменили алгоритмы и инженеры, но еще остается значительная прослойка инвесторов типа малышка и элвиса которые оценивают бОльшую картину чем просто фин репорт.

 

Если говорить о временном окне это наверное лет еще 10 минимум тк между самим прорывом и внедрением всегда существует временной лаг.

44 Комментария
  • kaliostro
    29 апреля 2018, 11:09
    и все пойдем на завод
    • Добрый человек
      29 апреля 2018, 21:32
      kaliostro, никогда роботы не заменят трейдеров. мы их трахали трахаем и будем трахать
  • Albert Rudolfovich
    29 апреля 2018, 11:11
    Когда роботы заменят трейдеров
    никогда.

    но благодаря тупым роботам можно у них отнимать деньги, ставя ордера перед ними на пару пипсов.


      • Albert Rudolfovich
        29 апреля 2018, 11:24
        Иван Файртрейдов, у нас не развитый рынок.

        поэтому приглашаем жить в самару. климат хороший. бетон не дорогой. известняковые карьеры близко.
        • Максим Абакумов
          29 апреля 2018, 14:19
          Ramon Albert Rudolfovich, под Самарой пустых дач много. Можно промышлять на них.
  • Бог
    29 апреля 2018, 11:46


  • Eridanoy
    29 апреля 2018, 12:06
    ни один робот не предскажет содержание очередного твита Трампа )
      • Eridanoy
        29 апреля 2018, 12:28
        Иван Файртрейдов, сначала ещё нужно предсказать поведение рынка на его твит, а это зависит от общемирового контекста.
        И в любом случае алгоритмы создают люди, программа обеспечивает лишь скорость, рано или поздно рынок адаптируется к этим алгоритмам и всё сначала и так до бесконечности.
  • Евгений Шибаев
    29 апреля 2018, 13:04
    Спасибо за пост, Иван. Подскажите, вы используете какие либо существующие библиотеки диип лернинг или разрабатываете собственные алгоритмы?
      • aMCa
        26 июля 2018, 10:08
        Иван Файртрейдов, 
        4. Информации ценового ряда недостаточно, чтобы делать прогноз, в модель надо приносить экзогенную информацию из внешних источников и инструментов.
        Огромное спасибо! Я утвердился в своих предположениях о недостаточности голого ТА.
  • VladMih
    29 апреля 2018, 13:42
    Ручные трейдеры будут всегда,
    т.к. они решают не только спекулятивные задачи.
    (институциональные, инвестиционные и др. специфические)

    Впрочем, думаю, и спекулянты будут всегда.
    Просто оборот роботов будет расти процентов до 90 от общего.
    В конце концов еще долго будут люди, которым это просто интересно )
  • Тимофей Мартынов
    29 апреля 2018, 13:46
    Спасибо, автор! Хороший пост
  • _sg_
    29 апреля 2018, 14:00
    1. Изменчивость — одно из основных свойств финансовых рынков.
    2. Будущее неизвестно.
    3. Можно легко сделать идеальную подгонку к прошлым данным, но к будущему это не имеет никакого отношения.
    4. Сами факторы (фитчи по-Вашему) сами плывут во времени.
    Главные компоненты вдруг становятся не главными. А фитчи, которые Вы отбросили автоматически или вручную, вдруг начинают вносить существенное влияние на результат.
    5. Какую модель выбрать? Какие параметры и сколько их задать в этой модели. Какая структура, топология, функции активации ?Сколько включить скрытых слоев, сколько нейронов итд. Додумались до того, что Генетику используют для генерации модели и ее параметров. Все равно не помогает.
    6. Переобучение не поможет, даже если делать его «на лету» в онлайне потому что суть не меняется. Идеальная подгонка под прошлое будущее не определит никогда.
    7. Научились идеально классифицировать котов и собак, отличать спам от «неспама», да это большое достижение, но в финансовой сфере прорыва нет.

    Так кажется мне.
    На истину в первой инстанции не претендую.

    • _sg_, Полностью согласен, не пришлось самому расписывать.Я убил на машинное обучение 4-е года пока не понял, что грааля тут нет.
      • Максим Виссарионович
        30 апреля 2018, 13:00
        Молодой поэт Таджикский, непонятно про какое время вы говорите, за 4 года в машинном обучении все кардинально меняется. Сети уже обучают друг друга, а раньше этого не было.
    • Евгений Шибаев
      29 апреля 2018, 14:59
      _sg_, «будущее не известно» — согласен, но «ближайшее» будущее известно с определенной вероятностью. В трейдинге «ближайшее» будущее может исчисляться секундами и этого, часто, особенно алгоритмам, хватает чтобы занять нужную позицию. 
      • Tog rog
        29 апреля 2018, 15:08
        Евгений Шибаев, а если твой робот в лонг на секунду, а робот Уоррена Баффета в шорт в эту же секунду, кто победит?
      • _sg_
        29 апреля 2018, 17:03
        Иван Файртрейдов, по теме поста могу сказать следующее.
        Безусловно, в ближайшее время трейдеры будут заменены роботами. Но не потому что они лучше торгуют. Скорее всего финансовые результаты будут такие-же. Причина банальна и прозаична. Содержать и пасти набор алгоритмов гораздо дешевле, чем команду трейдеров. Издержки (зарплаты, аренда помещений, оборудование) сейчас считают все.
        И такая тенденция замены людей  на алгоритмы наблюдается сейчас во многих профессиях.
        Всего хорошего, Вы написали хороший пост. Спасибо. +
        • SMT
          29 апреля 2018, 18:03
          _sg_, в некоторых случаях лучше торгуют. — Там, где требуется высокая скорость и точность.
      • Евгений Шибаев
        29 апреля 2018, 18:06
        Иван Файртрейдов, прелесть нейросети в том что она находит закономерности которые сам бы никогда не предположил бы. По типу сколько весит килограмм картошки когда пьяный дедушка упал с неба. Самое интересное что это работает
  • Artur
    29 апреля 2018, 14:12
    1.Трейдеры, которые пишут… я вообще лишён эмоций в торговле, что в плюс, что в минус- так вот, как то нервно они это пишут). 2.Наш мозг сложен, эволюция-дело хорошее, но медленное.

    Вопрос времени, заменят, многие профессии вымрут, трейдинг в том числе. Заменятся на ИИ и роботов. Появятся новые профессии)

    Всё хорошо, всё идёт своим чередом)
    • SMT
      29 апреля 2018, 17:44
      Artur, да не должен трейдинг (алготрейдинг) вымереть. Будет конкуренция среди роботов.   И сейчас она есть, особенно в скальпе и арбитраже.
  • Vaone
    29 апреля 2018, 14:31
    Слабо верится, рынок как ходил по одним и тем же правилам, так и ходит и будет ходить, вопрос лишь в стиле торговли. Думаю скальперам сложнее будет, но остальные спекулянты вряд ли почувствуют существенные изменения.
    • SMT
      29 апреля 2018, 17:42
      Vaone, абсолютное большинство не заметит изменений — как лило -так и будет продолжать лить.
  • SergeyJu
    29 апреля 2018, 14:46
    Хороший пост.
    Если посмотреть чуть-чуть шире, мы увидим обратный процесс. Все больше и больше денег оказывается в индексных или аналогичных им фондах. И в абсолютном и в процентном выражении. А это означает некую синхронизацию потоков и обещает новые возможности для алго-заработка.
  • Tog rog
    29 апреля 2018, 14:47
    50% роботов в лонг и 50 % роботов в шорт, и всё будет также
  • Антон Денисков (Fry)
    29 апреля 2018, 16:24
    Мне все говорят, что рынок эффективен, а роботы повышают его эффективность. Но с глобальной точки зрения здравого смысла весь рынок — один сплошной дурдом! Так было и так будет.
    И всё чего мы пытаемся добиться от машин — сделать их такими же безумными как мы сами, только чуточку быстрее =)
    • Artur
      29 апреля 2018, 17:53
      Fry (Антон), вот прямо очень не научным языком скажу, чуточку хорошо, ладно, а вот если очень быстрее, самообучаемее и вообще страшное слово квантовый комп… всё же я это вижу как- вопрос времени)
    • SergeyJu
      29 апреля 2018, 20:18
      Fry (Антон), рынок не эффективен, хотя и может казаться таковым. Если не верите мне — то же самое доказывает Ричард Талер.
  • Евгений Шибаев
    29 апреля 2018, 17:58
    Скорее всего в течение секунд победу одержу я, но Баффет в итоге тоже не проиграет
  • tores
    29 апреля 2018, 21:19
    рынок — это хаос второго порядка, он реагирует на прогноз относительно себя, будь то прогноз человека или машины.
  • HUKS
    29 апреля 2018, 23:43
    всё это пока херня. надо перевести работу компа из двоичного кода в вероятностный (типа проверяются все возможные варианты.накапливаются и выдается вероятный вариант с 99.9%) 10 лет для создания такой проги с непонятной даже мне скоростью. частотой синхронизации и т.д.-чушь…

Активные форумы
Что сейчас обсуждают

Старый дизайн
Старый
дизайн