Андрей К
Андрей К личный блог
18 декабря 2023, 21:17

Техническое развитие алготрейдеров и бирж

Привет смартлаб.

Вам тут периодически пытаются рассказать в разделе алго, как важно перейти на c++ на низко рисковых и доходных стратах ) И что при этом сразу можно залететь в Москва-Сити к каким то топ заказчикам) Кстати Мск-Сити является черной меткой в резюме, это так, между нами девочками.

Ну что, обсудим техническую сторону низко рисковых и при этом высоко достаточно доходных страт? Я как то в своих топиках рассказывал, как страты могут балансировать из «тупых» высокотехнологичных стратегий в совсем нетехнологичные, но с развитым математическим аппаратом. Так вот сегодня речь пойдет только про хардкор, где профит берется силой и мощью технологий.

Смотрели видосики некого Дмитрия Черемушкина из мохнатого года так 2009-2010, где Дмитрий сидит и сравнивает два стакана фьюча и акции, как они расходятся в моменте и тд? Видимо так ковались победы в ЛЧИ мохнатых годов, которыми потом бравировались.  

Так формировались неэффективности, за которыми стали приходить первые алго ). Наверняка они писались даже на бейсике. Это был закат ручных трейдеров, которые блистали на ЛЧИ  примерно 2008-2011 годов. 

Потом появился некий Евгений Черных, рассказывающий, как он роботом заработал на опционных неэффективностях первый миллион. Робота то он этого потом продавать начал. Уже на C#. Смекаете да? Уже в те годы пошла битва так называемых «скоростных» языков. То есть от qpile, basic мы пришли к каким то уже ООП языкам, с более менее нормальным компилятором.

Женя то бота продавал, но утаивал причину продажи. Но через пару лет его прижали к стенке и он стал открыто писать, что мол бот то уже устаревший, уже нужна инфраструктура. Но продолжал продавать. А Женю съели быстро. Сначала на c++, потом уже на с++ на соответствующей инфраструктуре. 

Так пришли эффективные компиляторы на соответствующих протвиканых ОСях, то есть Linux. Наверное это год 2011-2012, но эта связка устояла не долго, так как биржа активно уже продвигала услугу колокейшена, то есть своего дата центра, с короткими проводами к своему ядру.

Так пришла эпоха алгоритмов на колокейшен. Время, когда все развивалось стремительно, технологии развивались как разжатая пружина. Что интересно, начиная с тех годов и по сей день, запрос или спрос инициировал всегда клиент биржи. То есть клиенты настолько стремительно развивались в битве за этот силовой профит, что Биржа вынуждена разрабатывать и предлагать все более новые и новые услуги, подтягиваясь за своими клиентами.

2015 год, это наверное год, когда захлопнулась дверь перед алго аля SECRET. Время, когда еще можно было запуститься на делфи и плазе и начать жахать начало стремительно закрываться.

2016 год, это наверное уже тот год, когда все основные алго окончательно перешли на спец сетевые карты с bypass технологиями (это когда сетевой пакет минуя всех и ОС попадает напрямую из PCIE в робота и так же обратно). Это наверное тот год, когда тик ту трейд сумел лечь под 2000 нано сек. То есть время, между тем когда, котировка начала заходить из кабеля в карту и тем что ваша заявка пошла в кабель, равнялось 2 мк сек. Ну и еще 80-100мксек она летела по кабелю в ядро.

2016-2017-2018 это годы, когда алго еще воевали в рамках этого стэка. Кто во что был горазд. То сутками профилировали свои алго, чтобы не было кешмиса в 100% триггерах, то пытались читать из кеша котир быстрее, чем драйвер его отдал, то твикали сетевые драйвера. Вообщем битва технических умов на пределе. При этом я не затрагиваю такой тонкий вопрос, что можно и поиметь профит в недокументированных возможностях TCP и самих протоколов биржи )

2017-2018 — это еще года, когда окончательно стало ясно, что это прям не за горами время за ПЛИС. Ну или FPGA.
ПЛИСина — эта такая железяка, в который вставляет кабель из биржи, она там сама принимает решение, что делать и если что, посылает заявки. То есть уже торгуют не ваши продвинутые c++ алго, а торгуют специально разработанные платы.

2019-2020 — это наверное годы, когда тик ту трейд, лег ниже 400наносек. Смекаете да, было 2000, стало 400нс. То есть котировка только стала к вам поступать, а через 400нс уже летит ваша заявка. Вот это масштаб временных величин )) Биржа это тоже понимает, и разрабатывает спец протоколы для таких устройств. Говорят, пролоббировали их спец участники алго, не будем показывать пальцем кто )

Думаю, что год 2021 — это уже год, когда, когда тик ту трейд стал крутить около 100 и ниже. И гораздо ниже. Приходится греть плисины на пределе, делать то, чему не учат в университетах и книгах, а великие интернетовские FPGA разрабы, говорят, что такое не возможно.

Получается, 2018 год — это год, когда самый крутой арбитраж на свете, начинает практически всем махать рукой и захлопывает за собой дверь, оставляя внутри нее небольшую когорту самых прикольных и невменяемых (другие просто не осилят такие задачи) разрабов )


Так вот парни. ) Когда вам начнут рассказывать, что миллиарды прокручиваются на крутом арбитраже на  c++ из Мск-сити. На так се ) Ну вы можете сказать, что крипте то еще до этого далеко...
Ну как далеко? Битва встать поближе к ядру в Японии то уже давно идет. Не зря же Amazon AWS FPGA предлагает сервис в локации в Японии
102 Комментария
  • Translator
    18 декабря 2023, 21:44
    Давно понятно, что всё, что остаётся обычным трейдерам на любых рынках и биржах — это торговля по тренду.
  • ves2010
    18 декабря 2023, 21:49
    1 это в россии одна жуликоватая биржа и есть стакан… в америках европах 80% сделок идет через есн и даркпулы… и общего стакана как бы нет… каждый брокер рисует свой стакан… есть лента

    2 боле того есть практика… когда обычным пользователям отдаются данные с задержкой 100 мсек… а если платишь бабло то тебе поток идет без задержки...

    3 особую ценность имеет возможность встать первым в стакан… тогда твоя сделка имеет максимальную вероятность исполнения… но  помимо исполнения есть еще и обьем… и тут у хфт совсем туго… банально не затащить больше чем в спреде стоит... 

    4 есть еще 2 момента… стакан идет с сильным запазданием… и цена идет с запаздыванием… особенно все тормозит на сильных движениях… и тут хоть на си пиши…

    мораль в том… что вместо того что делать фпга… надо делать есн… и иметь профит не от спрэда а от комиссов… не от 5 ти копеек в стакане а от всего оборота… отщипнуть
    • SergeyJu
      18 декабря 2023, 21:52
      ves2010, а еще там брокеры клирингуют клиентов, перепродают потоки заявок другим, и, только никому не рассказывайте, фронтранят клиентов с помощью схематоза. Когда нет единого стакана, а все валится не пойми куда, для творческого отношения к клиентам полный простор. 
      • ves2010
        18 декабря 2023, 21:55
        SergeyJu, нее за такое епут… нещадно в sec… типа никакие манипуляции брокера не должны приводить к ухудшению цены клиента...

        более того в отчетах даже есть пункт типа насколько брокеру удалось улучшить цену исполнения для клиента... 
        • Hired
          18 декабря 2023, 22:07
          ves2010, 
          в этой книге в общих чертах описываются схематозы исполнения заявок с их системой раздельных стаканов. врут чтоли?
          • ves2010
            18 декабря 2023, 22:26
            Hired, это опыт 30летней давности... 
          • Jame Bonds
            18 декабря 2023, 22:59
            Hired, там же рассказывалось, что чем жестче надзорные органы защищают клиентов от HFT, тем больше HFT зарабатывает )))
            • Hired
              19 декабря 2023, 08:38
              Jame Bonds, я пока что только до половины дошёл. наверное всё так. от прочитанной части в восторге и унынии одновременно. хорошо что у нас стакан единый, а не собранный
        • SergeyJu
          19 декабря 2023, 00:17
          ves2010, ворон ворону глаз не выклюет. 
    • bwc
      18 декабря 2023, 22:03
      ves2010, похоже что амазон примерно так и делает — продает лопаты сервера в Японии
    • ignat
      18 декабря 2023, 22:06
      ves2010, лучше одна биржа, чем горсть даркпулов и брокеры за деньги принудительно роутят клиентов тому, кто больше заплатит. До примерно 2012 года на америке можно было роутить самостоятельно или выставлять заявки без роутинга и регулярно был бест экзекьюшн, а потом началвсь эта ахинея с даркпулами и продажей роутинга и всё, бест экзекьюшн пропал у всех брокеров.
      • ves2010
        18 декабря 2023, 22:31
        ignat, зацени сколько вариантов маршрутизации ордеров
        • ignat
          18 декабря 2023, 22:53
          ves2010, а толку то ) Брокеры всегда пишут про самый выгодный роутинг и обязательно в интересах клиента, только лучшего исполнения больше нет. Хотя не знаю как сейчас, могу ошибаться.
          • ves2010
            19 декабря 2023, 07:32
            ignat, в ежемесячных отчетах есть пункт где брокер показывает насколько он улучшил цену...  
      • ves2010
        18 декабря 2023, 22:33
        Андрей К, а панду помнишь? там особо ничего кроме идеи не было… или фишмана? который фигачил 300000 заявок в день
  • Anest
    18 декабря 2023, 21:47
    Ужас какой. Наносекунды, прямой колокейшен на токийской бирже. Зачем нам крестьянам всё это. Нам главное система  хвост и будем её крутить на квикоуродце через trans2quik :)
  • Replikant_mih
    18 декабря 2023, 21:51

    Ну, «умным» алгоритмам тоже скорость не лишняя). 

     

  • SergeyJu
    18 декабря 2023, 21:54
     В итоге все ХФТ сожрано могучим ураганом. 
    На самом деле, это хорошо, что есть такая партия, которая обеспечивает нас мгновенной ликвидностью.
  • Roman Ivanov
    18 декабря 2023, 22:04

    Не можешь делать быстро, делай Умно. Всегда есть баланс.

     А C# с его GC и правда не конкурент C.

      • ves2010
        18 декабря 2023, 22:39
        Андрей К, там можно вставлять куски на си… т.е есть критичный к скорости код… его пишешь на си… лично так делал… лет 20 тому
  • svgr
    18 декабря 2023, 22:09
    Про другую часть (с развитым математическим) видимо не будет материала ...
    А я изначально по нему иду. И ничего особо развитого не применяю (это сложно пристегнуть и давно забыто). А простые и красивые идеи позволяют из традиционных всем известных алгоритмов изготовить что-то неплохо работающее. Ведь за частоколом формул всегда скрывается простая идея, которая или работает, или нет.
    Неплохо работающее тут означает, что, применяя его, в худшем случае останетесь при своих.
      • svgr
        18 декабря 2023, 22:43
        Андрей К, я про такие штуковины и имел в виду выше. Придумал как-то один такой приём для своей системы. А потом понял, что этот приём можно применять и на других системах.
  • Дмитрий Овчинников
    18 декабря 2023, 22:22
    Я как то в своих топиках рассказывал, как страты могут балансировать из «тупых» высокотехнологичных стратегий в совсем нетехнологичные, но с развитым математическим аппаратом. 
    У Никиты был такой слайд в лекции с похожей концепцией:
  • Limitador
    18 декабря 2023, 22:31
    Может на биржах и у брокеров есть какое-то скоростное оборудование, но для частных трейдеров и тем более для инвесторов в таком оборудовании нет никакой необходимости.
  • Limitador
    18 декабря 2023, 22:36
    Сейчас из обычного браузера можно робота запустить.
  • А. Г.
    18 декабря 2023, 22:57
    Ну это все-таки об алготорговле HFT. Зачем все это алгоритмам со средним временем в позиции — от 4-х часов и больше?
  • Jame Bonds
    18 декабря 2023, 23:01
    А потом случился 2022 год и почти все умерло?
    Возможно, через года снова возродится.
      • Jame Bonds
        18 декабря 2023, 23:32
        Андрей К, ну может я и чересчур категоричен.
        Но деградация явно наблюдается и, что печально — постепенно продолжаем деградировать дальше.
        Арбитражные возможности, которые раньше за миллисекунды разбирали теперь месяцами висят.
        Не исключен вариант, что биржу полностью закроют или задавят санкциями.
      • BITE4SAVE
        19 декабря 2023, 06:43
        Андрей К,
        «Я как то в своих топиках рассказывал, как страты могут балансировать из «тупых» высокотехнологичных стратегий в совсем нетехнологичные, но с развитым математическим аппаратом».
        В последнее время имеем дисбаланс. Очень рулят также «тупые» нетехнологичные стратегии без математического аппарата.
        Не так давно написал «Плач Ярославны по оторванной пуговице».
        Как назвал это уважаемый коллега — инвестирование во фьючерс Si.
        От депозита 150000 рублей (или 1500000, или сколько не так жалко) можно было получить с 1 декабря 2022 года по 1 декабря 2023 года больше 100 % в рублях или 47 % в долларах.
        При этом просадки не было от слова совсем. Даже если бы и случился трэш с закупом как в 2022 году по 52 рубля за доллар, максимальная потеря — 45 % от депозита в долларах.
        Но этого не случилось.
        Так что треугольная система, например, более живучая, чем парная.
        Не обязательно двигаться туда-сюда из крайности в крайность, иногда можно отойти вбок и посмотреть со стороны.
  • Ratio_
    18 декабря 2023, 23:27
    Потом пришел 2022й и арбитраж стал опять ручным, потому как всякий смысл в наносекундах отпал — неэффективности стали держаться дольше платежеспособности арбитражеров)
  • Pinokid0_o
    18 декабря 2023, 23:44

    вкинул на вентилятор и понеслось… смешал все что можно. как секрета сюда приплел — уму не вообразить. ну главное плебсы в восторге. 

    а на главныйййй вопроссссииищееееее молчок.

    • tester37
      19 декабря 2023, 12:12
      Pinokid0_o,  какой главный вопросище?
  • Michael Schumacher
    18 декабря 2023, 23:53
    Ну а почему Lua никто не упомянул, будет побыстрее c++, ближе к C, и легко своего хэджера можно интегрировать в Quik))
    • Кирилл Гудков
      19 декабря 2023, 00:21
      Michael Schumacher, вы лютую ересь неправду говорите. Для программиста на С++ главная трудность использования Lua — постараться абстрагироваться от того, через что там выполняется любой чих, даже просто обращение к глобальной переменной. Если не абстрагироваться — настроение грустное и тянет обфусцировать код микрооптимизациями. Многия знания — многия печали.
      • Michael Schumacher
        19 декабря 2023, 06:38
        Кирилл Гудков, речь не о синтаксисе, а о скорости выполнения.
        Ну а трудности использования — так они со всеми языками, только практика поможет
        • E L
          19 декабря 2023, 07:03
          Michael Schumacher,
          о скорости выполнения
          Это не может быть правдой хотя бы из-за динамической типизации и автоматического управления памятью в lua.
        • Кирилл Гудков
          19 декабря 2023, 11:17
          Michael Schumacher, простите, но у вас каша в голове, вы некомпетентны в этом вопросе. Нормальный программист должен понимать пару уровней ниже того, что он настрочил в редакторе, во что его код транслируется и как это исполняется. Вы не понимаете совершенно.
          • Sprite
            19 декабря 2023, 11:26
            Кирилл Гудков, да чо там понимать! Lua синтаксис си подобный? Значит работает со скоростью си! А то, что там дальше с ним делают эти ваши всякие интерпретаторы — это на самом деле тормоза в ядре биржи.
    • Jame Bonds
      19 декабря 2023, 01:01
      Michael Schumacher, нонсенс.
    • VалиБакS
      19 декабря 2023, 07:58
      Michael Schumacher, у вас все быстро на lua работает и вас устраивает?
      • Michael Schumacher
        19 декабря 2023, 09:47
        VалиБакS, да скорости вполне хватает, а т.к. у Lua прямое подключение  в QUIK, то соответственно все остальные варианты и различные прослойки в виде питоновских серверов и т.п. будут работать гораздо медленнее
    • Union_Jack
      21 декабря 2023, 17:10
      Michael Schumacher, lua не может быть быстрее плюс, так как это скриптовый язык
  • MatrixLis
    18 декабря 2023, 23:58
    Ну прям «Историю роботорговли 2009 — 2021 написали». Вы правы. Наносекунды ушли в прошлое. Сейчас оптимальной длительностью сделки является 1 день. При этом фактор восстановления можно достичь больше 10. Так что согласен, что высокочастотные роботы (на Московской бирже) — это анахронизм).
  • старый трейдер
    19 декабря 2023, 01:12
    Это судьба простых алгоритмов: все о них знают, поэтому приходится постоянно соревноваться в скорости.
    Применяйте сложные и проблема исчезнет, да и рынок перестанет «постоянно меняться».
    • VалиБакS
      19 декабря 2023, 07:57
      старый трейдер, так сложные хуже. Самые прибыльные это те, что всем видно, но забрать может только самый шустрый. Сложность только в обыгрывании простого
      • старый трейдер
        19 декабря 2023, 12:29
        VалиБакS, «те, что всем видно» давно уже не самые прибыльные.
        Экспуатировать незаметное намного выгоднее.
        • Макс
          20 декабря 2023, 01:57
          старый трейдер, по этому фронту либо ИИ уже давно щимит, либо вы неверно оцениваете риски.
    • tester37
      19 декабря 2023, 12:16
      старый трейдер,  а есть сложные с таким же явно положительным МО, как простой арбитраж?
  • 22022022
    19 декабря 2023, 01:22
    Binance для избранных снимает ограничения по ip, ордерам и лимитам? Я торгуя вручную весь 2022-2023 практический каждый день влетал на ip ban. ограничения на кол-во заявок, игнорирования, итп.
    • tester37
      19 декабря 2023, 12:18
      22022022,  да здравстует DEX, давайте все уверуем в него
  • Kot_Begemot
    19 декабря 2023, 04:29

    Мне страшно подумать чего вы там торгуете, что за 1000 нс успеваете что-то вменяемое серверу ответить.

    С другой стороны, это всё круто, конечно 

      • atopo
        19 декабря 2023, 07:49
        Андрей К, (last_price + n) считается на предыдущем тике, чтобы не тратить время
        • Макс
          20 декабря 2023, 02:01
          atopo, да и ответ иногда известен до того как все биты price пришли, особенно если big endian))
  • Алексей Никитин
    19 декабря 2023, 04:35
    И я бы сказал, новый тренд, ритейл алго 22 года. Это питон, и без всяких дорогих колокаций. Так как hft арбитраж уже весь занят, и очень дорогой входной билет. Начинающим алго, приходится проявлять чудеса интеллекта, торгуя там, где скорость не важна.
      • Алексей Никитин
        19 декабря 2023, 08:05
        Андрей К, абсолютно точно. Вся эта фпга уже давно обычная технология, куча инструментов доступна для разработки. Но не под силу домашним трейдерам, слишком затратно на старте. Да и конкуренция с самым топом.
  • Михаил К.
    19 декабря 2023, 04:42
    Камень был в огород Алексея Вана, я так понимаю? Но он вроде никогда про HFT не говорил, а все его роботы построены на индикаторах и ориентированы на сравнительно большие таймфреймы. Спорная ниша для алго, но, с другой стороны, никаких особых требований к скоростям там нет.
    • Дмитрий Овчинников
      19 декабря 2023, 07:10
      Михаил К., 
      у роботов Вана есть один небольшой недостаток. Они сливают.
      • Михаил К.
        19 декабря 2023, 08:10
        Дмитрий Овчинников, а сливают потому что os engine плохая платформа или кто-то просто не умеет создавать прибыльных роботов?
        • Дмитрий Овчинников
          19 декабря 2023, 08:18
          Михаил К.,
          Без понятия насчёт os engine. Но то, что выдается за алгоритмы, ни в какие ворота.
    • Пафос Респектыч
      19 декабря 2023, 16:56
      Михаил К., так то и забавно, что про HFT не говорил, а про арбитраж говорил ) может быть конечно есть такие рынки где арбитраж и по вчерашним котировкам можно торговать, но чессгря сильно сомневаюсь )
  • Translator
    19 декабря 2023, 09:26
    Так или иначе сливают абсолютно все роботы на индикаторах.
    Ну или топчатся на месте, если выбран безопасный для депозита манименеджмент.
    Индикаторы — это всегда те или иные математические манипуляции с прошлыми ценами.
    Проще говоря, любой так называемый «основанный на математическом анализе робот» — это просто-напросто индикаторный робот, в лучшем случае подогнанный околорыночниками-программистами под историю.
    Вообще, надо понимать, что алготорговля сейчас — это жутчайший околорынок.
    Околорыночника-программиста легко распознать по их околорыночному сленгу — это напускание псевдонаучного тумана всякого рода абревиатурами.
    • Дмитрий Овчинников
      19 декабря 2023, 09:41
      Translator, 
      Так или иначе сливают абсолютно все роботы на индикаторах.
      Вы излишне категоричны, коллега.
    • Михаил К.
      19 декабря 2023, 09:43
      Translator, можете сказать, на чем могут быть построены зарабатывающие роботы?
      • Translator
        19 декабря 2023, 09:56
        Михаил К., Это могут быть самые простейшие индикаторные роботы, когда их пускают по тренду, правильно расчитав манименеджмент.
        • tester37
          19 декабря 2023, 12:23
          Translator, а как тренд узнать на правой стороне?
          • Пафос Респектыч
            19 декабря 2023, 17:02
            tester37, это как с прогнозом погоды, нужна модель + актуальные данные )
      • Gypsy
        19 декабря 2023, 17:03
        Михаил К., сдается мне, что даже рандомный вход в позу можно подкрутить так, что кривая эквити нет-нет, да будет красивой из левого нижнего угла в правый верхний.
        • Михаил К.
          20 декабря 2023, 04:57
          Gypsy, подкрутить — это в смысле подстроить под прошлые данные? Я сомневаюсь что можно создать прибыльную систему на основе случайного входа.
    • Пафос Респектыч
      19 декабря 2023, 17:00
      Translator, не все математические манипуляции одинаково полезны или бесполезны, некоторые существенно полезнее других. К тому же манипуляции могут быть не только с ценами, до чего догадаешься и найдёшь способ кормить этим алгоритм — с тем и манипулируй, полная свобода.
  • My Shadow
    19 декабря 2023, 17:50
    Елена Прекрасная, это про эволюцию инструментов для стрижки овец и конкуренцию на этом поприще, но овцам как правило лень в это вникать :)
    • My Shadow
      19 декабря 2023, 19:47
      Елена Прекрасная, ваш демо сеанс диагностики реальной жизни через интернет — это конечно то чего в этой ветке не хватало :)
      • My Shadow
        20 декабря 2023, 18:34
        Елена Прекрасная, ну давай сразу лично приезжай, дистанционная диагностика это для слабаков :) обсудим у кого депозит толще :)
    • Михаил К.
      20 декабря 2023, 04:59
      Елена Прекрасная, это вы ещё опционщиков не встречали.
  • 3Qu
    21 декабря 2023, 13:24
    Если бы все действительно обстояло так, как представляется автору топика, график истории представлял бы ровную горизонтальную прямую с небольшими отклонениями.
    Т.к. мы этого пока в упор не видим, армагеддон пока откладывается, и обычные методы трейдинга, без всякого ХФТ и прочих технических извращений, пока будут продолжать работать. В общем, беспокоиться не о чем, автор пытается бежать впереди паровоза.
      • 3Qu
        21 декабря 2023, 13:46
        Андрей К, не вижу соответствия вашего опыта и опыта ваших близких коллег хоть какой-то реальности. Больше напоминает прогноз тепловой смерти, которая, как известно, откладывается на неопределенный срок.
          • 3Qu
            21 декабря 2023, 14:18
            Андрей К, зачем так грубо. Будем называть это мировоззрением не соответствующим реальности.
            Опыт, кстати, порой только мешает делать правильные выводы о предмете в целом, т.к. опыт всегда ограничен рамками условий своей постановки и не может отражать полной картины происходящего в реальности.

Активные форумы
Что сейчас обсуждают

Старый дизайн
Старый
дизайн