Svips
Svips личный блог
10 декабря 2015, 17:21

Роботы требуют модернизации

Всем доброго дня.

Разговор пойдет не совсем о трейдинге, а о технической стороне его составляющей. Причем технически, в прямом смысле этого слова. Так что кому не интересны железяки можете не тратить свое драгоценное время и переходить к следующим топикам.
-*-
Вот и подходит к концу 2015 год, и как всегда в конце мы подводим итоги. Что было сделано, чего не было сделано, что должно было быть сделанным. Но в этот раз, подведение итогов лично для нас коснулось кардинальными будущими переменами, чем мы и хотим поделиться с вами. Итак, дело было так:

Разобрав полеты наших роботов, и то как они выступили в этом году мы пришли к не утешительным выводам. СРОЧНО нужна оптимизация нашего технопарка. Железо, железо в которое было вбухано не мало средств и которое нужно отбивать. Которое пожирает арендо-места и жрет электричество. Что если включить энтузиазм и захотеть расшириться. Накинуть еще с десяток роботов, которые гоняются в демо режиме. Или делать дублеров то вообще подбив смету становится ясно, что мы тупо работаем на это железо. Т.е. абсолютно смысл во всем теряется.

А так как новые идеи торговых роботов рождаются со скоростью мысли, то прогон и тесты их в реальном времени начинают реально отнимать дорогие ресурсы и пожирать реальные деньги. В общем Шеф мягко намекнул, а скорее заявил прямо, что к новому году нам надо предложить решение о переезде действующей системы на более выгодную.

Под действующей системой мы понимаем следующий зоопарк:

dirextrade.com

Когда встал вопрос о том, что надо еще расширяться, то уже все смотрели на это все без особого энтузиазма. Никто не хотел тратить больше денег, никто не хотел платить за очередное арендо-место и электричество. Как в том мультике, — «чеето зря мы его кормим...» Поэтому идею Шева поддержали все! Итак начнем.

Делаем быстрый анализ того что имеем, возможные пожелания и приводим решение.

Что есть:
  — Сервер управляющий роботами с бесперебойным электричеством и интернетом на пять часов.
  — Сервер статистики роботов с бесперебойным электричеством и интернетом на пять часов.
  — В режиме онлайн трудится 5-7 машин-роботов c бесперебойным электричеством и интернетом на пять часов.
  — В режиме онлайн тестируется 3 машины c бесперебойным электричеством и интернетом на 30 минут.
  — Машины роботы работают под Windows
  — Сервера под Linux
Вот такой вот зоопарк.

Что хотим:
  — Иметь теже ресурсы за в разы меньшие деньги.
  — Снизить энергопотребление не потеряв в производительности.
  — Снизить площадь технопарка не потеряв в рабочих единицах.
  — Сократить использование платного софта ;) мсдый прывэт.
  — Иметь возможность быстрой и дешевой масштабируемости.

Итак, решение:

Анализ показал, что наши роботы, сами по себе не такие уж и прожорливые к ресурсам машин. На одной машине у нас крутится по 4 робота. Посмотрев среднюю конфигурацию наших машин мы получили минимальные требования на робота:
  — 500МГц тактовой частоты процессора.
  — 100-200МБ оперативной памяти.
  — 100-200МБ места на жестком диске.

Сразу же появилось желание запихать все в виртуалку! Быстро, просто и можно сказать дешего. И вроде с масштабируемостью все хорошо, и то и это. А потом кто то из нас сказал — «Ребята, ну это же виртуалка.». И как не странно, этим было все сказано. Выход из строя любого элемента ложил сразу весь пул. Да и надо признаться, пробовали мы нечто подобное уже в самом начале… В общем вариант отвергли. И тут один из нас предложил, а давайте пересядем на микроконтроллеры?

Роботы требуют модернизации

Тут кто то подхватил, что есть же одноплатные компы уже давно, и вроде работают не плохо. Производительность вроде как должна уложиться в наши запросы, энергопотребление у них минимально. Цена, цену надо узнать.
Загуглили, изучили вопрос и вот оно решение!

Роботы требуют модернизации

Raspberry Pi 2 Model B

  • A 900MHz quad-core ARM Cortex-A7 CPU
  • 1GB RAM
  • Linux OS
  • 4 USB ports
  • 40 GPIO pins
  • Full HDMI port
  • Ethernet port
  • Combined 3.5mm audio jack and composite video
  • Camera interface (CSI)
  • Display interface (DSI)
  • Micro SD card slot
  • VideoCore IV 3D graphics core
Оооо, счастью нет придела. Этот малыш, вернее малышка не намного уступает по производительности нашим атомам. А питание у нее всего 5Вольт. ПЯТЬ ВОЛЬТ! Получается, что на ней мы сможем так же гонять по четыре робота. Т.е. с десяток таких плат полностью заменят наши гробы. Вот это поворот!

Потом кто то прейдя в себя говорит, -«А у нас же роботы на винде». Твою же м… Гуглим, нет винду естественно не воткнешь на них. Армы всетаки, другая архитектура. Да и ну ее нафиг, мы же хотели сократить платное ПО, вот и давайте перепишем всех роботов под линуху? А давайте! Прикинули, псчитали сколько уйдет времени, какая должна быть архитектура ПО. Да, все реально, никаких очевидных причин это не сделать нет. Решено. В качестве базовых рабочих лошадок будут использоваться эти «малинки». Ось будет Linux, по четыре робота на машину.

Давайте по пунктам:
  — Иметь теже ресурсы за в разы меньшие деньги.  — РЕШЕНИЕ НАЙДЕНО

Одна малинка по производительности почти такая же как наши системники на атомах.

  — Снизить энергопотребление не потеряв в производительности. — РЕШЕНИЕ НАЙДЕНО

Малинка потребляет, блин даже не будем считать… 5Вольт, мы досих пор в шоке. Любая зарядка от сотвого ее запитает.

  — Снизить площадь технопарка не потеряв в рабочих единицах.  — РЕШЕНИЕ НАЙДЕНО

Да, это решено, с ее миниатюрными габаритами останется придумать как их разместить. В 10 раз больший технопарк может уместиться на одном рабочем столе!

  — Сократить использование платного софта ;) мсдый прывэт.       — РЕШЕНИЕ НАЙДЕНО

Мы переезжаем на Linux!

  — Иметь возможность быстрой и дешевой масштабируемости.     — РЕШЕНИЕ НАЙДЕНО

Ну тут по моему очевидно все. Втыкай новую малинку в хаб, заливай софт и вперед.

Примерно вот так нам сейчас видится модернизация нашего технопарка. С нового года начнем. Осталось обдумать как это все упаковать красиво, что бы не получилось как с текущим, как будто человек паук на ежа наступил.

В общем если вам интересно чем все это закончится и в какие средства выльется, а так же хватит ли этих мощностей, то ставьте плюсы, будем писать.

Так же предложения и конструктивную критику по теме приветствуем.

Вот вам для примера 64 машины на одном рабочем столе )
Роботы требуют модернизации
87 Комментариев
  • Самокритичный трейдер
    10 декабря 2015, 17:24
    «Что хотим:
      — Иметь теже ресурсы за в разы меньшие деньги.» — т.е. эксплуатация в прошлом этих железяк денег не принесла и решили отыграться на железяках сделав их дешевле? Хм, я бы предпочёл сделать вас дешевле, а железяку бы не трогал. Она хорошая, она в умелых руках камаз гружённый деньгами к дому вызывает:)
      • Самокритичный трейдер
        10 декабря 2015, 17:42
        Svips, Хм, алготрейдеры испытвают проблемы в деньгах? По себе как алготрейдеру и со слов главы дата центра Мос биржи знаю, что мы алготредеры приходим на торги что бы забирать, а это минимальные суммы на счетах на старте и просьбы прислать инкассаторский поезд при выводе прибыли. Так что не смеши людей своими вопросами об экономии. Мы ставим тех комплексы на бюджет 10-15 млн рублей и не плачемся публично что хотим с экономить:)
    • Антон Б
      10 декабря 2015, 17:35
      Самокритичный трейдер, Это они апгрейдятся так.
      Там на кортексах уже сервера есть веб.
      И надежнее так ка дублируется.
      А вот на чем у них роботы.
      И где они возьмут исходники библиоткек коннекторов к бирже-плазе для кросскомпиляции под арм это вопрос.
      Если у них робот сможет работать на арм подключаясь к брокеру то его можно на планшет поставить.
      • Самокритичный трейдер
        10 декабря 2015, 17:42
        Антон Б, Плазы скоро не будет. Переписывать придётся.
        • Gypsy
          10 декабря 2015, 17:45
          Самокритичный трейдер, Когда это скоро? И что тогда будет?
            • Gypsy
              10 декабря 2015, 17:49
              Svips, Не слышал ничего подобного. CGate будет еще долго
                • Самокритичный трейдер
                  10 декабря 2015, 17:58
                  Svips, Какие 5? Несколько месяцев максимум:)
                    • Самокритичный трейдер
                      10 декабря 2015, 18:06
                      Svips, Что за бредовый подход. Я тебе не с неба инфу даю, а цитируя официальные заявления. А вот то что ты их не знаешь это как минимум странно
                • nik
                  10 декабря 2015, 20:04
                  Svips, вообщето замена плазе уже готова и работает, я ее даже опробовал сегодня
              • Самокритичный трейдер
                10 декабря 2015, 17:58
                Gypsy, Сигейт уже весной может заработать на полную мощь и wire в том числе и чо ты будешь делать? Месяц терять на изучение и переписывание?
          • Самокритичный трейдер
            10 декабря 2015, 17:57
            Gypsy, Ну позвони в ритейл колокейшена биржи и узнай. Я ж не менеджер МОЕХ. Нам сказали готовтесь умники. Мы и готовимся:)
          • Самокритичный трейдер
            10 декабря 2015, 17:59
            Svips, И тут ты как раз ошибаешься по поводу не долго(
              • Самокритичный трейдер
                10 декабря 2015, 18:07
                Svips, И тут ты ошибаешься, так как новая структура протокола и передачи данных может затронуть многие алгоритмы даже позиционного трейдинга. P.S. Хотя что  тебе доказываю то…
      • Самокритичный трейдер
        10 декабря 2015, 17:44
        Антон Б, Всё это удешевление и рационализация в итоге ударит по эффективности работы, а как показывает практика реализации хороших алгоритмов на торгах тут лучше не дешевить иначе потеряешь момент на всегда.
          • Самокритичный трейдер
            10 декабря 2015, 18:00
            Svips, Начиналось всё с форекса на MQL3 и позиционными сделками, потом чуть чаще и MQL4. И вот здрасте приехали. Рубим по 1500 заявок в день на инструменте.
              • Самокритичный трейдер
                10 декабря 2015, 18:10
                Svips, Горит, сЦуко, всё. Горит всё одинаково быстро что за 10 000 рублей что за 100 000 рублей. И ещё эти айти дебилы мос биржи схему передачи данных меняют. Тут итак железо жжёшь, а ещё по предварительным прикидкам в два раза больше жечь будешь, но не потому что рынок требует, а только потому что в айти биржи дебилы( 
          • nik
            10 декабря 2015, 20:19
            Svips, при такой нагрузке вам достаточно одного среднего десктопа на все стратегии.
  • Байкал
    10 декабря 2015, 17:36
    это какой-то тонкий троллинг, удивлен что эти ребята торгуют на бирже с таким подходом
  • moroz
    10 декабря 2015, 17:40
    С алиэкспресса закажите готовые компы на Win8 лицензированной и не парьтесь
    Один обойдётся 7-8 штук
    Voyo mini PC



  • П М
    10 декабря 2015, 18:01
    Бред какой-то. Проще купить большой сервер, нарезать виртуалок, и тогда те ресурсы что ненужных одной виртуалок, будут доступны другой. У меня 8 роботов крутятся и отсчитывается ещё 2 относительно спокойно вообще без виртуалок, т.к. комп самый обычный, за 30 тыс собран был. И уже заработал в прошлом году в несколько порядков больше. В этом правда сливает. Но дело точно не в железе. Статья развлекательная, на уровне биржевых историй.
    • Самокритичный трейдер
      10 декабря 2015, 18:12
      ПBМ, Ну это тебя то позиционно всё по алгоритмам, а они хотят что бы можно было иногда и высокочастотно и чтобы менеджемент удалённо и мобильно делать и что бы на халяву, так как алгоритмы писать не кому и идей нет идут фин потери. И + ещё бирже всё с ног на голову меняет. Их понять можно:)
  • Vona
    10 декабря 2015, 18:10

    «В общем Шеф мягко намекнул, а скорее заявил прямо, что к новому году нам надо предложить решение о переезде действующей системы на более выгодную.»

    «А потом ты проснулся обоссанный на паре» ???????
    \
    Чувак, ты придумал статью про то, какой ты алготрейдер, чтобы похвалиться тем, что узнал про мини-компьютеры?

    Первая картинка легко ищется в гугле:



    Ну и непонятно, что у вас там за роботы, которым нужно 500 МГц процессор, ты когда придумываешь — уж говори сразу, что нужно 4 ядра и SSD )))))))

    Фарт-лаб — страна сказочников )))

    • Самокритичный трейдер
      10 декабря 2015, 18:14
      sivanov, Да, зеленоват автор. Но зато как отожгли в комментах!:)
      • aka
        10 декабря 2015, 18:50
        Самокритичный трейдер,… тоже сомнения испытываю с момента прочтения по поводу картинки и самой истории... 
        • Самокритичный трейдер
          10 декабря 2015, 18:53
          roan, Проблема есть и в двух словах она звучит так: По одному протоколу будут только данные о ценах идти, а по другому только данные о заявках. Добавляем смещение времени по серверам или просто задержку на каком либо узле и сам понимаешь что может быть. На языке программистов это называют: Пиздец:)
  • ICEDONE
    10 декабря 2015, 18:43
    один хороший робот с нормальными оборотами отобьет любую систему.
  • Алексей Никитин
    10 декабря 2015, 19:37
    Роботы на  армах -))  не  смешите мои тапки -))  скажите еще что у вас квик  на армах работает -))
  • ves2010
    10 декабря 2015, 19:49
    а где вакуумный ускоритель инета??? если из вакуума откачать весь воздух, то интернет ускоряется до сверхсветовых скоростей и заявки ставятся на биржу раньше их отправки 
      • ves2010
        11 декабря 2015, 07:42
        Svips, ну тогда надо поменять электроны в кабелях на позитроны… будет тот же эфект… будешь знать исход сделки до выставления заявки… всего то надо запитать комп от позитронного источника питания вместо электронного
  • nik
    10 декабря 2015, 20:06
    кокойто вы конкретно фигней заняться решили. причем судя по уровню написанного, есть серьезные сомнения что вы вообще имеете хоть какоето отношение к алготрейдингу 
      • nik
        10 декабря 2015, 20:16
        Svips, не страдать фигней, а купить один мощный сервер на который влезут все стратегии и поставить его на колокацию биржи.
          • Chepell
            10 декабря 2015, 21:14
            Svips, а почему в нормальном ЦОД просто не арендовать нормальный сервер?
    • Самокритичный трейдер
      10 декабря 2015, 20:12
      nik, А об этом я не подумал! А ведь и вправду странно. Нормальный алгоритм жжёт сервак так как анализирует поток цен и под каждую цену обрабатывает + ещё и отправляет заявки. Сервак горит если поток цен плотный и процесс анализа требует больше ресурсов. А этот удешевление задумал. Действительно странно.
  • puncher
    10 декабря 2015, 20:14
    Ну да, энергопотребление десятка серверов критично сказывется на прибыли крутейшей компании… Вот сэкономить киловатт 100 в месяц и прибыль ракетой. Ха-ха, топик в юмор.
  • Vasya
    10 декабря 2015, 20:20
    Зачем малина, закупите пачку embedded pc на атомах или тех же корах по цене максимум в 200$ за штуку, внутрь плашку оператоса на гиг, винты выбирайте: либо sd карты, но будет медленно, если роботы свопят на диск, либо sata dom/ssd по деньгам. Все это в коммутатор и по rdp управление, или вообще ip kvm. К хозяйству прицепите такого же малыша, но с PXE clonezilla на борту, на случай, если одна железка рыкнет. Насчет ИБП смотрите сами. Все, у вас ферма с быстрой раскаткой образа винды с роботом на борту, а вообще, можно и от установки отказаться, сразу тонких клиентов запилить
      • Vasya
        10 декабря 2015, 20:31
        Svips, есть asus rs400, можете вставить туда два процессора по 16 ядер, частота каждого, к примеру, по 2.5 ГГц. Получим 80 ГГц. Значит под Ваши требования это около 160 тачек на виртуалке. Вся эта штука сосет не более 800 Вт вроде бы. Правда каждый проц штук по 120 летом стоил. Еще там можно включить HT, получим 64 ядра. Полная утилизация всей сгораемой энергии
  • Vasya
    10 декабря 2015, 20:33
    Соврал, 500 Ватт. Этот «малыш» при тестах нашего софта обгонял здоровые 2U гробы. Плюс, не забывайте про настройку энергопотребления. Все ксеоны имеют кучу состояний простоя и тд. А малина и арм архитектура… лежат короче эти процы на складах и никому не нужны, кроме как фрикам малинникам
  • swerg
    10 декабря 2015, 21:56
    Честно говоря всё равно не понятно в чем профит.
    Одна Две десктопные машины (для резервирования) все это перекроют, денег, подозреваю, стоить столько же будет, надёжности (с учётом коммутации) больше.

    Но более всего удивляет подход «сэкономим на железе — перепишем роботов заново». Это серьёзно?? комп вместе с виндой стоит меньше месячной (месячной!) з/п программиста. Даже с серверной виндой, пожалуй, хоть она и не особо тут нужна, как мне видится.

    На программистах сэкономить — выйдет явно эффективне. Например.
  • Eldar Shaymardanov
    10 декабря 2015, 22:10
    На разнице текущего оборудования и малинки вы можете жечь электричество годами. Плюс время и работа еа переписывание под линь.
    Лучше две средней тачки и кластер с виртуалками.
  • Roman Ivanov
    10 декабря 2015, 22:58
    1) Радостного визга по поводу «всего 5 вольт» чето не оценил. А какая разница сколько?
    2) Разве тут основные затраты это не зряплата работников? Может их подсократить?
    3) Если всех роботов посадить в один процесс, разве не получится мощный симбиоз и соответственно экономия? Ну там положим бары будет строить не каждый процесс отдельно, а всего один. У меня штук 30 независимых алгоритмов работают внутри одного процесса. Вместе с квиком и виндой это раньше работало на 512Мб ОЗУ. Сейчас 1Гб за те же деньги, так вобще шоколад. И проц не жрется (может т.к. не HFT).

    Так что в целом пост выглядит странновато.
      • Roman Ivanov
        11 декабря 2015, 13:21
        1) за 2500 т.р. можете поставить компы на колокейшн и не парица.
        2) Зачем делаеть инфраструктуру надежнее, чем не надежная (факт) биржа? ;).

        При позиционной торговле это вобще не критично. У меня если даже роботы полежат пол-дня то особо ничего не изменится. А если дольше, то закрою все позиции вручную и свободен. Куда важнее надежность софта, например чтобы алгоритм не сбойнул в запил и не накормил брокера.
        Покупаю дешевый VDS и он явно надежнее чем биржа ;)

  • Михаил Пиписькин
    10 декабря 2015, 23:46
    какой то пиздец, может вам программистов нормальных нанять?
      • Михаил Пиписькин
        11 декабря 2015, 13:45
        Svips, потому что вы пишете это неадекват ИТ, если вы не ИТ то вам крепко наливают в уши и в ИТ у вас косорукие ребята. 
  • SECRET
    11 декабря 2015, 00:03
    Ребят, у меня на 1 сервере 1U работает около 400 роботов по 15 принципиально разным алгоритмам, есть автоматический мани менеджмент и визуализатор торговли, и все это в режиме ХФТ!!! И нагружает процессор в среднем не более чем на 1%.

    ТО, ЧТО ВЫ СОБРАЛИ РЕАЛЬНО НЕАДЕКВАТНО!!!
    И двигаться вы собираетесь в еще более неадекватную степь! 
      • Михаил Пиписькин
        11 декабря 2015, 13:47
        Svips, вы опять бред пишите, дешевый комп не даст вам такой пропускной способности на уровне процессора, памяти и шины данных. 
          • Михаил Пиписькин
            12 декабря 2015, 04:43
            Svips, я всегда говорю утвердительно если не ставлю знак вопроса. прекрасно понимаю как работает ПК и знаю на что влияет его компоненты.
  • SECRET
    11 декабря 2015, 00:19
    Можно еще вопрос! А телефон слева сверху зачем? :D

Активные форумы
Что сейчас обсуждают

Старый дизайн
Старый
дизайн