Блог им. fxsaber

Железо для кванта. Делимся характеристиками.

Не затрагиваю софт кванта и железо для алготрейдинга, потому что каждому свое.
Железо для кванта. Делимся характеристиками.


А вот вычислительных ресурсов кванту постоянно не хватает.

Вычислительные ресурсы.


Квант в команде занят изысканиями, нахождением некой альфы. Для этого требуются немалые вычислительные ресурсы. Уровень исследований напрямую от них зависит. У одиночки все очень скудно с этим, поэтому единственный вариант — некие ноу-хау, прорывная алгоритмическая оптимизация и т.д. Все то, что позволяет приблизиться к покрытию задач, которые совсем не лобовым способом могут быть поставлены хедж-фондом на локальный супер-компьютер.


Некоторый исследовательский прорыв получается достигнуть через алгоритмическую оптимизацию. Приоткрыть дверь туда, где простой обыватель не ходит.
Однако, количества ядер и памяти все время не хватает, даже если получилось алгоритмически ускорить расчеты в 1000 раз.

Расчеты кванта бывают двух типов: тюнинг и исследование.

 

Тюнинг


Это анализ текущей ТС. Сливает или держит? Где что можно было бы подкрутить, что убрать и т.д. Т.е. идет уже работа с готовой ТС. К каким торговым инструментам можно применить уже имеющуюся ТС. И что-то еще

 

 

Исследования


Ищем рыночные закономерности. Никакой ТС нет. «Просто» ищем рыночные закономерности на огромной БД: котировки, стаканы, лента, календари, твиты и т.д. Бесконечное поле исследований. И в этом иногда наблюдается некоторая парадоксальность, потому что, как правило, идут исследования на коленке: библиотеки машинного обучения на «домашнем ноутбуке».

 

Это очень интересная побочка/фича машинного обучения, когда бесконечные варианты осмысления и идей не осознаются, а автоматизируются. Отсюда вариант «на коленке». Как следствие, зачастую скромные требования к железу и больше уделение времени инструментарию, чем творчеству.


Переформулировка.


Расчеты кванта бывают двух типов: функция и фильтр.



Функция


Преобразование БД1 в более удобоваримую (не компактную) БД2.

Фильтр


Анализ данных полученной БД2 на предмет наличия закономерностей.


Голых расчетов, как правило, больше в режиме Функции, чем в режиме Фильтра. Но бывают и исключения, конечно.

 

Конфигурации

 

Просьба в комментариях написать, какое железо используете для расчетов и для каких целей (Тюнинг/Исследования или Функция/Фильтр). Не имеет значения, хедж-фонд это или одиночка. Просто поделитесь Hard-конфигурацией.

Пример

Скромный вариант: 8 CPU, 16GB, тюнинг: чистый расчет в течение 24 часов. Исследования в режиме тюнинга новых идей, реализованных в виде ТС.

★1
40 комментариев
Основная мысль топика понятна. Иногда вам тяжело коммент написать, потому что у вас очень много своих понятий, которые сходу не ясны. Вот к примеру «фнукция и фильтр», это вроде как принято называть пред расчеты, как один из видов оптимизаций.
avatar
Я кстати продаю мощности в MT5, полученные деньги не вывожу, а на эти деньги иногда запускаю свои расчеты своих страт на их распределенной сети таких же продавцов мощностей. Очень быстро все получается
avatar
Андрей К, это хороший вариант. Даже если просто оплачивать чужие мощности — обходится в копейки.
avatar
ICWiener, да, так и есть. Что то очень утонченно просчитать, что на локальной машине сутки занимает, то тут баксов за 10 и 5 минут )
avatar
Оптимизация рулит. Я как-то реверсил одну функцию из Матлаба в сишный код. Удалось разогнать ее в 2000 раз. И причем тут железо?
avatar
chizhan, когда то не поленились переписать сишную функцию на ассемблере с использованием мат и прочих команд процессора. Прибавка составила 6 нулей.

Железо…
Брахман Пилорама, «когда то». То есть встает вопрос насколько совершенен был тогда компилятор)
avatar
chizhan, 2017, компилятор всегда якорь в таких проектах.

Скажу больше, если нужна скорость — даже асм тормоз.

Ближайший пример — написать на C код для микроконтроллера. Там компиляторы близки к совершенству на уровне космоса, так как ресурсы ограничены. Разница по скорости разложения рядов Фурье на С и на асме — небо и земля. Вернее на С это невозможно сделать вообще на 8-ми битках. А на асме даже Z80 летает.
Брахман Пилорама, 
когда то не поленились переписать сишную функцию на ассемблере
это чего за год такой был? что асм так выигрывал
avatar
Андрей К, 2017
По порядку

1. Сбор и архивация котировок, торговые терминалы — всего 16 виртуалок

2 x Intel Xeon 2683 v3 128 Gb RAM — 1 шт.

2. Ресерч

AMD Threadripper 3970X 256 Gb RAM — 2 шт.

3. Продакшн

AMD Ryzen 5950X 64 Gb RAM — несколько шт.

Про тюнинг ничего не понял. Если ТС надо подстраивать — это не ТС, IMHO
Функция и фильтр упакованы в ресерч

С уважением
Мальчик Buybuy, и ни одного GPU/FPGA? Странно…
avatar
chizhan, а смысл?

У меня расчеты с большими матрицами и грамотной векторизацией.
Соответственно, запихивать их в графпроцессоры геморно — матрицы то неразреженные.

Распараллеливать программы грамотно — тоже гемор. Так что я тупо запускаю массив похожих экземпляров на многих ядрах. Быстро, дешево и сердито.

Был у меня на первой машинке Xeon Phi. Грелся сильно, толку — х@й...

С уважением
Мальчик Buybuy, на go не пробовали писать? Многие вопросы с параллельностью решает.
Брахман Пилорама, да я много на чем пробовал

Но при моих расчетах Matlab с грамотной векторизацией и всеми массивами в статике (нужно много оперативки) пока никто не побил.
Еще Haskell неплох для прототипирования, IMHO.
На C, C++ можно писать быстро, но ловить ошибки бывает очень и очень трудно.
Matlab же максимально приближен к исходной математике, поэтому код компактный, а скорость разработки феноменальная.

С уважением

P.S. Параллельность много на чем неплохо реализуется. Просто не все алгоритмы эффективно распараллеливаются (на эту тему даже большая наука есть). Поэтому я поступаю по рабоче-крестьянски — много ядер = много параллелей )))
chizhan, это еще одна квлификиция к кванту + кодеру + алготрейдеру.
Просто слишком много знания в одну голову.

А наружу отдавать алгоритмы на оптимизацию боязно.

(мне)
дешевле старые сервера ксеоны с 64 гб x 24 ядра купить в китае.
надежность старого железа в ресерче не важна.
avatar
Eugene Logunov, 
Жутко громкие и прожорливые.
в спальне стоят? )) Мне иногда такие приходится в офисе пускать минут на 20, стараюсь выбирать вечернее время, чтобы соседей не было или хотя бы успеть по ipmi вентиляторы придушить ) Но лучше конечно хоть в какой то самый дешевый ДЦ, не стабильно, зато тихо )
avatar
Для тишины иммерсионное охлаждение.
avatar
Eugene Logunov, жаль, не встречал квант-методик оценки числодробилок.
avatar
Eugene Logunov, многие греют загородные дома зимой таким образом, когда не живут. Но это больше касается майнинга — бесплатное отопление выходит. Но шумит, как в салоне самолета. Поэтому в несезон.
avatar
fxsaber, хм

Эта легенда проистекает от ранних Xeon и платформ соответствующих.
Я перешел на АМD по 2-м причинам
1. Значительно ниже цена на ядро (при более высокой частоте)
2. Возможность легко ставить необслуживаемые СВО
Так что все быстро, тихо и холодно

С уважением

P.S. Последний Ryzen оказался сильно капризным. Threadripper — огонь!
Мальчик Buybuy, а что не так 5950-ым райзеном? Я как раз себе приобрел недавно, но не опробовал еще.
avatar
tranquility, очень нестабилен при разгоне — лучше оставить заводской

Ну и вылетал регулярно под высокой нагрузкой, пока не накатили Server 2019

С уважением
Eugene Logunov, хм

А пожаротушением в кв-ре не заморачивались?

У меня большинство вывезено в ДЦ, но часть стоит на кв-ре у админа в отдельной комнате. Так он купил себе такой «взрывающийся» шар для оперативного гашения пожара. Ну и страховка недешево обходится теперь)))

С уважением
Кванты хуже майнеров 
По мне, если ты успешный квант(алготрейдер), то достаточно мощного ноута и удобно доступного датацентра. Ну и для HFT сервер с минимальным пингом до ядра биржи.
avatar
chizhan, в теории так оно и есть

Если
1. ДЦ не в РФ
2. IPMI хватает для администрирования (криптованные диски?)
Ну и масса дополнительных заморочек с конфиденциальностью

С уважением
Мальчик Buybuy, верно, криптозащита дополнительный гемор)
avatar
Мальчик Buybuy, Москва, Питер сертифицирован tier3 есть.
avatar
initroot, а tier 1?

Они все известны на самом деле

С уважением
Eugene Logunov, это еще опаснее

Маленький потоп в таком конфиге примерно равен большому пожару.
Какие ИБП используете, если не секрет? Или не надо?
Я много чего перепробовал, пока не нашел великолепного отечественного производителя. Большие, тяжелые, но реально тянут 1ч45м под полной загрузкой.

С уважением
Eugene Logunov, 
время одного проекта — было слышно через две закрытых двери и коридор до серверной.
я на время изучения плис, притаскивал 1u домой ) закрывал в ванной и от него шнурок для ipmi ) Веселые были времена.
avatar
Eugene Logunov, у меня как то по соседству эстакаду стали строить и вроде бы все хорошо было, но за несколько лет подпалили пару матерей и один проц )

в принципе, если смотреть с позитивной стороны, зато пришлось уже покупать i9, дало хороший прирост в некоторых вычислительных процессах
avatar
когда чересчур увлекаешься оптимизацией

Пост для тех кто хочет казаться очень умным

теги блога fxsaber

....все тэги



UPDONW
Новый дизайн