Блог им. AndreiSk

Какой зион прикупить?

Ситуация: торгую на нашей биржечке, пробую разные стратегии.
Живу понятное дело, с рынка. И вот стал замечать,
что для работы (поиск-анализ стратегий), не всегда хватает
рабочего компьютера с 4 ядерным Core i7 4790K на 4.0 ГГц ( http://ark.intel.com/products/80807/Intel-Core-i7-4790K-Processor-8M-Cache-up-to-4_40-GHz ).
Программы пишу сам, многопоточные. Другими словами, нагружаю на всю котлету
всякими расчетами. Вариант оставить расчеты на ночь посчитать — иногда проходит,
но бывает гипотезы у меня крутятся разные и хочется их быстро проверить в течении дня,
а не ждать целую ночь (а то ночью тоже ворочаюсь, а это вредно).
И вот надумал я поменять рабочий компьютер, перейти на зионы.
Не для колокации, а как обычный компьютер, для расчетов.
И вот гложут меня сомнения какой мне зион нужен.
Вариантов несколько:
а) рабочая станция с одним зионом, с двумя
Зионы интересны либо быстрые либо очень многоядерные, а именно:
Xeon E5 2696 v3 или 2699 v3 ( http://ark.intel.com/products/81061/Intel-Xeon-Processor-E5-2699-v3-45M-Cache-2_30-GHz ), 18 ядер, 2.3 ГГц, от $1300 и выше за штуку на ебее
или Xeon E5 2687W v3 ( http://ark.intel.com/products/81909/Intel-Xeon-Processor-E5-2687W-v3-25M-Cache-3_10-GHz ), 10 ядер, 3.1ГГц. Выше 3.1 ГГц зионов что-то не вижу. Около $2000 на ебее.
Это зионы могут по одному или парами на обычную матплату пойти типа Asus Z10PE-D8 WS ( http://www.regard.ru/catalog/tovar163490.htm )

б) рабочая станция с четыремя зионами типа Xeon E5 4669 v3 ( http://ark.intel.com/products/85766/Intel-Xeon-Processor-E5-4669-v3-45M-Cache-2_10-GHz ), 18 ядер, 2.1 ГГц, на ебее за $4000 есть.
под такую пока нарыл только 4 процессорную плату от SuperMicro (~$1000 за плату).

В связи с чем вопросы камрадам:
а) лучше самосбор или купить готовый корпус+матплата+блок питания
и впихнуть туда свой процессор, память и SSD? Опыт самосбора обычных ПК есть, а с серверными матеряими еще не пробовал. Или лучше найти кто соберет конфиг, а я только процессоры передам?
б) на ебее есть финальные версии и инженерные образцы (ES и QS), последние дешевле. Ничего против инженерных не имею, даже был у меня один такой мобильный инженерный процессор - работает до сих пор.
Но для зионов уровень цен выше и не хочется рисковать. Рискнуть с инженерными или не надо?
Склоняюсь не рисковать.
в) как с ебея с доставкой для зионов? Через нашу таможну зионы проходят или с трудом?
г) и главное, что лучше — много ядер или скорость ядер? Вот, сижу, ломаю голову, т.к. будет всего одна попытка. Вот тут http://www.anandtech.com/bench/CPU/39 показывает, что лучше все же быстрый 2687w v2/v3 или даже 2697v3

Короче, кто пользуется зионами для себя, поделитесь своими соображениями.
Бюджет будет тысяч 5 для двухпроцессорной станции. То есть будет 2*18=36 ядер (72 вместе с hyperthreading)
Четырехпроцессорная что то дороговато выходит, около 18т$ получается — наверное мне так не надо.


UPD: CUDA мне не подходит — уже попробовал, так что GPU и решения на них пока отложим
Xeon Phi тоже пока не хочется — почитал обзоры, наверняка будут проблемы с портированием кода.
Задача — добавить ядер в рабочий компьютер.
    ★12
    105 комментариев
    а зачем париться с ебаями, если все можно купить в магазах раши.
    avatar
    nik, можно, но будет дороже. Уже проверил. Для организаций может и пофиг, а я частник, деньги считаю.
    Счастливый Конец, частник в курсе про налог 30%*??
    avatar
    Тимур К, вы имеете в виду с посылок дороже 1000 евро? Я слышал, что правила собираются поменять, но не слышал чтобы уже поменяли. А договориться с продавцом о занижении стоимости обычно не проблема. Или же воспользоваться типа shipito.com и самому набросать декларацию.
    Счастливый Конец, обычно с ибея страхуют посылку, но если вы договоритесь с продавцом и понизите цену, а с посылкой что-то случится, сами понимаете что будет
    avatar

    nik, в РФ все дорого. В конторе все с Тайваня заказываем — говорят дешевле чуть ли не на 70%.

    avatar
    crast, это как в тайване можно купить проц дешевле чем у интела? 0_о. в мск в магазах цены на процы гдето на 10% дороже оптовой цены интела.
    avatar
    nik, ну речь прежде всего о сервере. Хотя как к нам довозят сервера HP c Тайваня это еще тот вопрос)
    avatar
    nik, это как айфон маде ин чина
    avatar
    Например. 3 года без забот по гарантии и, поскольку Вы в Москве, обслуживание на месте установки.
    avatar
    iMAG, у них наценка высокая, лучше самому взять комплектующие
    avatar
    iMAG, чето сомневаюсь, что на тайване сервер HP будет более чем в 3 раза дешевле, чем в мск. у HP по странам примерно одинаковые цены.
    avatar
    nik, Бесспорно. Тем более, я подобное не упоминал:)
    avatar
    вы многопоточность в оптимизации используете?
    или даже один прогон алгоритма параллельный?
    Взгляните на виртуальные машины azure — там почасовая оплата и комп можно очень мощный взять, trial бесплатный там есть
    avatar
    Захаров Иван, не очень понял что за многопоточность в оптимизации? Я использую потоки (ну обычные такие потоки в .Net), в один моент времени один алгоритм, но каждый поток со своими параметрами (подгонка другими словами). Этих параметров может быть даже десяток, я не знаю в каком сочетании они лучше всего, и вот… перебираю… и так для нескольких инструментов на истории (EDH5, EDM5, EDU5 и т.д.). Короче, хочется побыстрее.
    Счастливый Конец, .Net

    начни с этого)) переписав на с++, сыкономишь много денег на железе)
    avatar
    nik, есть в ваших словах кусочек истины. Я уже давно не чисто .Net использую а связка C#+DLL, которые на C++. Оно в разы быстрее. Переход на чистый C++ мне не сильно поможет, но увеличит время написания софта, которое тоже имеет значение. По этой же причине CUDA тоже неохотно идет в дело (долго писать, на CUDA можно неделю писать то, что на C#+математика в DLL делает за день).
    Захаров Иван, все, дошло. Я сперва думал про оптимизацию в компиляторе для многопоточных приложений, и не очень понял как мне это сильно поможет. А вы наверное имели в виду, что я оптимизирую параметры алгоритма — да, этим и занимаюсь. Параметров много, считаются не быстро. Ну переборные задачи в основном. Конечно где можно гоняю метод ветвей и границ, градиентные спуски и дин.программирование, но это сложновато формализуется. bruteforce быстрее.
    >>>Короче, кто пользуется зионами для себя, поделитесь своими соображениями.

    ну я пользую зеон
    поставил себе в ноябре xeon e5420, 4 ядра кеш L2 12 метров
    купил на али — отлистал целых 30 баксов

    все крутится вертится… все процессы.. 24 стратегии апщитываются..
    а вот куда пристроить 5 тыщ… тут не помошник… тут мозговать надобно сурьезней
    хомяка зови
    avatar
    astray, я ничего не понял. Кроме того, что надо хомяка звать. 
    astray, причем тут хомяк? $5000 на два процессора+память+мать+бп+все остальное. Мне 4 ядерный старый зион не нужен… хочется третью версию E5
    Счастливый Конец,  понял тебя
    по третьей версии я еще не дорос
    но могу порекомендовать вот такое питание безшумное
    я себе поставил и доволен очень..не греется
    Chieftec GPS-500C 500W
    avatar
    astray, интересный БП. А он не сильно греется под нагрузкой, ведь радиатор будет внутри корпуса, и кто его там обдувать будет?
    Счастливый Конец, хороший вопрос
     ДО того как взял много про них читал
    особенно про то… не жужжат ли там потом детальки итд
    купил давно и он у меня провалялся в шкафу с год, пока не затеял апгрейд
    и вот на днях поставил,
    это просто сказка
    не греется вообще, радиатор массивный тяжелый… и по идее БП должен ставиться в корпус с постановкой в НИЗ его
    радиатором верх но я поставил по старинке вверх корпуса

     ХОЛОДНЫЙ, шума нет, только щелчок при выключении как от солидного лампового усилителя,(он прописан в паспорте) понравился очень
    и рекомендую
    avatar
    Счастливый Конец, обдувать его отдельно не надо
    у меня вся система на пассивных радиаторах…  включая зеон
    и стоит в корпусе только один вентилятор большого диаметра на низких оборотах… порядка 500-800
    и он выдувает теплый вохдух со всего… включая БП
    avatar
    мне очень помогает вот эта табличка, она хорошо показывает разницу в вычислительной мощности разных процессоров:
    как раз позавчера с ее помощью выбирал себе новый комп
    m.cpubenchmark.net/cpu_list.php
    avatar
    Андрей Л, вот для Multiple CPU Systems они показывают что 2698v3 лучше всех, хотя где у них 2699v3 или 2696v3… хз
    nik, Желание сэкономить понятно, но серьезные решения должны сопровождаться соответствующей ответственностью и поддержкой. Если собственная квалификация позволяет, то да, можно сэкономить.
    avatar
    Согласен с Захаровым.Если нужны большие вычисления то выбирай Microsoft Azure.Дешевле обойдётся.К тому же доступ с любого устройства обеспечен.
    avatar
    Hannes, мне дали недавно поиграть на виртуальной машине с 10 ядерным зионом 2.0ГГц… зион вчистую проиграл core i7 4790K (4 ядра 4.0ГГц), печально. Я думаю что это из за виртуалки. Выглядит как будто нормальный компьютер — а тормозит безбожно. В общем настороженно отношусь к сервисам аренды машин по времени. Пробовать надо.
    Счастливый Конец, поделюсь парочкой мыслей
    1) весьма неплохо потенциал процессора показывает сайтик cpubenchmark.net/ — гораздо лучше, чем сравнение характеристик
    2) не знаю, как сейчас, но когда я собирал сервер для трейдинга в 2012, то i7 было из разряда — задаром не надо (так, как установить его в 1U корпус и при этом нормально отвести тепло — задача более, чем нетривиальная + проблемы с совместимостью с серверными компонентами), ксеоны все кроме серии E3 были неоправданно дороги за свои низкие гигагерцы, а E3 без QPI (на 1 сервер только 1 процессор, даже если материнка четырехсокетная, работать не будет). В итоге взял E3-1270, так, как по производительности он в одиночку несильно проигрывал двухпроцовым системам
    3) на своем серваке запускал SuperPI на железе напрямую и на виртуалке. На виртуалке под Hyper-V на WS 2012 производительность более 90% от «железной». Но использование виртуалок заметно добавляет удобства
    4) держать вычислительную машину дома — не лучший выбор. Как ни как, и качество домашнего инета не рассчитано на задачи, где оно влияет на прибыль + шум + сервер может банально загореться
    5) выставлять thread affinity в C# иногда бывает ооочень полезно

    PS лично я вижу, как оптимум, n однопроцессорных серверов на Xeon E3, размещенных в датацентре + свое ПО, которое раскидает задачи по ним
    avatar
    CUDA не подходит, а как насчёт OpenCL?
    есть ещё вариант купить сервис windows azune, уж там мощи залейся
    avatar
    Бобёр, OpenCL не пользовал, но читал обзоры. Народ говорит что похож на CUDA, но используется еще меньше чем CUDA.
    по железу: 
    имхо в москве цены на обычное железо хорошие, покупать тут надо. Возможно в ебее, амазоне и алиэкспрессе чуть дешевле, но не стоит ожидание и риски того, а на Али ещё и туфту могут подогнать. По зионам хз, но думаю также.

    по софту:
    а может расскажете что считаете? прям дико интересно.
    тслаб быстро просчитывает кстати, там много оптимизаций, не пробовали? 
    avatar
    Artemunak, считаю параметры своих стратегий. Например закладываю, «1%», а почему именно 1%? Пусть найдет точнее. Бывает из сочетания параметров новая идея для проверки идет и так по кругу. TSLab нет. Софт — свои программки (C# + математика в DLL на сях).
    Artemunak, по обычным комплектующим да, в москве даже бывает дешевле чем на newegg.com, но по зионам что-то совсем наоборот, о том и вопрос. Готов заплатить, но не переплачивать.
    Счастливый Конец, 
    ark.intel.com/products/81055/Intel-Xeon-Processor-E5-2683-v3-35M-Cache-2_00-GHz
    market.yandex.ru/product/11149058/offers?hid=91019&grhow=shop&how=aprice

    всего на 10% дороже рекомендованой интелом цены
    avatar
    nik, насчет 2683 v3 на ебее нашел только ES или QS, http://www.ebay.com/sch/i.html?_from=R40&_trksid=p2050601.m570.l1313.TR0.TRC0.H0.Xxeon+e5+2683+v3.TRS0&_nkw=xeon+e5+2683+v3&_sacat=0

    они не выше $500 как вы видите.
    Но возьмем например 2696v3

    http://www.ebay.com/itm/INTEL-XEON-E5-2696-V3-E5-2699-V3-SR1XK-18CORE-2-3-3-6GHz-Turbo-CPU-Processor-/201489937466?

    за $1300, и рейтинг продавца довольно высокий, да и таких предложений не редкость, за $1500 их уже вагончик. А за 1500 мы на маркете такое купим (100тр)? Неа. У меня потребность в серверном железе для несерверных задач. Многие вещи как супернадежность мне не требуется. Надежность должна быть как для бытового i7, т.е. чтобы просто работал.
    Счастливый Конец, это вообще наепкой выглядит, какой именно процессор продается по ссылке? потому  что -2696-V3 вообще не существует, а E5-2699-V3 не выпускался пока(если верить сайту интела).
    ark.intel.com/products/family/78583/Intel-Xeon-Processor-E5-v3-Family#@Server
    но ближайшие аналоги по характеристикам стоят примерно $5к за один проц.

    avatar
    nik, 2699v3 уже давно выпущены и люди на них гоняют бенчмарки, на анандтех есть про них. 2696v3 это OEM версия 2699v3, в розницу его нет, только партнерам, но партнеры разные — тоже продают. Короче это все есть, я уже полгода сижу, эпизодически облизываюсь. Код для 2696v3 это SR1HK ( http://www.ebay.com/sch/i.html?_from=R40&_trksid=p2050601.m570.l1313.TR0.TRC0.H0.XSR1HK.TRS0&_nkw=SR1HK&_sacat=0 )
    Счастливый Конец, но почему тогда сам интел(точнее её сайт со спеками на все выпущенные процы) ничего не знает о модели  2696v3? Да и цена выглядит подозрительно — в 3 раза дешевле ближайших аналогичных моделей, присутствующих в каталоге интела.
    avatar
    nik, в этом и прелесть ебея, можно прикупить что-то дешевле. 2696v3 существует в реале, что там у интел на сайте — это уже другой вопрос. поиск по 2696 дает много предложений, разные цены конечно, ловить момент надо http://www.ebay.com/sch/i.html?_odkw=SR1HD&_osacat=0&_from=R40&_trksid=p2045573.m570.l1313.TR10.TRC2.A0.H0.Xxeon+e5+2696+v3.TRS2&_nkw=xeon+e5+2696+v3&_sacat=0
    какой язык программирования используешь?
    avatar
    Hannes, C# для RAD, математика внутри DLL (на сях). .Net (C#) как то очень плохо с массивами работают (медленно).
    Из прочитанного вынес, что потоки рассчитывают каждый свое и не обмениваются данным. Подозреваю, что каждый поток делает прогон стратегии на истории. Тогда можно распараллелить на несколько компов. Главный комп будет ставить задачу, передавая команду по сети, а потом собирать результат. Для этого есть готовый софт типа MPICH.
    Но православнее написать свой с канастой и синьюритами. У меня расчетом грузится пара домашних компов + тот который на работе стоит. Есть возможность задействовать еще в 2 раза больше, но пока не требуется.
    avatar
    ivanovr, эээ… а 5 компов будет стоит 5к зелени. А 5 обычных процов (20 ядер в сумме, 40 в многопоточности) проиграют двум зионам на 18*2=36 ядер. А стоить примерно одинаково, в вот энергии 5 компов будут жрать явно больше чем один на зионах. Короче, нет у меня места для 5 компов, хочу 1 компактную рабочую станцию без видео и хранилища. Да я тоже сейчас гружу все что есть, но по большому счету грузить особо нечего. Самое новье это i7 4790K, есть еще i7 860, i7 2600, ну в общем, надо менять тактику.
    Счастливый Конец, уж не знаю что у вас там за задача, если на энергии нужно экономить ;) Может лучше пучок дешевых ARMов?
    Лучше найдите задачу где энергия многократно отбивается.
    avatar
    ivanovr, на энергии можно не экономить, но в бане жить неохота… у мну обычная квартира.
    Счастливый Конец, дык они ж не круглосуточно работать будут, а только иногда включать чтоб посчитать.
    avatar
    nik, так по деньгам что 5 обычных компов, что один на зионах — одинаково, а мороки с 5 компами явно больше будет.
    ivanovr, дело не в экономии денег на энергии. Электроэнергия в конечном итоге переходит в тепло. Если пять компов по 400 ватт, то уже два киловатта жарят. А двухпроцессорный зион ватт 500 будет. Смысл в том, что мне некуда деть 2квт тепла, и я по квартире с открытыми окнами все равно в трусах ходить буду как негр в африке.
    Счастливый Конец, летом на балкон. Зимой в хату — нормально. А шум вентиляторов не будет мешать? Может водяное и тепло улицу выводить? ;)
    avatar
    ivanovr, да пока не знаю, будет ли мне два кулера на процессорах и один в БП мешать — кулеры еще выбрать можно. У меня не планируется 24x7 рабта этого железа. Использование будет примерно такое: пишем код, запускаем, тут все 36/72 ядер рванули счиать, быра посчитали — снова стоим думаем над результатом-дописываем еще кусочек стратегии и так по кругу. А ночью спим. Сейчас проблема — я жду когда оно посчитает, а хочу быстрее, пусть доплачу, но будет больше ядер. Все остальные серверные ништяки типа СХД или там терабайты RAM — мне не нужно, мне даже 16ГБ хватит за глаза. Это не трейдинговый комп (в смысле не для робота), это обычный рабочий — для расчетов.
    Счастливый Конец, надо понимать, что фактическое энергопотребление != мощность БП. Если проц потребляет около 100 ватт, видюха бездействует, огромных дисковых массивов по 40 HDD тоже нет, то откуда там возьметься 400 ватт?

    Но то, что при равных характеристиках ксеон потребляет меньше i7 — факт
    avatar
    Учтите также, что если комп многопроцовый, но шина и память общая, то ускорение может расти медленнее, чем число процов. Поскольку узким местом станет шина/память.
    avatar
    Возьми в хетцнере в аренду и попробуй погонять месяц другой разные конфигурации. Железо всегда успеешь купить. Тем более многопроцессорные конфигурации уже требуют совсем другого охлаждения и издают не мало шума, слушать гул надоест быстро.
    avatar
    Епать калупать вы там что считаете влияние взрыва звезд и образования черных дыр на фондовый рынок?
    avatar
    ICEDONE, ну у меня не только трейдинг в интересах, я еще и робототехникой занимаюсь, в частности комп.зрение и машинное обучение. Они тоже аццки переборные задачи иногда. Короче, много ядер мне всегда не хватало, и пора бы уже обзавестись чем нибудь достойным.
    BuldozerM, вот спасибо. Первый кто реально написал свой конфиг. А зионы где брали? А 1500 блок не сильно много? Мне видеокарта не нужна будет, у меня чистая математика. У меня ощущение что 700-800 ватт будет вполне достаточно.
    BuldozerM, да это понятно, что QS/ES не совсем финальные. Но у меня и задачи не совсем серверная. Для production сервера это конечно дурной тон брать QS/ES, а для дома-для семьи за недорого чтобы посчитало — почему бы и нет?
    SlayerS_BoxeR, я не зарабатываю угадыванием направления цены. Я торгую роботами, а им нужна проверка на истории и правильные параметры. Вот их и требуется искать пошустрее, для этого ищу следующий компьютер. Нынешний хотя и быстр, но уже не хватает. Можно я еще один куплю чтобы еще больше на бирже заработать?
    BuldozerM, да, тоже знаю этот магазин, хотя ничего еще там не брал. Понял про БП, спасибо.
    Счастливый Конец, я бы на вашем месте начал с оптимизации кода. В .Net есть много неочевидных вещей, которые просто драматически снижают производительность. Но с другой стороны для .Net есть прекрасные инструментальные средства, который такие вещи достаточно легко позволяют отлавливать. На вскидку, это работа с линком, неоптимальный выбор коллекций (задачи вставки, поиска в разных коллекциях имеют очень разные сложности), постоянная переалокация памяти и связанные издержки на GC. Если хотите скину в личку название тулов, которые могут быть очень полезны для поиска таких вещей. По опыту могу сказать, что первоначальный алгоритм можно вылизать и получить от 50 до 1000% выигрыша в производительности.
    avatar
    at60hz, это все для меня не ново. Как никак 20 лет опыта и MCSD впридачу. Я этот .Net еще с первых версий мучаю, это мой рабочий инструмент был когда работал программистом. Код вылизывается по мере возможности. Вы же сами понимаете — вылизывание — это время. А бывает код нужен только сейчас для проверки гипотезы - чисто для исследования. Тут два варианта: неделю вылизываем, три минуты считаем. Или пишем как умеем, но быстро и за полдня считаем. Вылизывать имеет смысл если это становится рабочей версией надолго. А у меня задача посчитать быстро, но разово.
    Счастливый Конец, такая же мысль! Поэтому и с работы уволился, начальство отдела были имбицилами на эту тему и не терпели не оптимизированного кода, даже если он требовался лишь на пару минут в жизни :-) 10 ядер хватит вполне.
    avatar
    Счастливый Конец, с одной стороны да, а с другой, вы же не переписываете весь бэктестер под каждую стратегию с нуля :) достаточно оптимизировать инфраструктурные вещи один раз. Это практически бесплатно и никак не противоречит желанию купить Xeon
    avatar
    at60hz, совершенно верно. Есть некий мой framework, который за долгое время сам собой вылизался. Разумеется каждый раз я делаю его reuse+дописываю новый кусочек. Предположим я вылизал код на 99.9% (вылизывать можно бесконечно, но допустим — мы остановили вылизывание), быстрее уже нельзя. Но этот вылизанный код меня не спасает от основной проблемы — кучи комбинаторных взрывов. Их можно решить либо усечением поля поиска (что большую часть времени я и делаю — из-за этого код ветвистый, не для GPU), либо добавить еще CPU. Сейчас веду речь как бы мне CPU побольше еще сделать, код я и сам бесплатнопеределаю, я CPU не могу сам изготовить :)
    Счастливый Конец, тогда да, вопросов больше не имею :)
    А по опыту выбора железок для запуска, в идеале надо прогнать свои задачи на зионах перед покупкой, я в аналогичном вашему случае понял, что зионы мне не выгодны экономически, за счет высокой стоимости и низкой частоты ядра. Единственное оправдание их покупке с моей точки зрения — это возможность запустить все сразу на одной машине и не не думать над балансировкой задач по кластеру. Для себя остановился на топовых i7. В иделае вообще не покупать, а взять в аренду физический dedicated server c возможностью поставить свою копию винды (примерно 50% стоимости vds сэкономите)
    avatar
    at60hz, так у меня и сейчас относительно топовый i7 4790K, на 4ГГц у Интеля есть еще 6700K, а других нет. Разгон не берем в расчет, не мой метод. Из других топовых можно глядеть на 8 ядерный, но с меньшей частотой. И на этом все, они 1S. Если ставить парами, то это уже зионы 2S/4S/8S. Меня тоже бесит что они такие малочастотные. Ну что такое 2.3ГГц сейчас? Это было интересно 5 лет назад, а сейчас 4ГГц. Но деваться некуда 2.3ГГц, зато 18 ядер (Xeon E5 2696/2699 v3). По поводу облачных технологий или виртуальных машин — есть большие сомнения в том, что я получу именно то, что написано. То есть будет написано 10 ядер на 2ГГц, но кто сказал что они все на 100% мои? Там будет на 1 зион сидеть 10 виртуалок и время будет делиться между ними если они все вдруг захотят посчитать (а если не считать, то зачем они нужны). То есть у меня будет написано конфиг такой то, но работать этот конфиг для меня будет в 10-20-50% от своей реальной мощи. Это будет выглядеть как будто мощный комп чем то занят еще и жутко тормозной (уже проверил на виртуальке с зионами) — впечатление мрачноватое. И ведь не скажешь — эй, а чего он такой тормознутый, я за что заплатил? Я даже видел на некоторых сайтах по аренде «мы не занимаемся уплотнением», аха… прокололись…
    Счастливый Конец, согласен, на виртуалках наталкивался на такое. поэтому если есть очередь задач на несколько недель-месяцев вычислений имеет смысл арендовать именно физические сервера, но про развертывание на несколько часов тут можно забыть, таких сервисов я не видел. А для запусков ad hoc видимо вообще нет достаточно хорошего решения в плане производительность/цена, если что найдете — напишите пост, буду рад почтать.
    avatar
    Счастливый Конец, сколько сделок в день для одного контракта совершаете, что Вам такие мощности нужны?
    avatar
    V.V., это не торговый компьютер. Это следующий компьютер для расчетов (рабочая станция). Торговый компьютер (там где сделки) стоит отдельно, о нем речи не идет, его обновление не требуется. Сколько там сделок — это ничего не даст.
    Про использование нескольких GPU, как для bitmining уже говорили? Вообще .Net и скорость вычислений это как минимум смешно.
    Брахман Пилорама, не подходит мне GPU. Если код ветвистый, то GPU не может такое считать быстро. GPU может посчитать 1024 раз один и тот же одинаковый код. А у меня в один момент времени могут выполняться разные куски алгоритма в разных потоках. Подумайте сами — если бы все было так просто, я бы давно свою GTX580 припахал (да, раньше была топовая карточка, хотя в игры я не играю вообще). И написать ядро для CUDA тоже не проблема, но оно не поможет. Ядра (kernel) CUDA - они для параллельной работы одинакового кода, не мой случай.
    Счастливый Конец, может что то в логике модели поправить? Как у вас получается динамический код? Вы работаете с чистейшей математикой.

    Правильная постановка вопроса дает 90% ответа. Так же и правильная модель вычислений дает 90% прироста скорости. Менять надо не железо. Менять надо свой подход.
    Брахман Пилорама, не, ну нельзя исходить из предположения, что в каждой программе все потоки в один момент времени выполняют одну и туже инструкцию (это идельный случай GPU), у меня нет так — почему не так — это уже доугой вопрос. Вот ищу решение для обсчета именно такого случая. На то они и потоки CPU, что позволяют каждому иметь свой код для выполнения. Иначе бы в компах были бы GPU в качестве основных процессоров, а не CPU. Ну в общем, не отклоняемся от темы — «на чем» посчитать, а не «что» посчитать-переделать :)
    Счастливый Конец, Я исхожу из банальной логики. Если гвозди забивать микроскопом — никаких микроскопов не хватит. У вас 70-80% вычислительной мощности тратится (условно) на операторы NOP в бездарных результатах компиляторов .Net и прочего недософта который вы пытаетесь оптимизировать.
    Это основа понимания. Если от этого не отталкиваться — не хватит и кластерных полей.
    Брахман Пилорама, эй… а давайте не будем про недософт. Любую вещь можно обосрать заочно, только это не поможет в проблеме. А проблема на самом деле в комбинаторике, а не в софте. Софт просто идеальный, понимаете? Это прецизионный молоток и забивает сертифицированные гвозди. Просто гвоздей много, а молоток один. И потом, своими компиляторы Microsoft занимается, а писать на ассемблере — у меня нет столько времени. Поэтому что знаю лучше всего — то и пользуюсь.
    Поддержу тех, кто советует брать мощности в аренду, когда надо что-то быстро посчитать. 
    avatar
    Зачем копм то собирать… Google Cloud, AWS, Azure и можно хоть целые кластеры поднимать на часик другой.
    avatar
    SlayerS_BoxeR, тут ведь какая вещь. Вот вы пишете «приятно же понимать рынок самому, принимать собственные решения». А я вот не хочу так, вдруг понималка сломается или допустим свидание у меня. Пусть робот решения принимает, я хочу чтобы у него была понималка рынка, для этого эту понималку надо вычислить. Ведь та понималка, которая у вас между ушей — это всего лишь биологический компьютер, и можно сделать аналог на кремниевой основе и прописать туда программу. Просто так программу не напишешь — нужно повычислять для начала. А у вас эта программа пишется на основе вашего предыдущего опыта, которого у робота нет. В общем, мой принцип тот же — меня отличает от толпы торговцев умение программировать и писать робота. Этим преимуществом и пользуюсь. Я не говорю что это уникальные навыки, но у большинства, скажем прямо — их нет, и никаких конкурентных преимуществ у них (в т.ч. и у вас) — тоже нет передо мной. Понимаете о чем я?
    Алгоритмы очень сложные? А то в мт5 облака платные придумали. Тесты наборов параметров делает очень быстро
    avatar
    Андрей К, не так чтобы сложные. Идея должна быть простой, иначе легко запутаться. Но все дело в параметрах, где то надо 2 пипса, где то 20, и таких параметров может быть много — пространство поиска растет экспоненциально. Про облака понял, буду иметь в виду. Пока вопрошаю про зионы в личном пользовании.
    если надо эпизодически, проще в облаке арендовать когда надо мощный сервер.

    ну и либо математика черезчур сложная, либоне шибко оптимально написанная.

    у меня рабочий комп i7 32гб RAM, бэктестирование 10ка стратегий (не сильно сложных) параллельно на интрадэе с 2010г — меньше 10 минут; EOD — ну там и сотню стратегий одновременно за все время в течении минуты. движок свой. но я больше программист и математик, а не трейдер ;). впрочем, если начать засовывать сложную математику в стратегии, все конечно начнет тормозить.

    avatar
    В октябре брал себе Intel Xeon E5-2690 v3 ES LGA2011-3, 12 ядер, на ebay б/у за 480 USD. Если не ошибаюсь, из Японии была доставка. Материнку купил в Москве новую Asus Z10PE-D8 WS. Материнку покупал с запасом под два процессора, пока юзаю только один.
    avatar
    bealtrader, и как ES? Есть какие глюки или все нормально?
    Счастливый Конец, все нормально, глюков пока не заметил
    avatar
    bealtrader, а корпус какой и БП на сколько ватт выбрали?
    Счастливый Конец, Сейчас арендовать вычислительные мощности в глобальной сети стоит копейки, на хрена покупать домой печку — пылесос да еще и за 5000?




    avatar
    Евгений, а сколько будет стоить аренда мощностей в соответствии с потребностями автора (18 ядер и т.д.)?
    avatar
    bealtrader, копейки ,  к примеру многие сдают свои вычислительные ресурсы для того что бы грабить криптовалюты  — находить те же новые биткоины.

    Как то скачивал прогу которая оценивает вычислительную мощность машины и определяет сколько ты с нее будешь зарабатывать сдавая.

    Дак вот на моем I7 c 16Гб ОЗУ  смог я бы зарабатывал 5 центов в день!

    Вот и прикинь что можно арендовать хотя бы на 1 бакс в день  в течении 5000 дней
    avatar
    Slivu_net, так Астрай тоже — зионист??? А ведь я должен был догадаться! :-(
    Вестников, ну вот нас сионистов и разоблачили (
    avatar

    теги блога Счастливый Конец

    ....все тэги



    UPDONW
    Новый дизайн