rss

Профиль компании

Финансовые компании

Блог компании sMart-lab.ru | Выбираем сервер под смартлаб

Есть вот такое предложение:

Supermicro Xeon E5-2630v4 (max2)/32G (2x16G)
DDR4/2x300G SAS/2x240G SSD MLC/VGA/2GLan/IPMI/2x700W/1U Rails

Что скажете, знатоки? Или лучше купить виртуальный сервер?
★4
79 комментариев
Лучший вариант  2 проца  1 юнит,  БП 500 ватт  более чем достаточно.  Купить свой, виртуалка  всегда дороже выйдет.

Дешевле купить юзаный,  тут от наших  алго  вполне вероятно сервачок взять -)))
Колоекйшен/дедикейт? в каком датацентре?
avatar
drow, это легко вычислить )
Свой естественно выгоднее(хотя нужно учитывать платежи за размещение в DC), но за ним следить придется. Такой конфиг с запасом для smart-lab. 
avatar
Виртуалка не вариант, много гемороя и дорого. В твоей конфигурашке, реально дорогой проц, можно купить подешевле и на производительность веб сервера не сильно повлияет. А вот sas дисков маловато, надо 4-5 для нормального рейда. 
Георгий Харитонов, не, проц норм
из опыта лучше виртуалку. ее можно целиком бекапить и переносить на быстрое железо
avatar
SAS это если обычные жесткие диски то только для бэкапов. ССД SAS нормально. Памяти не очень много скажем прямо (32 гб). Не знаю сколько базы смартлаба занимают, но можно думаю организовать чтобы большая часть баз лежала в оперативке, тогда будет летать всё (и не так важно ссд или не ссд там для персистентности). Процы норм, старье тоже ни к чему брать (если цена нормальная).
Все ксеоны Ivy Bridge и выше очень хорошо без нагрузки электроэнергию экономят, только вот датацентры часто просто за юнит например берут и за мощность блоков питания. Например, больше чем за 500Вт на 1 юнит запросто могут доплату протарифицировать, так что тут надо смотреть какие условия размещения.
И да, супермикро — вполне хорошая серверная марка.
avatar
Антон, ну у нас было 16 гб и все ок работало
На каком сейчас железе крутится?
avatar
Д Л, сам не знаю
Такую конфу и любой Айтишник сможет собрать и дешевле будет и мощнее…
avatar
Если у провайдера стоять будет, там понятно только юниты, если дома, и от провайдера оптика или уверенный провод с гигабитом, то десктоп удобней и тише и модернизацию делать проще.
avatar
Oleg Vigor, дома не вариант,  т.к. коммунальщики любят трактором оптику перерубать :)
avatar
У скальперов кто роботами занимается нужно вымутить старое железо. Оно выйдет подешевле и производительнее главное. 

Но это все вторично, главное еще не забудь куда постоянно бэкапы скидывать.
avatar
Ну вы тут жесть порите. Базы хранить в оперативке, сервера дома. Разберитесь с начало в теме, а потом уже советы давайте, диванные эксперты блин.

Тимофей Мартынов, ЧИТАЙ!
Судя по статистике similarweb трафик на сайте в месяц на ~2,1млн.
Т.е в день имеем примерно 70тыс. Берем активные 15 часов.
70тыс / 15ч =~ 4667 человек в час.
Т.е. активность между часами разная, возьму коэффициент 2x, для пикового часа, т.е в пиковый час на сайт заходит 4667*2=9334 человека.
Т.е. максимальная нагрузка на сервере будет:
9334чел /3600сек  = 2.59 чел
Но это только новые пришедшие пользователи, возьмем коэффициент 2,5 для тех пользователей которые уже на сайте бегают читают, комментируют.
ИТОГО в секунду в пик часы нагрузка на сервер 2,59чел*2,5= 6,47=~7 человек в секунду обращаются к твоему серверу в пиковые часы.


Я не знаю кто твой админ, но тебя разводят.
Тебе не нужен сервер с процессором который набирает в CPU Mark 13998 попугаев (балов). И уж тем более 2 таких, как не которые тут «эксперты» советуют.
Под твои нужды выделенный сервер не нужен, достаточно взять VPS. К примеру на OVH.com vps с ssd c 8 гигами оперативы и 2 ядрами процессора с частотами в 2,4Gh стоит всего 13,5$ в месяц. И этого тебе хватит с головой и больше.

На том же online.net можно взять vps c 6 ядрами x86, 8 гиг оперативы и и с диском ssd 200gb за 9,99 евро в месяц.

И все эти vps в облаке.

У меня у самого и на ovh и на online.net есть сервера и vps-ы.
Поэтому я знаю о чем я говорю.

И да если у тебя на движке сайта есть кэш, то можно и на хостинге обыкновенном хоститься )))

Пиши в пм, помогу советом.
avatar
I am GROOT, и если что всегда можно переехать
avatar
I am GROOT, здесь лайвстрит, причем навороченный
с виртуалки за десять баксов такой выгонят сразу
avatar
Алексей, очередной диванный эксперт!? Что значит «навороченный»? Что значит «выгонят»?

Хотя в рашке может быть и «выгонят» ))).

Если вы дело имели с недохоcтерами, не нужно свой опыт проецировать на крупные датакомпании такие как ovh и online.net

Я более 4 лет пользуюсь услугами данных датацентров / датакомпаний и все нормально.

А «навороченный» = плохо оптимизированный? )))

На сайте тупо даже не включен gzip или deflate сжатие. А какой блин «навороченности» идет речь?
avatar
I am GROOT, чем не угодили диванные эксперты?
пинги не устроят в любом случае, нужна только РФ
навороченный, значит с десятками плагинов и примочек

то америка, то либералы, теперь диванные эксперты во всем виноваты
)))
что-то новое
avatar
Алексей, диванный эксперт подтвердил свою репутацию )))
ping-ы не устроят )))

Леша речь идет о сайте а не высокочастотном роботе. Пинг тут не сильно важен.

И если бы ты пропинговал датаценты о которых я писал выше, ты бы приятно бы удивился.

Но кому я что тут доказываю, ведь Леша знает все и советы всем дает.


avatar
I am GROOT, отвечайте в личку и не засоряйте отсебятиной

вот про важность конкретно пингов, как и для HFT
xseo.top/tools/seo-tools/index-speed/
avatar
Алексей, «эксперт» в seо полез )))
Что вы знаете про трастовость ресурсов, и как траст влияет на индекс ?

Леша ты не эксперт ни в seo, ни в железе… можешь хоть тысячу ссылок кинуть… тебя это экспертом не сделает.

Вот на, посмотри, как сейчас smart-lab выглядит в глазах google
developers.google.com/speed/pagespeed/insights/?url=https%3A%2F%2Fsmart-lab.ru&tab=desktop

И да ты мне не интересен, оперируй ко мне знаниями, а не поверхностным мнением.

Удачи тебе.

PS. И да почти половина трафика смартлаба (по симиларвебу) это директ траф, и директ это не тот который яндекс директ ))) Теперь свяжи это с индексацией своей.

Еще раз удачки )))
avatar
Алексей, вы сильно перепутали пинги которые имеются в виду в той статье, и пинги которые могут «не устроить» из-за удаленности сервера. :)
avatar
type568, какая разница, все равно оппонент не будет читать дальше заголовка ) если вообще пойдет читать )
avatar
На сайте тупо даже не включен gzip или deflate сжатие
I am GROOT, вы уверены? Или просто не умеете смотреть?

wget -S -O /dev/null --header=«accept-encoding: gzip, deflate» smart-lab.ru/
...

Content-Type: text/html; charset=utf-8
Content-Encoding: gzip
Content-Length: 25761
vary: Accept-Encoding
...

avatar
Алексей, почему?:)))
I am GROOT, вы просто смешны со своими выкладками. 
avatar
I am GROOT,  сколько человек в секунду лезет на сервер — это ни о чем не говорит. Нужно смотреть нагрузку на сервер в этот момент, т.к. напимер статику для 7 человек тебе и первопень плюнет за доли секунды, а если там навороченные выборки из разных неоптимизированных бд, да ещё и с кривым кодом, то можно поставить раком superdome:)
avatar
Иванов, Сколько человек в секунду лезет на сервер — это и есть нагрузка на сайт, это имеет критическое значение, ибо процессорное время будет делится на всех юзеров. То что там отдельные операции ресурсоемкие могут быть — это все второстепенно.
sortarray sortarray, да, это так
и особенно ресурсоемок именно sort array
)))
avatar
Алексей, Ну, как сказать:) По памяти обычно ресурсоемка рекурсия без TCO, и операции с утечками памяти, типа, созданиея замыканий на каждый пук, по процу там куча вариантов может быть.  Сортировка массива, в принципе не обязательно столь уж ресурсоемка, если все по уму сделано:), Он же и предназначен для таких случаев, это индексированная структура с произвольным доступом.  От конкретного случая зависит
Видимо, наихудшим случаем будет, если приходится на каждой итерации делать сдвиг
Алексей, Во всяком случае, сортировка списка, например, будет, как правило, дороже сортировки массива,  я так думаю, кроме каких то особых случаев:)
sortarray sortarray, это понятно, что нагрузку на сервер создают люди в единицу времени. Я к тому, что без понимания текущей конфигурации смарт лаба и понимания загрузки по процу,  памяти, хдд, сети и т.д,  советы в этом треде не имеют смысла :)
avatar
Иванов, вообще выгодней брать оборудование с запасом, чем париться с оптимизацией
avatar
Алексей, само собой, особенно если сопоставить стоимость железа и человекочасов, это становится очевидно:) Но с другой стороны, любую мощность можно сожрать с таким подходом. :)
sortarray sortarray, опять не факт :) к примеру гугл пошёл по пути дешевого железа, но с продуманный софтом (gfs), а Yahoo по пути дорогого железа и в итоге проиграл гуглу.

Вот например чтиво по этому поводу:

vc.ru/p/google-beat-yahoo

Х
отя я накатил и вероятно потерял нить беседы, поэтому могу нести бред :)
avatar
Иванов, Ну, гугл хорошо масштабирует софт.
Но я с Вами не спорю, согласен, что оптимизации следует уделять внимание
Алексей, о, это далеко не факт. Но тут наш разговор заходит в тупик, т.к. надо смотреть конкретную ситуацию.
avatar
I am GROOT, А какой смысл на хостинге хоститься, если VPS копейки стоит?
VPS всяко лучше, там безо всяких настроек тебе доступны любые возможности операционной системы, и нет никаких ограничений в технологиях.
В пользу реального сервака, кстати, говорит то, что виртуальные хозяева могут химичить с выделением мощности, заявлять одно, а предоставлять другое, если у них нагрузка будет слишком большой. Проверять все время за ними слишком гемморно
I am GROOT, спасибо по-братски.
Но нам нужен сервак
У нас на сайте одновременно могут находится 1500 человек.
И работа смартлаба — это не только отдавать страницы и отвечать на запросы.

У нас внутри постоянно вычисления идут, связанные с обработкой данных московской биржи
I am GROOT, а у тебя под какие нужды VPSы?
что на них крутится?
Тимофей Мартынов, хоть 50 тыс человек. Если на вашей cms (livestreet) нормально построен модуль кэширования, то нагрузки впс выдержит спокойно. Все сводится к оптимизации.

На моих впс сайты находятся, а на серверах боты (парсинг и вычисление).

Обработка данных с московской биржи это бот-трейдер? или просто вывод котировок на сайт?
avatar
 80  тыр  за балалайку,  более чем достаточно   www.avito.ru/moskva/nastolnye_kompyutery/server_supermicro_6017r_2xe5-266064gb_887437652
Алексей Никитин, цена за б/у сервер без жестких дисков. 
avatar
Тимофей,  а сколько места на диске сейчас занимает смарт лаб?

Вообще тут этот вопрос глупо задавать, т.к. никто не знает на чем сейчас работает смарт лаб и где у него бутылочное горло. Какой объем бд и т.д.
Надо смотреть потребление ресурсов на текущем железе и сайзить его на новые железяки. Может быть хватит одного процессора с 8 гигами, а может криворукий программист и цетырехпроцессорный сервант положить на тривиальной базе.

Текущее положение дел чем не устраивает?
avatar

Тимофей, пусть человек, которому за тех.поддержку сайта платите, сам решит. В любом случае, ему потом со всем этим еб… ться. Он ведь может цену поднять либо уйти, если не по его мнению будет.
Не берите этот вопрос на себя, раз некомпетентны, и не доверяйте форуму.

avatar
Тимофей, сервер нормальный, но крайне желательно ещё 2 диска SAS, чтобы собрать из 4-х дисков RAID10. Тогда будет и быстро, и надежно (для БД).

avatar
Lev, понимаю, что спор ни о чем, но бд лучше на ссд держать, но тут много моментов, о которых мы не знаем…
avatar
Иванов, бд спокойнее держать на SAS, они сопоставимы по производительности с SSD, но обладают на порядки более высокой надежностью. SSD — для кешей и прочих временных данных, которые не жалко потерять и легко вопроизвести. Но это конечно моё консервативное мнение и личный профессиональный опыт.
Согласен, вводных мало.
avatar
Lev, чооо? 1 sas 10к даёт примерно 150 iops, 1 ssd на sata 6 гбит может дать 120 000 iops, если мы возьмём ssd на pcie, то можем получить 500 000 iops или даже 1 400 000 на каком нибудь OCZ Z-Drive R4 CloudServ.
Для надёжности можно собрать зеркало из ссд, да и бэкапы никто не отменял.
avatar
Иванов, так а что мне дают эти попугаи иопсы? БД — это не только ввод-вывод, после IO там всё упирается в другие узкие места — память, процессор итд. Имею относительно нагруженные (десятки тысяч запросов) сервера БД на оракуле, mysql и pgsql (плюс некоторый зоопарк инмемори баз). Неоднократно пробовали на SSD, но никакого прироста не давало, а вот выход из строя SSD — куда как более частое событие. На эти грабли не раз наступали уже. Поэтому проще спать спокойно с SAS-ом. Бэкап — это совсем нештатная и нетривиальная процедура, тем более когда базы занимают сотни гигабайт (и уже и единицы терабайт).
avatar
Lev, когда узким местом является память,  то как раз нужны иопсы :)  да и mlc ssd уже достаточно надёжны.
Бэкап базы — это  нештатная и нетривиальная процедура? Это вообще lol :))

avatar
Это вообще lol 
Иванов, конечно же имелась в виду процедура развёртывания из бэкапа баз на сотни гигабайт (и думаю, что вы меня поняли). Если реально сталкивались в продакшне с большими базами, то знаете сколько времени и нервов занимает это операция. Гогочите дальше, но без меня.
avatar
Lev, не понял вас ни разу.
вы базу тупо глушите и её копируете на другой носитель? Или через dump/restore ?
Но тогда да, мучительно и больно…
А сервера у вас тоже имеют память в сотни гигабайт?  Раз уж иопсы не нужны? :)
avatar
Иванов, ещё раз — изначально речь шла про «восстановление из бэкапа», а не про само изначальное резервное копирование. Если доводилось когда-либо восстанавливать из бэкапа большие базы в продакшне, то вы наверное знаете, насколько это непростая задача. Да ещё и под постоянным давлением со стороны менеджмента и прочих «сочуствующих». Уж лучше по возможности избегать этой процедуры.

avatar

ИМХО

выделенный сервер, в аренду — лучший вариант.

Из личного опыта понравился https://www.hetzner.com/dedicated-rootserver.
(можно поискать что-нибудь на распродажах)

Есть решения по бэкапу в их инфраструктуре — в план уже включен какой-то стандартный.

Можно нарастить части (RAM, HDD/SSD) — это лучше выяснять сразу для выбранного сервера.

Находятся в Германии, пинг из Россиии отличный.

Никто сайт не скопирует (как иногда бывает у российских хостеров).

Через 4-5 лет, если возрастёт нагрузка придётся переезжать и иметь гемор со старым железом.

avatar
SAS это просто интерфейс. Сравнивать SSD с HDD для нагрузок БД не имеет смысла. Еще есть Micron p420m / FusionIO и подобные радости.

Хранить БД в базе самое то сейчас — память не столько стоит (применение найдётся начиная от старенького MemcacheD и БД/всякие Redis-ы) — я не знаю реальной нагрузки и кода (а может там без перерыва фетчатся данные для таблицы торгов и что-то в новостях анализируется), поэтому безапелляционные заявления как товарищ с впс за 9 евро в месяц не делаю. Я так понимаю 1-5-10 долларов затрат в месяц тут погоды не делают.

Hetzner — кстати да, очень нормальная тема. Самый ближний их ДЦ не в Германии, а в Эстонии, это еще ближе к РФ.
avatar
Антон, в Эстонии у них нет датацентра, не придумывайте. Строят в Финляндии, но он пока не в строю.
SAS — это не просто интерфейс.
Как раз SSD у hetzner — довольно убогие, летят только в путь. Если что, то через меня прошло примерно 200 хетцнеровских серверов, статистика накопилась довольно обширная.
avatar
Lev, хетцнеры на всем экономят ) типичные немцы )
avatar
Алексей, ну их надо просто уметь готовить. Там есть хорошие и надёжные железки, сами у них много лет стоим, с 2010 года.
avatar
Lev, да, они как раз вроде ставят ССД consumer-grade (и не только их) для экономии цены так что тут согласен с вами на 100%. Сейчас стоят заказанные серверы в Германии у них, но вроде при заказе какая-то опция про Эстонию вылазила, может конечно реселлер их какой, ну да не суть, значит нету там датацентра.
avatar
Антон, это наверное заказ через неофициального реселлера FastVPS, который возможно что-то и начал размещать в Эстонии. Раньше они тупо брали сервера у немцев и перепродавали в виде виртуалок в РФ (они с русскими корнями, из Питера). Наверное сейчас что-то стали делать сами.
У меня самого был такой бизнес в 2011-2013 годах, брал сервера и перепродавал их по знакомым, примерно 50 серверов было на пике бизнеса. Но потом забросил, маржинальность маленькая, а проблем —  много.
avatar
Диски бери флеш, на М2.
avatar
Как показала практика, за железом не угонишься, стоимость купленного современного (на данный момент) железа очень быстро падает в цене. Так же надо брать в расчет стоимость аренды канала. Взвесив все за и против, получается денег, потраченных на покупку железа хватает на несколько лет аренды сервера, но при аренде отпадает головная боль с обслуживанием, апгрейдом, ремонтом и прочим. Поиграться с ценами на сервера или хостинг можно здесь.
avatar
Факторы риска при аренде виртуальной машины:

1. хостер следит за нагрузкой на аппаратный сервер, которую генерирует виртуальная машина и если нагрузка выходит за допустимые пределы, то хостер тормозит машину.

2. виртуальная машина может оказаться на одном аппаратном сервере с другой машиной, генерирующей импульсную нагрузку, из-за влияния которой будут возникать импульсные провалы в доступности и/или производительности.

Другими словами, виртуальная машина — это квартира в доме с соседями-дебилами. Свой сервер — это дом с забором и пулеметами на вышках. Поэтому, сайт на виртуальной машине пусть размещают розовощекие пацаны, работающие за зарплату. А суровые пацаны, зарабатывающие на сайте, должны размещать его строго на выделенном (или своем) сервере.
avatar
В.И.Чапаев, поэтому можно арендовать сервер, а не хостинг. И даже при собственном сервере и аренде канала бывают провалы по нагрузке на канал.
avatar
В.И.Чапаев, всё так, Василий Иваныч, ничего не могу ни добавить, ни убавить.
avatar
В.И.Чапаев, тут от политики виртуализации зависит, есть, как правило (теоретически :) ), минимально гарантированные вещи по CPU/IOPS, есть fair-use policy, но в целом, вы написали очень правильно. Тут как бы зависит от «а насколько еще тут с нами рядом на тех же дисковых нодах ребят стоит и т.д.» и это как правило непрозрачно. +
avatar
Я примерно такой же арендую под свои алгоритмы, а если точнее 2x Intel Octa-Core Xeon E5-2620v4/64GB DDR4 выходит $150 в месяц, не так уж и дорого. Смысл покупать? Получишь поддержку 24х7, а со своим заморачиваться.
аренда сервера под форум всегда выгоднее, чем покупка своего.
Никто не знает архитектуры движка, соответственно все советы не имеют смысла.
Дайте хотябы исходные данные — iostats в пиковой нагрузке и текущую конфигурации сервера.

По поводу процессора — берите тот в котором больше ядер и меньше частота. Бд на ssd диски или, что лучше, делайте на этом сервере две виртуалки VMware (одну под бд, вторую под движок сайта) и используйте эти ssd как flash read cache.
avatar
stitrace, прекрасный комментарий. Мы не знаем деталей, поэтому просто только угадывать. Насчет параллелизма все четко — больше ядер лучше чем меньше с более высокой частотой. +
avatar
На своём сервере развернуть виртуалку. И бекапить будет легче.
Теперь понятно почему подтормаживает смартлаб. В эпоху облаков (AWS в частности), авто-скейлинга, хай-авейлабилити люди до сих пор мыслят конфигурациями серверов.
avatar

теги блога Тимофей Мартынов

....все тэги



UPDONW
Новый дизайн