Блог им. vlad1024

Реалистичные потери операторов от закона Яровой

Чтобы хранить голос для 100 000 000 абнонентов полгода, надо примерно (15 минут *60 секунд в минуте *180 полгода*1689 байт в секунду  *100000000 пользователей)/(1024.0*1024.0*1024.0) = 25 482 662 гигабайт. При стоимости хранения по минимуму 0.01-0.02$ за гигабайт(можно посмотреть на Amazon S3, это включает в себя стоимость обслуживания, серверов, электроэнергию персонала и т.д). Получается где-то 25 482 662* 0.01 = 254 826 в месяц, или 2.5 млр$ в год если хостится на Amazon.
Если посчитать по цене хранения самостоятельно, 1 Тб ~8 000 руб, или 25 482*8000 = ~211 млн, на примерно 8 жестких дисков то есть 8 Тб, нужен один сервер ~100 000 руб, получаем (25 482/8)*100 000 = ~318 млн руб (и примерно 3200 серверов). Потребление электроэнергии в год 6760 кило/ватт * 5 рублей за килло/ватт = 33 800 на один сервер или 33 800 *3200 = ~108 млн.

Таким образом получаем капитальные расходы 500 млн минимум (+ строительство ЦОД + проектирование и т.д., коэфициент x2-x3, разработка софта), то есть 1 млрд — 1.5 млрд рублей. Операционные расходы на электроэнергию 108 * x2(персонал и т.д) = ~200 млн рублей в год.

PS: дополнения по интернету, в законе написанно, что это будет дополнительно регулироваться постановлением правительства, думаю договорятся.  по поводу расшифровки, если операторов связи прижмут то единственный вариант для них — «китайский» — заставят ставить свой сертификат, который бы позволял сделать атаку MitM, а весь шифрованный трафик без этого сертификата будут рубить.
PSS: если хранить весь интернет трафик полгода, то надо умножать все цифры на 1000 (12 Мбит/c), думаю на это вряд ли кто-то пойдет.
★2
86 комментариев
расчет неплох, но сыроват.
Админить сервисную ферму должен Аллах за бесплатно?
avatar
anektar, ну сколько стоит 10 админов в год, 10 млн, это в пределах погрешности, операционных расходов( которые я и так умножил на коэфициент x2)
avatar
anektar, он же и охранять будет
avatar
А трафик кто-нибудь считает?
Это же все до сервера надо ещё и донести.
Или строить в каждом городе хранилища?

avatar
vadim ri, тоскать все эти данные в москву лишино всякого смысла. разумней поставить по серверу в каждом региональном узле, через который итак уже идет все траффик.
avatar
у тебя неправильные расчеты. винт на 4ТБ стоит $120, для хранения всего объема достаточно купить винтов на $700к. также понадобится орендовать небольшую секцию в стойке в любом из множества существующих датацентров, обойдется $200-$300/мес включая эл-во и охнаждение,  а также купить несколько серверов всумме на $10к.
avatar
nik, у вас так же не верные цифры, обычно используется брэнд HP, а там ценник уже ой как не валялся с 120$ за 4 Tb, циферки в разы выше
avatar
Д Л, ээ, а в законе разве где-то сказано, что нужно обязательно выкидывать кучу бабла за бренд HP переплачивая вразы?))
avatar
nik, а откаты\попилы? с поставщиками по НР все схемы у них налажены, смысл менять коней на переправе? 80% корпоративного рынка (в том числе для гос органов), относительно серверного оборудования у нас в стране под НР
avatar
Д Л, а причем тут желание манагеров опсосов попилить и себистоимость хранения? я тебе говорю, сколько реально обойдется хранение. а если при закупки оборудования добавлять откато-попилы, то при желании и в десятки раз можно увеличить бюджет, только к обсуждаемой теме это не относится.
avatar
nik, желание-не желание, от этого фактора никуда не денешся, как пёрли так и прут, не важно гос контора или частная, всё равно по долгой дороге закупки необходимых комплектующих денег на лево разлетится не мерянно, а теперь суть вопроса, куда Вы этот жесткий диск засунете за 120 баксов, который предназначается для домашнего использования?
avatar
Д Л, мдаа, ты дилитант и идиот… поучи  матчасть сначала, перед тем как лезть спорить в вещах, в которых не шаришь. Интерфейсы подключения винтов стандартизированы и у серверов и домашних компов полностью совместимы.
avatar
nik, ответил ниже, да и дилетант это именно вы, если даже не в курсе, что для хранения данных есть требования, которых придерживаются все, абсолютно все, так что со своими интерфейсами можете фантазировать дальше, что в ЦОД-е будут использовать жесткие диски предназначенные для использования в домашних условиях
avatar
Д Л, Почитайте ради интереса, как гугл хранит информацию. Нет там брендовых серверов никаких, там десктопные комплектухи с десктопными винтами, а поверх всего натянута GFS. И не надо никаких бэкапов. Да, оверхэд конечно будет, но не столь значительный. Вам ынтырпрайз админам волю дай, так вы на каждый чих будете ставить сервер с СХД и все это еще резервировать и ухойдакуете любой бюджет =)
avatar
Иванов, самостоятельно ознакомьтесь с их масштабами https://datacentermurals.withgoogle.com/ в начале, ну и насчёт конкретных их начинок (железа) я не заметил информации, хотя и не сильно интересно было.
И да, не путайте файловую систему, которую они под себя разработали и железо, которое используется. А то скатимся до того, что все крутейшие конторы используют excel для видения фин отчётности, а на ERP (модули FI) системы.
avatar
Д Л, www.insight-it.ru/highload/2008/arkhitektura-google/
На досуге прочтите, там не много…
avatar
Иванов, не вопрос, пробежался, вы наверное не учитываете:
1. циферку посмотрели сколько этих самых недорогих серверов?
2. у них и у нас понятие не дорогой сервер разнится примерно раза эдак в два, таможня и т.д. привет
3. задачи у них несколько другие, в отличие от нынешней ситуации
И это при том, что дата статьи оригинал 2007-й год.
Так, что не вариант сравнивать))
avatar
Д Л, да при чем здесь кол-во серверов и 2007 год, речь идет о том, что можно использовать обычное десктопное копеечное железо, а не крутые многопроцессорные сервера от HP с ксеонами, ECC памятью и SAS винтами в 15к  rpm!
avatar
Иванов, а где там речь шла о десктопах то? ясно же написано, что сервера из лоу энд сегмента, только из низового сегмента у нас они превратятся как минимум в средней ценовой сегмент… да и зачем вы пишете в конце про сервера, если большей своей частью будет использовано в цене системы хранения данных, а серверов будет не слишком много (в общем кол-ом выражении).
Кстати за 9 лет уже почти могло всё кардинально измениться, не находите?
avatar
Д Л, В том то и дело, что за 9 лет многое изменилось, раньше хранить 60Тб информации казалось фантастикой и требовало действительно дорогого железа, сейчас я могу это организовать на обычной мат. плате с 10 SATA разъемами и 10x6Тбайтных винтах у себя прямо под столом!
avatar
Иванов, пардон, всего совершенно не успеваю, всё таки дискуссии это не торговля, завтра поизучаю вопрос по гуглу (информации открытой практически актуальной то и нет, только старых годов), по тому, что на текущий момент вижу, что они далеко не самые дешевые жесткие диски используют, при это меняют как перчатки.
avatar
Иванов, вобщем пытал по этой теме свой мозг (до этого гугл был побоку), вот интересно http://www.forbes.com/sites/tomcoughlin/2016/02/27/google-wants-new-types-of-hard-disk-drives/2/#77c9c674201c, да, используются «простые диски», почему ковычки спросите вы, потом слишоком много НО, такое вол-во, что уже думаю далеко перевалило за затраты на всякие интрепрайзы… ещё есть доки, где они каждый год собирают топов ХДД производителей на конфу, а по сути просто выставляют всем сразу своим условия почему они будут или не будут приобретать ХДД у того или иного вендора.
В прочем я думаю вы как и nik тоже не прислушаетесь к голосу разума и не прочтёте, что я писал ранее, что этот закон шторка для порно «веливсегомугещего наконе»))))


ПС: Вы мне очень много интересных идей дали, благодарю вас пор человечески))
avatar
Иванов, перешел на оригинал на всякий случай (2008-й год! уж точно много что сменилось):
Currently there over 200 GFS clusters at Google. A cluster can have 1000 or even 5000 machines.
Что имеем?
Вольный перевод. Ни сказано, что это десктопы или сервера, понимайте как хотите.
Кстати другие крупные компании вроде Oracle, IBM, SAP, Microsoft и им подобные наверное совсем дурные раз имеют крупные дата центры с безумно большими объемами СХД?
Ещё раз повторюсь, что у Google свои задачи, не полностью ориентированные на хранение данных.
Давайте уже отделять мух от котлет, т.е. не будет все задачи сводить к одному и тому же решению.
avatar
Д Л, Получается что так =)
Вместо того, чтобы использовать новейшие системы хранения в качестве основы бизнеса, Google File System использовала простые серверы для поддержки гибкой и устойчивой архитектуры. Решение должно было решить вопросы масштабируемости и отказоустойчивости раз и навсегда, упростить и ускорить будущее развертывание веб-приложений: от карт до облачных систем.— Мохит Арон
techcrunch.com/2016/05/22/why-google-beat-yahoo-in-the-war-for-the-internet/

Блин горелый =)
Мы говорим про задачу хранения большого объема данных, я указываю в качестве инструмента использование дешевого железа с GFS, оперируя опытом гугла. Какие еще котлеты мы должны отделить от мух ?
Вы предложили в качестве решения задачи сервера HP и спросили, куда засунуть десктоп диск? Отвечаю — можно сделать как гугл, засунуть  его в нищебродский сервер и накатить сверху GFS.
avatar
Иванов, не спорь с этим идиотом, я уже забил на это бесполезное занятие и отправил этого тролля в ЧС. он всю ветку тут орет, что нужно брать мегодорогое крутое брендовое оборудования.  но на просьбы назвать конкретные технические параметры коротые есть у этих HP систем и которых нет у дешового десктопного винта, и при этом жизнено необходимы для сабжевой задачи, единственное что смог назвать, это «за HP больше откатов можно получить при закупках» ))
avatar
nik, Не, мне интересно =)
avatar
nik, вот, для затравочки, так скажем, что самый нищебродский вариант для СХД http://www.hp-pro.net/Netshop/Storage-HP/Options/HDD-MSA2040/
avatar
Д Л, эта хрень нафиг не нужна для хранения звонков. достаточно простенького медленного винда по  120$ за 4 Tb
avatar
nik, короче сразу видно, что вы совсем не в курсе о принципах хранения информации (точнее совсем не в курсе)… это вам не порнушку хранить на обычном жестком диске дома, там конкретные требования по отказоустойчивости по меньшей мере и ещё куча параметров
avatar
Д Л, это ты совсем не вкурсах. я тебе привел конкретные цены и расчеты сколько это стоит. от тебя же пока только одно трололо встиле «без попила 80% бюджета никак, поэтому цены надо умножить на 10».
avatar
nik, лично я увидел расчёты безграмотного человека в сфере ИТ, не более, я так же привёл конкретные цифры, для хранения данных самый бюджетный вариант жесткого диска обойдётся не менее 700-800 долларов, так что не фантазируйте
avatar
Д Л, мда, ты тупой тролль и не лечишься... 
я тебе привожу конкретные решения для хранения и их цены. а ты вместо аргументированного ответа в стили «приведенное тобой хранилище за $100 не подходит по таким-то и таким-то техническим параметрам, которые обязательны для поставленной задачи, поэтому нужно купить хранилище за $10000 которое обладает необходимыми обязательными характеристиками» занимаешься тупым троллингом в стиле «приведенное тобой хранилище за $100 не подходит потому что с хранилища за $10000 можно получить больше откатов».
Вобщем я не имею привычки спорить с идиотами, поэтому прекращаю дискусию пока ты не купишь себе мозги.
avatar
nik, дорогой, полудурошный «товарищ», если далёк в ИТ (похоже совсем далёк), при окончании аргументов переключаешься на оскорбление (вот как раз типовое поведение троллей), то уткнись в тряпочку от невозможности хоть, что то более менее внятное написать, чем соображений «кухарки» по данному вопросу
avatar
Д Л, на самом деле похоже на правду, не особо знаком с серверными системами, но по любому проф оборудование всегда дороже, правда не всегда на столько же качественней, но должны же быть и резервные системы, иначе погорит все это дело и смысл тогда?)
Andray, вот в том то и дело, что считаем именно оборудование для хранения данных (голое СХД без HDD стоит мало, львиную долю сожрут именно HDD), тут же множим на два, так как в любом ТЗ будет за частую мелькать не совсем туманное слово «дублирование», а ещё будет мелькать понятие как системы резервного копирования (стримеры, программное обеспечение), тут ещё немало нужно накинуть. В общем вылазиет это и в самом деле в баснословные затраты.
avatar
Д Л, ну вот и слава богу что это в реальности невозможно)))
Andray, да кто же сказал, что не возможно, возможно всё, но вот и в самом деле не пиар ли это всенароднолюимого, сейчас протолкнули, не хорошие такие в госдурдоме, а великий и ужасный всех придёт и спасёт, ну и рейтинги на все 146%… в общем цирк не прекратиться по моему никогда (хотя окончание то должно быть по идее))))
avatar
Д Л, ну затраты даже если на коленках организовывать сумасшедшие, а если проф оборудование то кратно возрастают, а с чего отбивать то будут? Может вообще легче связь и интернет запретить и наверняка и гораздо дешевле?!)
Andray, модель как в Китае к примеру? чтож вполне возможно, запретить не всё, но западные ресурсы почти все порезаны… но как то не в наших реалиях)
avatar
nik, для справки, моя основная профессия IT инженер, 15 лет стажа, работаю с высоко нагруженными системами, стоимость закупки и дальнейшей эксплуатации СХД знаю от и до… а вот ваша уверенность в собственной правоте на чём основывается?
avatar
Д Л, сочувствую твоему работодателю… видимо ты один из тех, кто занимается воровством в комерческих конторах))
avatar
nik, моему работодателю до твоего сочувствия точно наплевать, а занимаюсь по большей части разработкой систем, внедрением и эксплуатацией, для закупок у нас есть отдельная служба, так как штат более 3 тысяч человек
avatar
nik, неправда. в нормальных серверных есть 1 или даже 2 бэкапа на любую информацию
avatar
anektar, во первых, не на любую, а только на ценную.
во вторых, целесообраздность бекапа определеется из соотношении затрат на резервирование и стоимости ущерба в случаи потери данных помноженному на вероятность этой потери.
avatar
Только Вы не учли, что:
1. по закону нужно хранить не только голос, а весь интернет трафик. (нет смысла хранить только голос, если сейчас большинство пользуется скайп и прочими вайберами). А это уже объем в миллионы раз больше голосового трафика, т.е. того, что Вы рассчитали. 
2. В связи с ростом скорости растет трафик в геометрической прогрессии. Т.е. то, что Вы рассичтали умножайте на сотни тысяч каждый год.
3. Хранение трафика в принципе бесполезно, т.к. есть сотни способов анонимного интернета, начиная от общественных точек wifi, sim-карт, оформленных на подставных лиц, незаконных подключениях к другим пользователям и т.д. и т.п.


avatar
vito2000, начиная от общественных точек wifi

уже нет. последние несколько лет в рашке  инет в общественных местах раздают только по паспорту))
avatar
nik, да вроде, даже какой то закон принимали что бы штрафовать тех у кого инет вифи без пароля раздается) моразм крепчал как говорится.
Andray, да, у меня друзья так же в кафешке при сауне не раздают тырнет без удост личности, так что чистейшая правда...
да и маразм не крепчал, маразм уже в сторонке плачет от таких дураков как в нашей госдуре
avatar
nik, Tor, VPN и т.п. Большая часть трафика идёт https, так что удачи им в расшифровке.
vito2000, по поводу интернет трафика, там достаточно мутно написанно, будет отдельное постановление правительства для этого.


avatar
резюмируя все вышесказанное можно сказать что расходы не заоблачные, в пределах разумного и нет никаких предпосылок для катастрофического увеличения платы за гсм связь, как некоторые истерички писали.
Борьба с терроризмом должна быть всесторонней!
avatar
unformal, добавьте в резюме, что кроме голосового трафика нужно хранить и другие данные в сотни и тысячи раз более объемные чем голосовой трафик.
avatar
unformal, не верно, не всесторонней, а ВСЕЛЕНСКОЙ!
avatar
Д Л, не верно. не вселенской, а ТОТАЛЬНОЙ!
avatar
unformal, не верно, а ГАЛАКТИЧЕСКОЙ! а то тотально это как то по земному))
avatar
Д Л, не верно! борьба с терроризмом дело всех и каждого. галактику свою оставьте для игр, если вы еще не выросли.
avatar
unformal, В текущих условиях, когда народ и так голожопый, лучше воздержаться от лишних бесполезных трат
kbrobot.ru, хорошо что вы не президент.
иначе беда была бы уже давно.
avatar
unformal, Так проще априори каждого гражданина признать террористом и пусть бегает доказывет, что он не редиска. Вот она всестороность-то! 
avatar
portugalec, не нужно фантазий дружок. если начнут за тобой бегать — значит будет за что. ФСБ не цирк и работать в отличие от тебя умеют и дело свое знают отлично!)
avatar
unformal, Конечно будет за что. Еще пара таких законов и каждого будет за что. Можно будет признать биржевые торги мошнничеством, а всех посетителей Смартлаба признать совершающими покушение на мошенничество, в том числе и тебя. Только вот беда в том, что пока мы в эти бирюльки играем, цивилизованный мир семимильными шагами идет вперед. Ну а нам, в таком случае, останется лишь аналог карго-культа в виде айфонов, компьюеров и машин.
avatar
А трафик интернета тоже Аллах хранить будет?
а еще нужно хранить трафик тех, кто занимается его хранением. и далее по цепочке
avatar
Глупость, конечно сморозили, под конец созыва. Первое — Вот смотрю я по инету ролик в ютюбе, а у него 100 000 просмотров. И все эти 100 000 просмотров, надо будет хранить!!! т.е. 100 000 копий одного ролика в ютюбе!!! Короче я понял что они хотят сделать, архив интернета!!!
avatar
Надо переименовать закон, в закон о чуде света «Архив интернета». Была ж Александрийская библиотека, вот теперь у нас что-по похожее будет :)
avatar
Cheshirscy, 
Короче я понял что они хотят сделать, архив интернета!!!
Нет. Архив интернета в степени n. Если я ролик посмотрю два раза, то он дважды должен быть сохранен оператором :)
avatar
vito2000, ну так добротный такой архив :)
avatar
Cheshirscy, Это решаемо, достаточно хранить файл в одном экземпляре и ссылки на него. А еще в тренде файловых систем сейчас дедупликация.
avatar
Зато сможем потом в метро покупать записи разговоров жены, начальника и т.д. Ляпота!
 МТС ПАО: 01.07.16 открытие коротких позиций будет невозможно.Просим закрыть короткие позиции(в «Т+2» и «Т0»)по акциям эмитента МТС ПАО до 16:00, принудительное закрытие после 16:00 МСК 01.07.16.
avatar

Не хватает конкретики. Что за сервер за 100тр? Как обеспечивать отказоустойчивость дисков за 8тр? Эти диски хотя бы хотсвап поддерживают? 

В смете не обнаружено автономное и резервное питание, системы безопасности, вентиляции, коммуникации (там одних цисок на вторую такую смету получается, если не больше), помещения для всего этого.

Фонд оплаты труда: сколько надо админов на 3200 сервера? по одному на 320 серверов? Сколько охраны? Это вообще немалое предприятие получается, там и работников других специальностей работа найдётся, ещё и менеджмент.

 

avatar
Aleksey Smirnoff, ну я не просто так умножил на коэфициент 2-3х. Подразумевается конечно, что по интернет трафику они как-то договорятся, на что-то разумное.
avatar
Кароч, ебитда, над которой так трясутся все и вся (работала в теле2) навернется медным тазом. а вместе с ней и бонусы и выплаты дивов. По-идее должны немного сползти вниз.
avatar
почему бы сотовым операторам не передавать каждый месяц архивы гос-ву и пусть они сами хранят за свой счет
avatar
Andray, вы наверно грузин?) как там грузия процветает?)
avatar
unformal, нет, не грузин, как в Грузии понятия не имею.
 А автор топика далек от ИТ, на хрена на каждые 8 дисков сервер за 100 000 руб? =)
avatar
Иванов, да конечно посмотрите, сколько сейчас средний сервер стоит. на хрена — они что сами магическим образом писаться будут?
avatar
vlad1024, не нужено по серверу на каждые  8 дисков. достаточно по 1 серверу в каждом узле для траффика. а диски по мере заполнения отключаются от сервера и отправляются на склад на полугодовое хранение. а в сервер на их место подключаются очередные чистые.
avatar
vlad1024, Хорошо, почему именно на 8 винтов нужен сервер? И почему за 100 000 руб? Есть платы с 10 и 17 SATA разьемами, можно так же вставить дополнительные SATA контроллеры, есть дисковые полки, да много чего есть =)
Это я еще не беру серверные желязяки, там интереснее…
avatar
Простите, что неконструктивно, но ваш расчет из серии «я у мамы экономист».
avatar
Во фортонуло же WD или кто там еще сейчас на рынке, сеагейт) Вот это закупки сейчас попрут
Алексей Земсков, если строить хранилище будет Д Л или его сокамерники, то этим ничего не достанется. все барыши соберет НР ;)
avatar
афтар, сорри, а почему расчет исходя из битрейта gsm-ого кодека?
avatar
flextrader, а какой еще битрейт брать, если надо сохранять телефонный голосовой поток?
avatar

теги блога vlad1024

....все тэги



UPDONW
Новый дизайн