vlad1024
vlad1024 личный блог
30 июня 2016, 13:50

Реалистичные потери операторов от закона Яровой

Чтобы хранить голос для 100 000 000 абнонентов полгода, надо примерно (15 минут *60 секунд в минуте *180 полгода*1689 байт в секунду  *100000000 пользователей)/(1024.0*1024.0*1024.0) = 25 482 662 гигабайт. При стоимости хранения по минимуму 0.01-0.02$ за гигабайт(можно посмотреть на Amazon S3, это включает в себя стоимость обслуживания, серверов, электроэнергию персонала и т.д). Получается где-то 25 482 662* 0.01 = 254 826 в месяц, или 2.5 млр$ в год если хостится на Amazon.
Если посчитать по цене хранения самостоятельно, 1 Тб ~8 000 руб, или 25 482*8000 = ~211 млн, на примерно 8 жестких дисков то есть 8 Тб, нужен один сервер ~100 000 руб, получаем (25 482/8)*100 000 = ~318 млн руб (и примерно 3200 серверов). Потребление электроэнергии в год 6760 кило/ватт * 5 рублей за килло/ватт = 33 800 на один сервер или 33 800 *3200 = ~108 млн.

Таким образом получаем капитальные расходы 500 млн минимум (+ строительство ЦОД + проектирование и т.д., коэфициент x2-x3, разработка софта), то есть 1 млрд — 1.5 млрд рублей. Операционные расходы на электроэнергию 108 * x2(персонал и т.д) = ~200 млн рублей в год.

PS: дополнения по интернету, в законе написанно, что это будет дополнительно регулироваться постановлением правительства, думаю договорятся.  по поводу расшифровки, если операторов связи прижмут то единственный вариант для них — «китайский» — заставят ставить свой сертификат, который бы позволял сделать атаку MitM, а весь шифрованный трафик без этого сертификата будут рубить.
PSS: если хранить весь интернет трафик полгода, то надо умножать все цифры на 1000 (12 Мбит/c), думаю на это вряд ли кто-то пойдет.
86 Комментариев
  • anektar
    30 июня 2016, 13:57
    расчет неплох, но сыроват.
    Админить сервисную ферму должен Аллах за бесплатно?
    • Aleksey Smirnoff
      30 июня 2016, 14:25
      anektar, он же и охранять будет
    • Lookas
      30 июня 2016, 15:17
      А трафик кто-нибудь считает?
      Это же все до сервера надо ещё и донести.
      Или строить в каждом городе хранилища?

      • nik
        30 июня 2016, 15:26
        vadim ri, тоскать все эти данные в москву лишино всякого смысла. разумней поставить по серверу в каждом региональном узле, через который итак уже идет все траффик.
  • nik
    30 июня 2016, 14:08
    у тебя неправильные расчеты. винт на 4ТБ стоит $120, для хранения всего объема достаточно купить винтов на $700к. также понадобится орендовать небольшую секцию в стойке в любом из множества существующих датацентров, обойдется $200-$300/мес включая эл-во и охнаждение,  а также купить несколько серверов всумме на $10к.
    • Дмитрий Л
      30 июня 2016, 14:21
      nik, у вас так же не верные цифры, обычно используется брэнд HP, а там ценник уже ой как не валялся с 120$ за 4 Tb, циферки в разы выше
      • nik
        30 июня 2016, 14:30
        Д Л, ээ, а в законе разве где-то сказано, что нужно обязательно выкидывать кучу бабла за бренд HP переплачивая вразы?))
        • Дмитрий Л
          30 июня 2016, 14:35
          nik, а откаты\попилы? с поставщиками по НР все схемы у них налажены, смысл менять коней на переправе? 80% корпоративного рынка (в том числе для гос органов), относительно серверного оборудования у нас в стране под НР
          • nik
            30 июня 2016, 14:39
            Д Л, а причем тут желание манагеров опсосов попилить и себистоимость хранения? я тебе говорю, сколько реально обойдется хранение. а если при закупки оборудования добавлять откато-попилы, то при желании и в десятки раз можно увеличить бюджет, только к обсуждаемой теме это не относится.
            • Дмитрий Л
              30 июня 2016, 14:44
              nik, желание-не желание, от этого фактора никуда не денешся, как пёрли так и прут, не важно гос контора или частная, всё равно по долгой дороге закупки необходимых комплектующих денег на лево разлетится не мерянно, а теперь суть вопроса, куда Вы этот жесткий диск засунете за 120 баксов, который предназначается для домашнего использования?
              • nik
                30 июня 2016, 14:49
                Д Л, мдаа, ты дилитант и идиот… поучи  матчасть сначала, перед тем как лезть спорить в вещах, в которых не шаришь. Интерфейсы подключения винтов стандартизированы и у серверов и домашних компов полностью совместимы.
                • Дмитрий Л
                  30 июня 2016, 14:54
                  nik, ответил ниже, да и дилетант это именно вы, если даже не в курсе, что для хранения данных есть требования, которых придерживаются все, абсолютно все, так что со своими интерфейсами можете фантазировать дальше, что в ЦОД-е будут использовать жесткие диски предназначенные для использования в домашних условиях
      • Иванов
        30 июня 2016, 16:39
        Д Л, Почитайте ради интереса, как гугл хранит информацию. Нет там брендовых серверов никаких, там десктопные комплектухи с десктопными винтами, а поверх всего натянута GFS. И не надо никаких бэкапов. Да, оверхэд конечно будет, но не столь значительный. Вам ынтырпрайз админам волю дай, так вы на каждый чих будете ставить сервер с СХД и все это еще резервировать и ухойдакуете любой бюджет =)
        • Дмитрий Л
          30 июня 2016, 16:50
          Иванов, самостоятельно ознакомьтесь с их масштабами https://datacentermurals.withgoogle.com/ в начале, ну и насчёт конкретных их начинок (железа) я не заметил информации, хотя и не сильно интересно было.
          И да, не путайте файловую систему, которую они под себя разработали и железо, которое используется. А то скатимся до того, что все крутейшие конторы используют excel для видения фин отчётности, а на ERP (модули FI) системы.
          • Иванов
            30 июня 2016, 16:58
            Д Л, www.insight-it.ru/highload/2008/arkhitektura-google/
            На досуге прочтите, там не много…
            • Дмитрий Л
              30 июня 2016, 17:03
              Иванов, не вопрос, пробежался, вы наверное не учитываете:
              1. циферку посмотрели сколько этих самых недорогих серверов?
              2. у них и у нас понятие не дорогой сервер разнится примерно раза эдак в два, таможня и т.д. привет
              3. задачи у них несколько другие, в отличие от нынешней ситуации
              И это при том, что дата статьи оригинал 2007-й год.
              Так, что не вариант сравнивать))
              • Иванов
                30 июня 2016, 17:24
                Д Л, да при чем здесь кол-во серверов и 2007 год, речь идет о том, что можно использовать обычное десктопное копеечное железо, а не крутые многопроцессорные сервера от HP с ксеонами, ECC памятью и SAS винтами в 15к  rpm!
                • Дмитрий Л
                  30 июня 2016, 17:31
                  Иванов, а где там речь шла о десктопах то? ясно же написано, что сервера из лоу энд сегмента, только из низового сегмента у нас они превратятся как минимум в средней ценовой сегмент… да и зачем вы пишете в конце про сервера, если большей своей частью будет использовано в цене системы хранения данных, а серверов будет не слишком много (в общем кол-ом выражении).
                  Кстати за 9 лет уже почти могло всё кардинально измениться, не находите?
                  • Иванов
                    30 июня 2016, 18:52
                    Д Л, В том то и дело, что за 9 лет многое изменилось, раньше хранить 60Тб информации казалось фантастикой и требовало действительно дорогого железа, сейчас я могу это организовать на обычной мат. плате с 10 SATA разъемами и 10x6Тбайтных винтах у себя прямо под столом!
                    • Дмитрий Л
                      30 июня 2016, 20:12
                      Иванов, пардон, всего совершенно не успеваю, всё таки дискуссии это не торговля, завтра поизучаю вопрос по гуглу (информации открытой практически актуальной то и нет, только старых годов), по тому, что на текущий момент вижу, что они далеко не самые дешевые жесткие диски используют, при это меняют как перчатки.
                    • Дмитрий Л
                      01 июля 2016, 15:19
                      Иванов, вобщем пытал по этой теме свой мозг (до этого гугл был побоку), вот интересно http://www.forbes.com/sites/tomcoughlin/2016/02/27/google-wants-new-types-of-hard-disk-drives/2/#77c9c674201c, да, используются «простые диски», почему ковычки спросите вы, потом слишоком много НО, такое вол-во, что уже думаю далеко перевалило за затраты на всякие интрепрайзы… ещё есть доки, где они каждый год собирают топов ХДД производителей на конфу, а по сути просто выставляют всем сразу своим условия почему они будут или не будут приобретать ХДД у того или иного вендора.
                      В прочем я думаю вы как и nik тоже не прислушаетесь к голосу разума и не прочтёте, что я писал ранее, что этот закон шторка для порно «веливсегомугещего наконе»))))


                      ПС: Вы мне очень много интересных идей дали, благодарю вас пор человечески))
                • Дмитрий Л
                  30 июня 2016, 17:36
                  Иванов, перешел на оригинал на всякий случай (2008-й год! уж точно много что сменилось):
                  Currently there over 200 GFS clusters at Google. A cluster can have 1000 or even 5000 machines.
                  Что имеем?
                  Вольный перевод. Ни сказано, что это десктопы или сервера, понимайте как хотите.
                  Кстати другие крупные компании вроде Oracle, IBM, SAP, Microsoft и им подобные наверное совсем дурные раз имеют крупные дата центры с безумно большими объемами СХД?
                  Ещё раз повторюсь, что у Google свои задачи, не полностью ориентированные на хранение данных.
                  Давайте уже отделять мух от котлет, т.е. не будет все задачи сводить к одному и тому же решению.
                  • Иванов
                    30 июня 2016, 18:47
                    Д Л, Получается что так =)
                    Вместо того, чтобы использовать новейшие системы хранения в качестве основы бизнеса, Google File System использовала простые серверы для поддержки гибкой и устойчивой архитектуры. Решение должно было решить вопросы масштабируемости и отказоустойчивости раз и навсегда, упростить и ускорить будущее развертывание веб-приложений: от карт до облачных систем.— Мохит Арон
                    techcrunch.com/2016/05/22/why-google-beat-yahoo-in-the-war-for-the-internet/

                    Блин горелый =)
                    Мы говорим про задачу хранения большого объема данных, я указываю в качестве инструмента использование дешевого железа с GFS, оперируя опытом гугла. Какие еще котлеты мы должны отделить от мух ?
                    Вы предложили в качестве решения задачи сервера HP и спросили, куда засунуть десктоп диск? Отвечаю — можно сделать как гугл, засунуть  его в нищебродский сервер и накатить сверху GFS.
                • nik
                  30 июня 2016, 17:54
                  Иванов, не спорь с этим идиотом, я уже забил на это бесполезное занятие и отправил этого тролля в ЧС. он всю ветку тут орет, что нужно брать мегодорогое крутое брендовое оборудования.  но на просьбы назвать конкретные технические параметры коротые есть у этих HP систем и которых нет у дешового десктопного винта, и при этом жизнено необходимы для сабжевой задачи, единственное что смог назвать, это «за HP больше откатов можно получить при закупках» ))
                  • Иванов
                    30 июня 2016, 18:49
                    nik, Не, мне интересно =)
    • Дмитрий Л
      30 июня 2016, 14:23
      nik, вот, для затравочки, так скажем, что самый нищебродский вариант для СХД http://www.hp-pro.net/Netshop/Storage-HP/Options/HDD-MSA2040/
      • nik
        30 июня 2016, 14:32
        Д Л, эта хрень нафиг не нужна для хранения звонков. достаточно простенького медленного винда по  120$ за 4 Tb
        • Дмитрий Л
          30 июня 2016, 14:36
          nik, короче сразу видно, что вы совсем не в курсе о принципах хранения информации (точнее совсем не в курсе)… это вам не порнушку хранить на обычном жестком диске дома, там конкретные требования по отказоустойчивости по меньшей мере и ещё куча параметров
          • nik
            30 июня 2016, 14:41
            Д Л, это ты совсем не вкурсах. я тебе привел конкретные цены и расчеты сколько это стоит. от тебя же пока только одно трололо встиле «без попила 80% бюджета никак, поэтому цены надо умножить на 10».
            • Дмитрий Л
              30 июня 2016, 14:47
              nik, лично я увидел расчёты безграмотного человека в сфере ИТ, не более, я так же привёл конкретные цифры, для хранения данных самый бюджетный вариант жесткого диска обойдётся не менее 700-800 долларов, так что не фантазируйте
              • nik
                30 июня 2016, 14:56
                Д Л, мда, ты тупой тролль и не лечишься... 
                я тебе привожу конкретные решения для хранения и их цены. а ты вместо аргументированного ответа в стили «приведенное тобой хранилище за $100 не подходит по таким-то и таким-то техническим параметрам, которые обязательны для поставленной задачи, поэтому нужно купить хранилище за $10000 которое обладает необходимыми обязательными характеристиками» занимаешься тупым троллингом в стиле «приведенное тобой хранилище за $100 не подходит потому что с хранилища за $10000 можно получить больше откатов».
                Вобщем я не имею привычки спорить с идиотами, поэтому прекращаю дискусию пока ты не купишь себе мозги.
                • Дмитрий Л
                  30 июня 2016, 15:01
                  nik, дорогой, полудурошный «товарищ», если далёк в ИТ (похоже совсем далёк), при окончании аргументов переключаешься на оскорбление (вот как раз типовое поведение троллей), то уткнись в тряпочку от невозможности хоть, что то более менее внятное написать, чем соображений «кухарки» по данному вопросу
              • мальчиш-шортчиш
                30 июня 2016, 15:25
                Д Л, на самом деле похоже на правду, не особо знаком с серверными системами, но по любому проф оборудование всегда дороже, правда не всегда на столько же качественней, но должны же быть и резервные системы, иначе погорит все это дело и смысл тогда?)
                • Дмитрий Л
                  30 июня 2016, 15:29
                  Andray, вот в том то и дело, что считаем именно оборудование для хранения данных (голое СХД без HDD стоит мало, львиную долю сожрут именно HDD), тут же множим на два, так как в любом ТЗ будет за частую мелькать не совсем туманное слово «дублирование», а ещё будет мелькать понятие как системы резервного копирования (стримеры, программное обеспечение), тут ещё немало нужно накинуть. В общем вылазиет это и в самом деле в баснословные затраты.
                  • мальчиш-шортчиш
                    30 июня 2016, 15:31
                    Д Л, ну вот и слава богу что это в реальности невозможно)))
                    • Дмитрий Л
                      30 июня 2016, 15:35
                      Andray, да кто же сказал, что не возможно, возможно всё, но вот и в самом деле не пиар ли это всенароднолюимого, сейчас протолкнули, не хорошие такие в госдурдоме, а великий и ужасный всех придёт и спасёт, ну и рейтинги на все 146%… в общем цирк не прекратиться по моему никогда (хотя окончание то должно быть по идее))))
                      • мальчиш-шортчиш
                        30 июня 2016, 15:41
                        Д Л, ну затраты даже если на коленках организовывать сумасшедшие, а если проф оборудование то кратно возрастают, а с чего отбивать то будут? Может вообще легче связь и интернет запретить и наверняка и гораздо дешевле?!)
                        • Дмитрий Л
                          30 июня 2016, 15:43
                          Andray, модель как в Китае к примеру? чтож вполне возможно, запретить не всё, но западные ресурсы почти все порезаны… но как то не в наших реалиях)
            • Дмитрий Л
              30 июня 2016, 14:50
              nik, для справки, моя основная профессия IT инженер, 15 лет стажа, работаю с высоко нагруженными системами, стоимость закупки и дальнейшей эксплуатации СХД знаю от и до… а вот ваша уверенность в собственной правоте на чём основывается?
              • nik
                30 июня 2016, 14:58
                Д Л, сочувствую твоему работодателю… видимо ты один из тех, кто занимается воровством в комерческих конторах))
                • Дмитрий Л
                  30 июня 2016, 15:03
                  nik, моему работодателю до твоего сочувствия точно наплевать, а занимаюсь по большей части разработкой систем, внедрением и эксплуатацией, для закупок у нас есть отдельная служба, так как штат более 3 тысяч человек
    • anektar
      30 июня 2016, 15:18
      nik, неправда. в нормальных серверных есть 1 или даже 2 бэкапа на любую информацию
      • nik
        30 июня 2016, 15:24
        anektar, во первых, не на любую, а только на ценную.
        во вторых, целесообраздность бекапа определеется из соотношении затрат на резервирование и стоимости ущерба в случаи потери данных помноженному на вероятность этой потери.
  • vito2000
    30 июня 2016, 14:12
    Только Вы не учли, что:
    1. по закону нужно хранить не только голос, а весь интернет трафик. (нет смысла хранить только голос, если сейчас большинство пользуется скайп и прочими вайберами). А это уже объем в миллионы раз больше голосового трафика, т.е. того, что Вы рассчитали. 
    2. В связи с ростом скорости растет трафик в геометрической прогрессии. Т.е. то, что Вы рассичтали умножайте на сотни тысяч каждый год.
    3. Хранение трафика в принципе бесполезно, т.к. есть сотни способов анонимного интернета, начиная от общественных точек wifi, sim-карт, оформленных на подставных лиц, незаконных подключениях к другим пользователям и т.д. и т.п.


    • nik
      30 июня 2016, 14:14
      vito2000, начиная от общественных точек wifi

      уже нет. последние несколько лет в рашке  инет в общественных местах раздают только по паспорту))
      • мальчиш-шортчиш
        30 июня 2016, 14:23
        nik, да вроде, даже какой то закон принимали что бы штрафовать тех у кого инет вифи без пароля раздается) моразм крепчал как говорится.
        • Дмитрий Л
          30 июня 2016, 14:26
          Andray, да, у меня друзья так же в кафешке при сауне не раздают тырнет без удост личности, так что чистейшая правда...
          да и маразм не крепчал, маразм уже в сторонке плачет от таких дураков как в нашей госдуре
      • nik, Tor, VPN и т.п. Большая часть трафика идёт https, так что удачи им в расшифровке.
  • unformal
    30 июня 2016, 14:14
    резюмируя все вышесказанное можно сказать что расходы не заоблачные, в пределах разумного и нет никаких предпосылок для катастрофического увеличения платы за гсм связь, как некоторые истерички писали.
    Борьба с терроризмом должна быть всесторонней!
    • trader_95
      30 июня 2016, 14:19
      unformal, добавьте в резюме, что кроме голосового трафика нужно хранить и другие данные в сотни и тысячи раз более объемные чем голосовой трафик.
    • Дмитрий Л
      30 июня 2016, 14:19
      unformal, не верно, не всесторонней, а ВСЕЛЕНСКОЙ!
      • unformal
        30 июня 2016, 16:12
        Д Л, не верно. не вселенской, а ТОТАЛЬНОЙ!
        • Дмитрий Л
          30 июня 2016, 16:16
          unformal, не верно, а ГАЛАКТИЧЕСКОЙ! а то тотально это как то по земному))
          • unformal
            30 июня 2016, 16:19
            Д Л, не верно! борьба с терроризмом дело всех и каждого. галактику свою оставьте для игр, если вы еще не выросли.
    • Евгений Черных
      30 июня 2016, 14:20
      unformal, В текущих условиях, когда народ и так голожопый, лучше воздержаться от лишних бесполезных трат
      • unformal
        30 июня 2016, 16:14
        kbrobot.ru, хорошо что вы не президент.
        иначе беда была бы уже давно.
    • portugalec
      30 июня 2016, 14:30
      unformal, Так проще априори каждого гражданина признать террористом и пусть бегает доказывет, что он не редиска. Вот она всестороность-то! 
      • unformal
        30 июня 2016, 16:16
        portugalec, не нужно фантазий дружок. если начнут за тобой бегать — значит будет за что. ФСБ не цирк и работать в отличие от тебя умеют и дело свое знают отлично!)
        • portugalec
          30 июня 2016, 19:52
          unformal, Конечно будет за что. Еще пара таких законов и каждого будет за что. Можно будет признать биржевые торги мошнничеством, а всех посетителей Смартлаба признать совершающими покушение на мошенничество, в том числе и тебя. Только вот беда в том, что пока мы в эти бирюльки играем, цивилизованный мир семимильными шагами идет вперед. Ну а нам, в таком случае, останется лишь аналог карго-культа в виде айфонов, компьюеров и машин.
  • А трафик интернета тоже Аллах хранить будет?
  • Бог
    30 июня 2016, 14:41
    а еще нужно хранить трафик тех, кто занимается его хранением. и далее по цепочке
  • Cheshirscy
    30 июня 2016, 14:41
    Глупость, конечно сморозили, под конец созыва. Первое — Вот смотрю я по инету ролик в ютюбе, а у него 100 000 просмотров. И все эти 100 000 просмотров, надо будет хранить!!! т.е. 100 000 копий одного ролика в ютюбе!!! Короче я понял что они хотят сделать, архив интернета!!!
    • Cheshirscy
      30 июня 2016, 14:50
      Надо переименовать закон, в закон о чуде света «Архив интернета». Была ж Александрийская библиотека, вот теперь у нас что-по похожее будет :)
    • vito2000
      30 июня 2016, 14:52
      Cheshirscy, 
      Короче я понял что они хотят сделать, архив интернета!!!
      Нет. Архив интернета в степени n. Если я ролик посмотрю два раза, то он дважды должен быть сохранен оператором :)
      • Cheshirscy
        30 июня 2016, 14:54
        vito2000, ну так добротный такой архив :)
    • Иванов
      30 июня 2016, 16:44
      Cheshirscy, Это решаемо, достаточно хранить файл в одном экземпляре и ссылки на него. А еще в тренде файловых систем сейчас дедупликация.
  • Samtakoy Samtokoich
    30 июня 2016, 14:52
    Зато сможем потом в метро покупать записи разговоров жены, начальника и т.д. Ляпота!
  • Cheshirscy
    30 июня 2016, 14:54
     МТС ПАО: 01.07.16 открытие коротких позиций будет невозможно.Просим закрыть короткие позиции(в «Т+2» и «Т0»)по акциям эмитента МТС ПАО до 16:00, принудительное закрытие после 16:00 МСК 01.07.16.
  • Aleksey Smirnoff
    30 июня 2016, 14:58

    Не хватает конкретики. Что за сервер за 100тр? Как обеспечивать отказоустойчивость дисков за 8тр? Эти диски хотя бы хотсвап поддерживают? 

    В смете не обнаружено автономное и резервное питание, системы безопасности, вентиляции, коммуникации (там одних цисок на вторую такую смету получается, если не больше), помещения для всего этого.

    Фонд оплаты труда: сколько надо админов на 3200 сервера? по одному на 320 серверов? Сколько охраны? Это вообще немалое предприятие получается, там и работников других специальностей работа найдётся, ещё и менеджмент.

     

  • vorona969
    30 июня 2016, 15:23
    Кароч, ебитда, над которой так трясутся все и вся (работала в теле2) навернется медным тазом. а вместе с ней и бонусы и выплаты дивов. По-идее должны немного сползти вниз.
  • websan
    30 июня 2016, 15:23
    почему бы сотовым операторам не передавать каждый месяц архивы гос-ву и пусть они сами хранят за свой счет
  • Иванов
    30 июня 2016, 16:47
     А автор топика далек от ИТ, на хрена на каждые 8 дисков сервер за 100 000 руб? =)
      • nik
        30 июня 2016, 17:57
        vlad1024, не нужено по серверу на каждые  8 дисков. достаточно по 1 серверу в каждом узле для траффика. а диски по мере заполнения отключаются от сервера и отправляются на склад на полугодовое хранение. а в сервер на их место подключаются очередные чистые.
      • Иванов
        30 июня 2016, 19:00
        vlad1024, Хорошо, почему именно на 8 винтов нужен сервер? И почему за 100 000 руб? Есть платы с 10 и 17 SATA разьемами, можно так же вставить дополнительные SATA контроллеры, есть дисковые полки, да много чего есть =)
        Это я еще не беру серверные желязяки, там интереснее…
  • Александр
    30 июня 2016, 18:07
    Простите, что неконструктивно, но ваш расчет из серии «я у мамы экономист».
  • Алексей Земсков
    30 июня 2016, 19:36
    Во фортонуло же WD или кто там еще сейчас на рынке, сеагейт) Вот это закупки сейчас попрут
    • nik
      30 июня 2016, 19:49
      Алексей Земсков, если строить хранилище будет Д Л или его сокамерники, то этим ничего не достанется. все барыши соберет НР ;)
  • flextrader
    30 июня 2016, 20:16
    афтар, сорри, а почему расчет исходя из битрейта gsm-ого кодека?

Активные форумы
Что сейчас обсуждают

Старый дизайн
Старый
дизайн