Недавно написал три статьи, касающихся услуг связи.
О Теле2
О ОпСоС-ах и Мессенджерах
О Ростелекоме
+
Поскольку в этих статьях я затрагивал вопрос объёмности голосового трафика — у меня возникла идея посчитать затраты, необходимые для воплощения т.н. Пакета Яровой, о котором так много говорили в своё время.
А точнее, затраты, требующиеся на хранение записей телефонных разговоров в течении 6 месяцев.
+
По моим замерам, 1 час разговора, записанный в формате MP3, занимает 14Мб дискового пространства.
Допустим, что Виртуальный Абонент говорит по телефону 3 часа ежедневно.
За 6 месяцев длительность разговоров составит 183 дня умножить на 3 часа = 549 часов.
Для хранения этих записей потребуется дисковое пространство в размере 549 часов умножить на 14Мб = 7686Мб.
И это число нужно умножить на 2, ибо для записи голоса Собеседников нашего Виртуального Абонента операторам связи придётся выделить точно такой-же размер дискового пространства. (Допустим, что все эти Собеседники находятся на территории РФ)
2*7686 = 15372Мб = 15.4Гб.
Допустим, что таких Виртуальных Абонентов в РФ 60 000 000 штук.
И они осуществляют голосовые звонки остальным гражданам РФ, коих тоже 60 000 000.
В результате, они сгенерируют 3часа*60 000 000 = 180 000 000 часов телефонных разговоров, или 60минут*180 000 000 = 10 800 000 000 минут в день.
А за 6 месяцев, т.е. за полгода, получится 183дня*180 000 000 часов = 32 940 000 000 часов, или 60*32 940 000 000 = 1 976 400 000 000 = 1976.4млрд минут.
+
Для записи и хранения всего этого голосового трафика (продублированного!) потребуется 15.4Гб*60 000 000 = 924 000 000Гб, или 924 000Тб.
Терабайтный SSD в рознице (!!!) сейчас стОит около 100 долларов.
Таким образом, на всю затею потребуется 100*924 000 = округлённо 100млн.долл. или примерно 7млрд.р по текущему курсу (однократно!).
Совершенно понятно, эту сумму надо «размазать» на всех наших основных операторов связи — Ростелеком, МТС, Билайн, Мегафон, Теле2.
Т.е. каждый из них должен выделить на оборудование для записи и хранения телефонных разговоров 100 делить на 5 = 20млн.долл. или 1.4млрд.р по текущему курсу (однократно).
Тяжесть Пакета Яровой так велика… так велика...
+
Но Википедия знает больше!
Цитата:
На реализацию требований «закона Яровой» потребуются следующие затраты:
сотовым операторам — 2,2 трлн руб. (эту сумму указывали руководители МТС, Билайн, Мегафона и Теле2 в письме главе Совета Федерации Валентине Матвиенко[53]), что приведёт к росту стоимости услуг связи для конечных потребителей в 2—3 раза[7]. При этом вся отрасль заработала за 2015 г. около 1,7 трлн руб., а средний ежегодный инвестбюджет у операторов «большой тройки» и «Ростелекома» — около 60—70 млрд рублей
7млрд.р чудесным образом превратились в 2.2трлн.р.
Разница примерно 314 раз.
+
Ещё цитата:
По оценке Эдварда Сноудена, принятие закона обойдётся компаниям в 33 млрд долларов США.
Разница между 33млрд.долл и 100млн.долл = 330 раз.
Они, пля, сговорились!
+
Ещё одна интересная цитата:
После принятия закона акции российских операторов сотовой связи упали в цене: акции МТС упали на 2,5 %, МегаФона — на 1 %
Это же какой-то кошмар!
Но давайте поубавим наш сарказм, ведь такая аналитика пишется одними лохами для других лохов, а мы-то — не одни и не другие.
+
И ещё одна интересная цитата:
За полгода (максимально возможный срок, которым Правительство может в будущем обязать операторов связи хранить информацию) абонентами сотовой связи в России создается порядка 700 млрд минут телефонных переговоров и 50 млрд SMS-сообщений, а также потребляется 6 Эксабайт интернет-трафика.
Итак, 700млрд минут за полгода.
В день — это 700млрд минут делить на 183 дня = 3.83млрд минут.
Поделим это значение на 60 000 000 Виртуальных Абонентов, и получим 64 минуты в день телефонных разговоров на одного Виртуального Абонента.
Чуть больше одного часа.
Т.е. примерно в 3 раза меньше, чем в моём подсчёте.
А расходы на запись и хранение этих телефонных разговороы У Них получаются в 330 раз больше!
Фантастика!
+
Следующая цитата:
Для снижения затрат на хранение записей телефонных разговоров российская компания Spirit предложила алгоритм сжатия этих данных, сжимающий до 1 МБ голосовую запись длительностью 2 часа[56].
Т.е., при моих условиях — 60 000 000 Виртуальных Абонентов говорят по телефону по 3 часа в день со своими Собеседниками и генерируют за полгода 32 940 000 000 часов, речевого трафика, который необходимо записать и хранить — потребуется 32 940 000 000 часа делить на 2 часа = 16 470 000 000 Мегабайт дискового пространства.
И не забудем умножить полученное значение на 2, ибо записывать и хранить речевой трафик необходимо так-же и на стороне Собеседника.
16 470 000 000*2 = 32 940 000 000 Мегабайт или 32 940 Терабайт
Это примерно в 28 раз меньше, чем получил я в своих подсчётах.
И затраты на организацию дискового пространства составят в этом случае:
100 долларов за один Терабайт SSD накопителя умножить на 32 940Тб = 3 294 000 долларов.
Три целых и три десятых миллиона долларов!
А не 33 миллиарда долларов, по хотелкам Сноудена!
И эти 3.3млн.долл, как мы помним, будут «размазаны» по основным операторам связи, которых у нас пять.
Т.е. затраты каждого оператора будут равны 660 тысяч долларов! (однократно).
+
Ещё цитата:
Виктор Озеров оценивал ежегодные затраты операторов связи на хранение трафика в 3 млрд руб. Такой вывод он сделал на основе расчётов правительственных экспертов об исполнении закона в Москве (там сумма равнялась 287 млн рублей)
3млрд.р по актуальному курсу равны примерно 43млн.долл
Добрый такой дяденька....
+
Я понимаю, что для хранения информации нужны не только SSD, но и ещё, как минимум, электричество, и остальное железное дерьмо, в которые эти SSD нужно будет вставлять.
И ещё софтовое дерьмо надо не забыть.
Но....
33млрд.долл однократно плюс 43млн.долл ежегодно — против 3.3млн.долл, (разница, соответственно, в 10 000 раз и в 13 раз) которые я получил, исходя из Их-же данных....(при этом делая вычисления по розничным ценам на SSD накопители)
Это, как-бы… две большие разницы...
+
Но цитаты продолжаются.
Таким образом, при использовании этого алгоритма для хранения 700 млрд минут телефонных переговоров понадобится хранилище ёмкостью около 6 петабайт.
Один петабайт — это 1000Тб .
Т.е. вся пятёрка основных операторов связи должна, по их-же подсчётам, организовать дисковое хранилище на 6000Тб, для хранения 700млрд. минут голосового трафика, генерируемого абонентами каждые полгода в РФ.
SSD накопители для такого хранилища будут стоить по розничным ценам примерно 100*6000 = 600тыс.долл.
А расходы каждого из пяти операторов составят 120тыс.долл.
600тыс.долл — это даже не 3.3млн.долл, которые насчитал я, пользуясь своими исходными данными.
И уже очень далеко от 33млрд.долл, которые захотел потратить из нашего кармана Сноуден. (разница в 55 000 раз).
+
И ещё вот такая мысль:
6 Петабайт, которые требуются для хранения всех телефонных разговоров в РФ в течении полугода — это, условно говоря, 6000 SSD ёмкостью 1Тб каждый.
Или 1000 HDD ёмкостью 6Тб каждый.
Я, безспорно, не специалист в оптовой и розничной торговле комплектующими, но могу предположить, что требуемое кол-во этих запчастей можно легко найти на складах в городе-герое Москве.
Т.е. это хранилище на 6 Петабайт — не такое уж грандиозное хай-тек сооружение.
Да и судя по суммарной стоимости требующихся для его создания SSD — тоже.
Так себе, средненький такой проект. (если сравнивать его с крупными хранилищами, данные о которых есть в этой-же статье Википедии)
Более того, эти 6-12 Петабайт не будут сконцентрированы в одном помещении, а будут разделены на 5 частей между основными операторами связи, 5 хранилищ по 1.2-2 Петабайта каждое.
+
И ещё цитата (надеюсь — что финальная):
На выполнение требований закона Яровой Билайн в течение 5 лет планировал потратить 45, Мегафон — 35-40, МТС — 60[51] млрд руб. Агентство Fitch оценивало чистые убытки в 2,5-3,3 % от общей выручки, по сравнению с 2017 годом рост капитальных инвестиций составлял 14-23 %. В июне 2018 года интернет-операторы начали повышение тарифов на 8-10 %, которое оправдывали затратами на закупку требуемого по законопроекту оборудования.
Что операторы начали повышение тарифов — это меня не удивляет.
Я просто хочу сейчас пересчитать их хотелки в доллары по текущему курсу 70, и сравнить их с числом 600тыс.долл.
Билайн 45млрд.руб = 643млн.долл
Мегафон 35-40млрд.руб = 500-571млн.долл
МТС 60млрд.руб = 857млн.долл
Что-то уж очень радостно ОпСоС-ы ухватились за идею записи и хранения телефонных разговоров, вам не кажется?
Уж не они ли сами являются инициаторами Пакета Яровой ?
+
Я бы написал бесспорно, а не безспорно, но не претендую..)
А так одобрям
я все эти годы думал, что все эти затраты — всерьёз
а это просто какой-то очередной распил и создание повода для повышения тарифов
судя по его хотелкам
все довольны
не?
например, есть услуга голосовой почты
абонент записывает голосовое сообщение — и оператор хранит его на своём сервере
они всё записывают
т.е. они имеют право ее оказывать, договорившись с клиентом
значит — и на остальные записи у них найдётся бумажка
более того, участвовать в цирке не собираюсь
Если на вашем смарте есть функция Запись разговора, то можете проверить в двух режимах — с записью только с микрофона и запись всего потока.
Ещё имейте ввиду, что голосовые данные можно кратно ужимать как в частотном диапазоне, так и в динамическом — битности потока, и архивирование, что никак не ухудшит разборчивость речи, а размер
файлов снизит глобально.
Всё остальное изложенное фактически малоинтересно, лично я, как предпенсионер, потерял на их пенс.реформе глобально бОльше, чем начал переплачивать опсосам от увеличения тарифов.
ибо один оператор обязан записать разговор, и другой оператор тоже обязан записать разговор
если бы на всю страну был один оператор, то тогда да, умножать на 2 не нужно
что не помешает иметь так-же общую БД
А в реале цифры могут отличаться на порядок-два.
Поэтому вся грандиозная работа этих рассчётов — бессмысленна и бесполезна.
Кстати, в нашей конторе основные деловые переговоры всех со всеми проводятся через вайбер, вацам и телегу, ибо на точках моб.сети часто не бывает, а инет и вайфай есть всегда, тем более в других странах.
и никого до сих пор этого не насмешило
почему-то
и именно потому, что вменяемые люди уже отказываются от телефонных разговоров в пользу мессенджеров — даже просто по чисто экономическим причинам, не говоря уже о шифровании трафика — то все планы яровой по записи телефонных разговоров летят в топку
ибо записи этих разговоров будут содержать только общение домохозяек со своими престарелыми матушками, о том как они успешно сходили на базар
и не такая безсмысленная
просто стало понятно, что нас в очередной раз наобманули
я своим работодателям звоню реже чем 1 раз в год.
всё по почте и ватсапу.
про что-то другое
но, не будем отвлекаться…
у меня тоже есть
но!
оператор связи не может отказаться записывать голосовой трафик, обосновывая это тем, что другой оператор уже ведёт запись
1 голосовой трафик и так передаётся в сжатом виде
если сжимать дальше и снижать битрейт — то разборчивость речи ухудшится
2 про новый передовой инновационный алгоритм сжатия (в существование которого не очень верится), который позволит ограничить размер хранилища величиной 6 петабайт — уже написано в статье
Допущу, что вы крайне далеки от работы ЦОД.
И так, на вскидку, что выпало из вашей чудесной арифметики:
Ответственное хранение данных подразумевает трехкратную избыточность.
Информация на диски попадает не магическим образом, к ним нужны контроллеры, системы хранения данных, рек-стойки, питание с резервированием, минимум кратное увелечение каналов связи, такие мелочи как пожаротушение и охлаждение. Не самый дешевый софт для управления и не самые дешевые инжернеры для обслуживания.
Если копнуть глубже в то как устроена связь, то выясниться, что практически каждую вышку вам придется дооснастить доп оборудованием и нет, воткнуть туда пяток SSD и отсылать их в москву почтой россии раз в месяц — не вариант. :)
Интернет трафик хранить не будут? Звонки и СМС лишь малая часть в генерируемом потоке данных...
ВыясниТСЯ — без мягкого знака, уже глаз за сегодня этим знаком исцарапан в постах «грамотеев». Лепят его повсюду, погода влияет, что ли?
не буду скрывать это
во-вторых — меня интересует только порядок чисел, а не точная смета на создание хранилища
в-третьих — размер хранилища нам известен, желающие могут поинтересоваться у гугла его сметной стоимостью
помещения атс пустуют.
располагай — не_хочу.
они проектировались и строились во времена аналоговой связи.
ролики с порносайтов?
сэлфи, закачанные во вконтактик?
вайны на тик-токе?
сомневаюсь…
У меня нет задачи вас переубедить, все доступно, если поискать.
ОПСОСы ставят то что есть на рынке и сертифицировано по той цене которая есть на рынке, самодеятельностью с риском для лицензии никто занимамться не будет.
так вот откуда взялась сумма 33млрд зелени!
я просто усомнился в порядке чисел, и простейшие вычисления подтвердили мои сомнения
но, если у тебя есть свои вычисления, которые оправдают хотелку сноудена — 33 ярда баксов — то вэлкам
ну хоть намекни — что им надо учитывать?
или не очень?
Операторы задачу выполнили, преувеличили скорее всего, но и мелочью данная задача не является.
И целого петабайта мало
guardinfo.online/2020/01/17/i-celogo-petabajta-malo/
Бюджетные петабайты: Как построить дешевое облачное хранилище
habr.com/ru/post/68832/
Петабайты на бюджете: 10 лет и счет
hosting.kitchen/backblaze-com/petabayty-na-byudzhete-10-let-i-schet.html
Сберегатель (Сэр Лонг), хорошие цифры — Москва потратила 1,2 миллиарда на 1,5 петабайта.
Осталось понять сколько надо хранить операторам, какие есть узкие места в организации сетей операторов, надо ли что-то на вышках еще.
Тогда и можно начинать сравнивать со сметой ОПСОСов.
backblaze — хорошо, но это частный случай, насколько они готовы тиражировать, поддерживать и сопровождать свое решение непонятно.
а вот что пришет аффтор (я) в топике т.е. случайно вышло — что аффтор посчитал всё правильно (и только для записи и хранения голосового трафика)
Парень скинул в облако 2 петабайта порно, чтобы проверить Amazon
Читать на Trendymen: https://trendymen.ru/lifestyle/events/123328/
Цена продукта, продаваемого Амазоном может быть равна нулю — они на другом зарабатывают, а себестоимость весьма и весьма отлична от нуля.
Зачем путать базовые понятия непонятно.
лавочку прикрыли, но он успел выполнить намеченное
я думаю, это был негласный эксперимент амазоновцев + реклама своего бизнеса
я думаю, что место для хранения становится очень дорогим, когда надо освоить деньги, выделенные для покупки такого места
т.е. при элементарном распиле бюджета
Заодно будет аргументация повышения цен на тарифы в одностороннем порядке.
ответственность без такой избыточности (RAID) — это БЕЗответственность. )
а опсосы никогда не упустят законный повод для увеличения тарифов [, доходов и возможности обновления своего железа]. )
без искажения тембра и пищать не будут
доказывает моя дальновидная тема 10\06:
mp3 = 48 кб/с = 16 минут = 5 М https://yadi.sk/d/e821e6mCX6R70g
mp3 = 32 кб/с = 11 минут = 2 М https://yadi.sk/d/5mz3r8ciPrrxDw
ещё ускорив и сжав до 8кб/с моно: результат до 4 мегабайт/час
на нескольких файлах в WavePad
например, алгоритмы ATRAC и ogg позволяют сжать песню в формате мр3 (файл 4-5мб) до размера 1мб при битрейте 48кб\с (против 128кб\с)
а для записи телефонных разговоров потребуется ещё более низкий битрейт
и я объяснил — почему
и в тексте, и в комментариях
Знаете что такое RAID и физически распределенные ЦОД?
И почему цены на бытовые ssd за 100 долларов отличаются от цен на серверные ssd?
1 мне было важно выяснить порядок чисел
и
2 я применил розничные цены на SSD
Опсосы может и завышают, но они исходят из затрат на строительство, оснащение и содержание соответствующих ЦОДов.
Яровая видимо так же думала, что чего там _ мелочи какие.
моя задача — докопаться до порядка чисел
что я успешно выполнил
может — всё уже есть? почти всё?
чтобы не бродить вокруг да около — надо просто выяснить стоимость строительства и содержания маленького хранилища на 2 петабайта
Сберегатель (Сэр Лонг), вот это правильная мысль, только в статье она не раскрывается :)
Вот тут немного занавес приоткрывают на нюансы строительства ЦОД https://oldmann.livejournal.com/26276.html
Практически реально переводить аудио в текст
о чём дальновидно пишу:
Лайфхак: скачиваем текст видя часовой диалог или монолог Youtube20 апреля 2020… в Избранном у 17 здешних
Да и реально тексты индексировать
и поиск занимает секунды
но большинство из них об этом не догадываются
www.iksmedia.ru/articles/5599014-Za-god-primeneniya-zakon-Yarovoj.html
ОПСОСу не важно, что там имеет или не имеет смысла, он по требованию должен предоставить _весь_ трафик с глубиной выемки до полугода в оригинале. Про какие тут перекодирования аудиоканалов вы говорите, вообще не понятно, тем более что это реально еще дороже, записать оригинал, считать, передать на DSP, перекодировать, опять скинуть на накопитель… нафига?!
Ну про ключи, это вообще отдельная тема, все ключи по тому же закону должны предоставляться. end-to-end шифрования практически ни у кого нет :) раконадзор не просто так гонялся за телегой, остальные давно все передали или ушли с рынка.
Ну вот Вам пример от госдеповского засланца Навального:
Детский онкоцентр закупает маски 27 рублей/пачка
Правительство маскваютра закупает маски 75 рублей
Цена в аптечной сети, принадлежащей вышеозначенному правительству — 95 рублей...
Злые языки говорят, что кто то прикупил производство масок...
В глупых странах данные факты стали бы поводом для возбуждения уголовного дела...
Просто, для душевного спокойствия, стоит принять простой факт: стадо обязано телиться и доится, а нормы надоя и отела утверждают пастухи…
население РФ — вторая нефть © (не моё)
После пенсионной реформы это утверждение устарело.
Население теперь — первая нефть…
кем ?
если уже сейчас трудно устроиться на работу после 35 лет?
или престарелые не будут работать и не будут получать пенсию?
таков план?
престарелые будут безработными и будут сидеть на шее у своих стареющих детей (если они есть)?
мне понравился Ваш сегодняшний пост по массы дураков на бирже в поисках гуру...
Сам такой, надеюсь, был...
Вот представьте, что такая же не отягощенная мозгами, но более удачливая, с более теплым языком, удачно родившаяся, добирается до высоких кабинетов. Вы серьезно думаете, что у них есть план?
Принцип курятника: толкни ближнего, на*ри на нижнего и пролезь на верх, а так же управление по принципу: «поезд стой! Раз! Два!» + интриганские войны заносят наверх всяких табуреткиных и орешкиных. Их задача — день простоять, да ночь продержатся, поделится распилом и свалить на юг, а не на север. Все! Остальных планов нет! И как там живет, этот, как его, а, народ — их ваще не ипет.
Очевидно же, что пенсионная реформа — процесс трансформации пенсионной системы в еще один налог. Морковка перед ишаком на удочке. И все по хрену..
А Вы про какой то план… каких то престарелых...
Спасение утопающих — дело рук самих утопающих. На десерт — проклятый госдеп, педики в Европе и чотамухохлов.
Но собираемость налогов долна растить…
главное — вовремя прозреть
иначе — был бы уже давно Хаос
Слишком многофакторная модель с очень большим числом акторов и полярными интересами. То, что имеем — среднеарифметический вектор. С ростом неблагоприятных факторов любая система переходит в армейский режим: жесткая дисциплина, единоначалие и полное использование ресурсов (включая живую силу). ИМХО, пока этого нет — все более менее спонтанно…
вы в своем уме?:)
позволь узнать — сколько твоей душе угодно абонентов? и сколько они обязаны говорить в день по телефону?
всё будет исполнено немедленно!
я просто к тому, что мне кажется что у вас сильно завышена оценка получается
вместо вот этого а если бы ты присовокупил собственный вариант оценки — то было бы вообще прекрасно
ибо меня интересует такая тематика и я рад новой информации и новым мнениям
да, я сознательно сделал завышенное допущение (которое оказалось в 3 раза выше официальных данных)
чтобы показать, что даже при таком допущении, затраты на хранение будут ниже на порядки, чем нам озвучивают
Сюда входит сервер сбора голоса +аренда оптики от субъекта рф до дата центра.
Т.к. это идея государства, то скорее всего датацентры будут принадлежать какому-нибудь ростеху, т.к. они должны работать «на отечественном софте и железе».
Также мтс, билайн являются операторами не только голосовых услуг, но передачи данных. Прибавьте стоимость хранения интернет данных, которые качают пользователи и у вас получатся триллионы рублей.
но в России — всё как всегда
по планам затейников, у каждого оператора должен быть свой дата центр
они с хранением голосового трафика ещё не разобрались, до хранения интернет данных им ещё далеко