хранение информации

Несмотря на пессимистичные прогнозы, ограничения на поставки в РФ техники не слишком задержали развитие инфраструктуры хранения данных. Аналитики и участники рынка говорят, что по итогам 2022 года число стойко-мест в коммерческих дата-центрах выросло на 10,8%, а в 2023 году увеличится еще на 7,4%. Спрос на мощности растет как у госорганов, так и у компаний, крупнейшие операторы ЦОД возобновляют приостановленные крупные стройки. Но вместе с тем инженерные и технологические компоненты для дата-центров дорожают: за последний год цены увеличились на 20–40% и на рынке ожидают продолжения роста.

Подробнее – в материале «Ъ»

Ранее у нас на канале выходил пост о том, кто разрабатывает данный проект, какие проблемы пытается решить Filecoin и какая у него токеномика:

https://t.me/mihaylets_pro/1283 

Сегодня же посмотрим, как для проекта прошел 2022 год и над какими задачами команда продолжает работать.

Рост емкости хранилища

С точки зрения емкости хранилища Filecoin в настоящее время является крупнейшей децентрализованной сетью. Более 3800 поставщиков систем хранения по всему миру предоставляют более 17 млн терабайт емкости для хранения данных. Этого достаточно, чтобы хранить весь интернет-архив 275 раз.

С точки зрения использования сети — хранение клиентских данных выросло в 16 раз в 2022 году (превысило 400 PiB). Среди новых партнеров можно отметить MagicEden, Rarible, Kitsumon иPeeranha, а также такие учебные заведения как Калифорнийский университет в Беркли и Южно-Калифорнийский университет.

( Читать дальше )

Когда еще только начал заниматься алготрейдингом, возник вопрос удобного доступа к историческим данным котировкам. Дело в том, что csv файлы могут содержать пропуски данных, а мне необходимо было получать котировки за конкретные дни года. Поэтому мне было не удобно грузить csv файл в общий массив и затем искать в нем отрезки данных. Второй проблемой было то, что минутный график (не говоря уже о тиковом) занимает много места, когда речь идет о более 20 шт. валютных пар. Конечно это уже не такая проблема, как первая, так как сейчас большая память на SSD или HHD не проблема. Но с другой стороны, хранить все >20 валютных пар уже в памяти компьютера тоже не лучший вариант, лучше было бы грузить данные по кускам. 

Поэтому я решил убить всех зайцев тем, чтобы написать специальную библиотеку для удобного хранения и использования котировок.

• Так как мой интерес был именно минутный график, было решено хранить фиксированное количество минут для каждого дня (даже если есть пропуски цен). В одном дне 1440 минут, следовательно каждый дневной фрагмент исторических данных содержит 1440 баров. 
• Каждый дневной фрагмент было решено обозвать «подфайлом» и хранить все подфайлы в одном файле. Дело в том, что множество файлов тормозят систему, поэтому записывать каждый фрагмент как отдельный файл — не лучшее решение. В то же время сильно усложнять хранение фрагментов не хотелось, да и не было смысла. Обычная операция для «хранилища» котировок — добавление новых данных или чтение старых, при этом перезапись или добавление нового подфайла в глубоком слое исторических данных может потребоваться редко. Поэтому оптимальное решение будет записывать дневные фрагменты исторических данных по порядку в один общий файл и хранить ссылки на подфайлы в конце файла.

( Читать дальше )

Господа, возникла задача накопления данных из таблицы текущих параметров с целью дальнейших манипуляций с ними. Кто как решал такую задачу, какие средства лучше подходят в данном случае? На первом этапе хочется хотя бы визуально представлять их с максимально возможной глубиной истории, так как многие брокеры накапливают на своих серверах историю только за одну сессию. Буду благодарен за идеи.

Госдума приняла пакет антитеррористических законов. По которым операторы связи, а также мессенджеры и соцсети должны будут хранить информацию о разговорах и переписке пользователей.
Информацию о фактах приема и передачи звонков, текстовых сообщений, фотографий, звуков и видео операторы связи должны будут хранить на территории России в течение трех лет, а срок хранения содержания разговоров и переписки составит до шести месяцев.
Мессенджеры и соцсети должны будут хранить инфо о передаче сообщений в течение года, содержание переписки — полгода.
(Прайм)