Блог компании StockSharp | Бэкап маркет-данных в облако

Mikhail Sukhov, да, это дорогие железки… но они того стоят, т.к. дают много-много всяких сервисов (кино-фото-музыка-библиотеки книг с доступок отовсюду — видеозапись-бэк-ап — личное облако и т.д.)… обычно их покупают домой люди, которые любят фильмы в максимальном качестве, т.е. диагональ телека также имеют приличную… насчет шума — ставятся где угодно, например на антресоли, в прихожей, поэтому шум не слышен… ломаться нечему, разве что дискам, но от этого никто не застрахован… понимая это все делают рэйды — 0-1-5-6-10-50-60 и т.д… — вы сами решаете что и как будет сохранено и с какой избыточностью… личный фотоархив — без сомнения зеркалирование...
… вы не указали — как много данных, пополняются ли они, как часто и оперативно нужен доступ и т.п...
… кроме варианта с коллекцией отдельных дисков, подключаемых по мере необходимости через esata (докстанцию), можно рассмотреть вариант записи неизменяемых данных на оптические диски — это будет дешевле но менее удобно...
… также кроме NAS сейчас появились DAS-устройства, они дешевле и не так функциональны, но вполне практичны, поддерживают рэйд-массивы разлиных конфигураций…

Mikhail Sukhov, ну, удобнее всего будет сервак… вопрос только один — свой или чужой… плюсы/минусы и расходы/инвестиции понятны, при желании можно бизнес-кейс сделать через окупаемость инвестиций, только будет сложно оцифровать другое качество СВОЕГО сервака… кунап и синолоджи — это мерседесы в мире nas… посмотрите HP MicroServer — это подешевле будет но вполне пристойно… насколько понимаю, на нем также можно многое — установить апач, php, mysql — данные будете видеть отовсюду и раздавать как вам нужно + резервировать и т.п… на хоботе обсуждают эту железяку, есть спецы, подскажут…

Mikhail Sukhov, обычно у меня не так много данных, как правило хватает MS Access… если его ограничения превышены (2 гига на базу, хотя можно несколько баз-таблиц подтянуть при желании) — MS SQL… 10-20 (ну до 40) млн записей access тянет в одной базе, если не очень много индексов… данные беру с фтп мосбиржи, запакованные они не столь тяжелы но ценности особой не представляют — их ценность только когда они уже в базе и анализируются… объем их в рар смешной — лежат на nas… облаками пользуюсь активно, но чисто в бытовых целях для удобства с разных устройств, платить за облака нет нужды, т.к. у самого места прилично на дисках…

Mikhail Sukhov, если это просто файлы (текстовые и т.п.) — это ерунда, бытовуха… вот засунуть эти цифирки в базу данных, связать все и проиндексировать — вот тут мощь нужна для обработки и сопутствующего хранения… все имхо…

Mikhail Sukhov, то что вы хотите — это крайне дорого, такие сервера у опсосов работают и т.п. — это миллионы долларов… хранить тики — да, это нормально… всегда будут люди, которым они потребуются для анализа истории… но масштабно и свободно работать с ними — это не для всех, это не может быть дешево… свернуть тики по сколько-то штук или сколько-то там секунд — и объем сразу становится человеческим… да и с такими данными не всегда успеешь… %-)… посмотрю ваш сайт, пока не видел еще чем там занимаетесь… %-)

Mikhail Sukhov, у продукта (ящик), решения (вам его настроили) и сервиса (вы просто храните) разная стоимость и все остальное… сервис — самый комфортный путь… он позволяет концентрироваться на основном, ключевой компетенции, которую нельзя делегировать…

Mikhail Sukhov, а ты записи за все дни в одну таблицу вставлял?

Mikhail Sukhov, Я предлагал вам сделать так, что бы Гидра сразу отправляла данные в облачный сервис. Но вы мне отказали. А сейчас что интерес появился? Будет Гидра в облако записывать котировки сразу или все еще не созрели?