09 июля 2015, 17:37

Бэкап маркет-данных в облако

Всем привет!

Ищу решение для бэкапа накопленной истории торгов. По соотношению цена-качество нашел сервис aws.amazon.com/glacier/ Кто уже работал с данным сервисом? Какие отзывы?

Попутно ищу программиста на WPF, чтобы сделал утилиту для работы с сервисом. Можно на базе amazonglaciergui.codeplex.com/ если последнее еще живое. Принцип сотрудничества на основе «мне программу+исходники-ему деньги за работу».

Ради интереса. Кто как решает проблему с бэкапом.

торговые роботы маркет дата стокшарп stocksharp

Mikhail Sukhov

Москва

721

с 26 апреля 2011

17 Комментариев

aka
09 июля 2015, 18:12
… qnap, synology — удобно если средства позволяют… бюджетный вариант — диск в сейфе хранить, подключать через док-станцию (esata обычно)…
+1
- Mikhail Sukhov
  09 июля 2015, 18:29
  roan, это «железный» вариант? Я сам пользуюсь облачными сервисами, чтобы хранить данные. Но они не приспособлены для больших объемов по ценовой категории.
  
  Облачные сервис лучше чем железный. Я уже имел опыт с подобным решением (не тот, что вы указали, но ранее было). Во первых, он должен быть постоянно включен, а это шум в доме. Во вторых, в случае простоя на пол года-несколько лет само устройство может выйти из строя. В третьих, если устройство сломается, то ремонт или его замена может влететь в копеечку, что будет сопоставимо с дорогими онлайн сервисам. Да и первичная выплата так же предполагает потратить значительно денег.
  0
  - aka
    09 июля 2015, 18:48
    Mikhail Sukhov, да, это дорогие железки… но они того стоят, т.к. дают много-много всяких сервисов (кино-фото-музыка-библиотеки книг с доступок отовсюду — видеозапись-бэк-ап — личное облако и т.д.)… обычно их покупают домой люди, которые любят фильмы в максимальном качестве, т.е. диагональ телека также имеют приличную… насчет шума — ставятся где угодно, например на антресоли, в прихожей, поэтому шум не слышен… ломаться нечему, разве что дискам, но от этого никто не застрахован… понимая это все делают рэйды — 0-1-5-6-10-50-60 и т.д… — вы сами решаете что и как будет сохранено и с какой избыточностью… личный фотоархив — без сомнения зеркалирование...
    … вы не указали — как много данных, пополняются ли они, как часто и оперативно нужен доступ и т.п...
    … кроме варианта с коллекцией отдельных дисков, подключаемых по мере необходимости через esata (докстанцию), можно рассмотреть вариант записи неизменяемых данных на оптические диски — это будет дешевле но менее удобно...
    … также кроме NAS сейчас появились DAS-устройства, они дешевле и не так функциональны, но вполне практичны, поддерживают рэйд-массивы разлиных конфигураций…
    +2
    - Mikhail Sukhov
      09 июля 2015, 20:55
      roan, решение для меня и еще нескольких коллег. Поэтому или каждому по железке или кто-то делает доступный через интернет доступ. Скорее всего мне, что по выше озвученным причинам не подходит. Дома кроме меня есть еще те, кто может эту коробочку уронить, перевернуть и развинтить.
      0
    - Mikhail Sukhov
      09 июля 2015, 20:59
      roan, забыл ответить про данные.
      
      Данных очень много. Преимущественно это тиковый поток с ктировками спреда. Храню в спец формате или просто текстом.
      
      Сами данные в 90% хранятся до кучи (есть доступ в фидам, почему бы не писать все, что дают). Для работы нужно вот эти оставшиеся 10%. Подозреваю, что со временем 99% записанного будет никогда не использовано. Но выбрасывать их жалко. Некоторые данные настолько трудно доступные, что некоторые сервисы предлагают за них тысячи американских рублей. Чисто из-за ценника жалко удалять.
      0
      - aka
        09 июля 2015, 21:17
        Mikhail Sukhov, ну, удобнее всего будет сервак… вопрос только один — свой или чужой… плюсы/минусы и расходы/инвестиции понятны, при желании можно бизнес-кейс сделать через окупаемость инвестиций, только будет сложно оцифровать другое качество СВОЕГО сервака… кунап и синолоджи — это мерседесы в мире nas… посмотрите HP MicroServer — это подешевле будет но вполне пристойно… насколько понимаю, на нем также можно многое — установить апач, php, mysql — данные будете видеть отовсюду и раздавать как вам нужно + резервировать и т.п… на хоботе обсуждают эту железяку, есть спецы, подскажут…
        +1
        Mikhail Sukhov
        09 июля 2015, 22:01
        roan, да, на данный момент вопрос облака. Свое или чужое. Мне больше нравится идея чужого. Я прекрасно отдаю себе отчет в том, что на собственный сервер будет нехватать времени.
        
        А вы с облачными хранилищами пробовали работать? Именно не как dropbox чтобы пару файлов, а серьезно, много данных. Или только через железки?
        0
        aka
        09 июля 2015, 22:35
        Mikhail Sukhov, обычно у меня не так много данных, как правило хватает MS Access… если его ограничения превышены (2 гига на базу, хотя можно несколько баз-таблиц подтянуть при желании) — MS SQL… 10-20 (ну до 40) млн записей access тянет в одной базе, если не очень много индексов… данные беру с фтп мосбиржи, запакованные они не столь тяжелы но ценности особой не представляют — их ценность только когда они уже в базе и анализируются… объем их в рар смешной — лежат на nas… облаками пользуюсь активно, но чисто в бытовых целях для удобства с разных устройств, платить за облака нет нужды, т.к. у самого места прилично на дисках…
        +1
        Mikhail Sukhov
        09 июля 2015, 22:39
        roan, понятно. Речь идет о нескольких TB.
        0
        aka
        09 июля 2015, 22:44
        Mikhail Sukhov, если это просто файлы (текстовые и т.п.) — это ерунда, бытовуха… вот засунуть эти цифирки в базу данных, связать все и проиндексировать — вот тут мощь нужна для обработки и сопутствующего хранения… все имхо…
        +1
        Mikhail Sukhov
        09 июля 2015, 22:54
        roan, я раньше использовал БД. На тиках еще что-то шевелилось, а на спреде (примерно миллион записей в день) все умирало. Индексы для ускорения занимали в несколько раз больше места чем сами данные. Как итог — для себя у решил что MS SQL не предназначен для Big Data.
        0
        aka
        09 июля 2015, 23:12
        Mikhail Sukhov, то что вы хотите — это крайне дорого, такие сервера у опсосов работают и т.п. — это миллионы долларов… хранить тики — да, это нормально… всегда будут люди, которым они потребуются для анализа истории… но масштабно и свободно работать с ними — это не для всех, это не может быть дешево… свернуть тики по сколько-то штук или сколько-то там секунд — и объем сразу становится человеческим… да и с такими данными не всегда успеешь… %-)… посмотрю ваш сайт, пока не видел еще чем там занимаетесь… %-)
        +1
        Mikhail Sukhov
        09 июля 2015, 23:35
        roan, у амазона это стоит 1 цент за гигабайт. Вполне подъемная цена если пересчитать на террабайт.
        
        Анализ данных не нужен от сервиса. Он дается нашей платформой.
        0
        aka
        09 июля 2015, 23:51
        Mikhail Sukhov, у продукта (ящик), решения (вам его настроили) и сервиса (вы просто храните) разная стоимость и все остальное… сервис — самый комфортный путь… он позволяет концентрироваться на основном, ключевой компетенции, которую нельзя делегировать…
        +1
        Vlad
        23 ноября 2015, 07:05
        Mikhail Sukhov, а ты записи за все дни в одну таблицу вставлял?
        0
  - SerWer
    09 июля 2015, 19:20
    Mikhail Sukhov, Я предлагал вам сделать так, что бы Гидра сразу отправляла данные в облачный сервис. Но вы мне отказали. А сейчас что интерес появился? Будет Гидра в облако записывать котировки сразу или все еще не созрели?
    0
    - Mikhail Sukhov
      09 июля 2015, 20:56
      SerWer, с ходу я ваш логин не вспомнил. Можете представиться и указать, где вы мне это предлагали?
      
      Речь пока не про Гидру (хотя и к ней было было неплохо прикрутить). Речь пока про сервис.
      0