25 марта 2019, 19:33
Алготрейдерам: Скажите, кто занимается сбором тиковых данных или 1-5сек баров, стоит ли заморачиваться по поводу оптимизации данных сохраняемых в базу данных? если кто делает поделитесь как :)
Алготрейдерам: Скажите, кто занимается сбором тиковых данных или 1-5сек баров, стоит ли заморачиваться по поводу оптимизации данных сохраняемых в базу данных? если кто делает поделитесь как :)
21:33
Дмитрий А., что вы так нервничаете в самом деле? хочется на войну? серьезно? Нет преграды для героя. Сейчас там зарплаты неплохие и кредит можно взять и не отдавать. Или вы только другим советуете?...
Максим Лебедев, Отчасти согласен с Вами, отчасти нет. Не согласен касательно того, что 21 ставка в цене, по мне так 21 ставка в цене только на близком и среднем конце, дальний конец даже 21 ставку ...
botlib, уже понятно что! Продолжение СВО с непонятным финалом, который хз ещё когда будет и ушатанную в хлам экономику с оторванной от реальности денежной массой
Артур Ибрагимов, у кого минимальный долг?)
У компании чистый долг 43,8 млрд, коэф. ЧистДолг/Ebitda 2,3
Кот Лео, по сути если купил бакс и другую зарубежную хню — это значит ты проспонсировал в том числе и говнато, убивающее наших земляков. Тут даже к бабке не ходи…
21:29
Lora, Да там уровень 3.234 и 3.245, где трамбовали 3 часа
Или на 1-2% поднимут максимум 23% последний раз, рынок уже отыграл эту ставку и даже больше, с февраля будут понижать, 0,26р. Был минимум, прости бро)
Максим Пелихов,
21:22
Тут все ломали голову по слухам про вклады. По этому поводу мое мнение не изменилось, а только окрепло. Не надо ничего ни у кого «замораживать» и отбирать. Если на текущий момент у вас средняя ставка ...
21:21
Народная примета Если индекс растет на вечерке, особенно в первый час вечерки, то дальше вниз.
Рост после повышенной инфляция, напоминает мне шпильку вверх про фьючерсу на индекс Мосбиржи до 2830...
Дилема как бы такая сложность упаковки распоковки против стоимости гигабайтов :).
В целом к тикам я сейчас еще и бид/аск сохраняю… вдруг когда понадобится.
Denis, да надо просто погуглить «алгоритмы упаковки данных».
Кстати такую задачу решил Николай Морошкин со своим приводом qscalp. И выложил формат данных и упаковки на своем сайте, вдруг будет полезным
Придумывать ничего не нужно:
1. Для ленивых:
Пишешь бары в БД сразу DtOHLCV
База данных 5-секундных баров по RI, Si, SR c 2015 года по наст. время занимает всего лишь ~ 5 гигов. Очень даже приемлимо.
2. Не для ленивых
Делаешь примерно так, описывать неохота
2.1:
var bytesBar = BinarySerialization.SerializeToByteArray(bars);
var bsBarsZip = Compressor.Compress(bytesBar);
Далее пишешь в БД образ по дням.
Здесь делаешь BinarySerialization
сжимаешь,
пишешь в БД по дням.
2.2.
var barsStr = bars.Select(b => b.ToStr()).ToList();
var bytesBarStr = BinarySerialization.SerializeToByteArray(barsStr);
var bsBarsStrZip = Compressor.Compress(bytesBarStr);
Далее пишешь в БД образ по дням.
Здесь в начале Бары сериализуешь в List<string>,
потом делаешь BinarySerialization
и далее сжимаешь.
Этот вариант работает быстрее — проверено юнит-тестами
В БД информация хранится по дням и тикерам.
Желаю успехов.
Там string-ы быстрее сериализуются, чем класс bar-ы.
У меня так получилось.
t1 = time для варианта 2.1
t2 = time для варианта 2.2
t3 = это при упаковке каждой строки, не описал 2.3
BytesBar, BytesBarStr, BytesBarStrPacked — это размер образов в байтах для вариантов 2.1, 2.2, 2.3 для одного дня по RI,
если мне память совсем еще не отшибло по-моему так.
Получается самый компактный — это 2.2
public class BarDto: IBarBase
{
public BarDto();
public DateTime DT { get; set; }
public double Open { get; set; }
public double High { get; set; }
public double Low { get; set; }
public double Close { get; set; }
public double Volume { get; set; }
public override string ToString();
}
Denis, нет я не знаю.
Я использую технологии Microsoft: MS SQL , С# — сейчас
А компрессор можно взять для С# в using System.IO.Compression;
Мне уже поздно распыляться, я уже забываю что я вчера делал.
Но непонятно, что поучительного в тиковой истории котировок за 4 года? Неужто кто-то научился выуживать из этих данных некие внутренние различия?
про память, я выше писал, это как раз таки и есть дилема, террабайты нынче дешев особенно если хдд… но и ссд не так дорог.
2. В конце дня эти бары читаются из файла дневого либо из БД за один последний день (у меня из БД) и далее выполняются варианты 2.1 либо 2.2 — пишутся образы в БД.
3. На полноту не проверяю
Не очень понятен вопрос.
Сколько тикеров вы собираете ?
За какой период ?
В каком фрейме ?
Как дальше будут использоваться эти данные ?
1. на данный момент всего 10
2. за весь период пока мой домашний сервер подключен к брокеру. Я не выкачиваю историю… собираю реалтайм, хотят тут разницы нет.
3. что значит фрейм? тики+бид/аск и еще 5сек бары
4. в осоновном для анализа и для стадии инициалицации алгоритма, т.е. первого его старта. все банально.
Denis, как я понимаю для инициализации робота нужно не очень много данных.
Так что этот хвостик можно держать не запакованным.
Для анализа скорость выборки не имеет значения.
Соответственно можете паковать в любом формате.
Если оно занимает существенный объём диска.
И если вам не нужна какая-то выборка по условиям.
Если места хватает, то можно использовать обычную либо nosql базу и удобно хранить, выбирать, сортировать.
Про форматы хранения написали выше.
Это лучше при тестах — можно не выгружать сразу все в память. и будет быстрее чем запрос в бд тиков за один день. все зависит от того, что вы тестируете и как. у меня не получалось получать быстрее тики из бд, чем из бинарников. если уж хочется бд, то посмотрите на influx