Блог им. vlad1024

ЛЧИ, данные

Скрипты на питоне для выкачивания данных из статистики ЛЧИ и пост процессинга:
http://narod.ru/disk/27799043001/lchi_script3.rar.html


Как использовать?
1.  Скачать и установить сборку питона(если не установлен) 
http://sourceforge.net/projects/numpy/files/NumPy/1.4.1/numpy-1.4.1-win32-superpack-python2.6.exe/download

.
http://www.python.org/ftp/python/2.6.2/python-2.6.2.msi

  
2. Набрать в командной строке «python» должна появится консоль питона (если нет, прописать в PATH путь к интерпретатору)
3. Скрипт download.py скачивает данные для заданного года и участника. Например: python download.py 2011 dr-mart 
4.  Скрипт agregate.py агрегирует скаченные данные (раскладывает по инструментам, фиксит вечернюю сессию в хронологический порядок, немного склеивает сделки, и считает балансовую позицию)
Например: python agregate.py 2011 dr-mart
5. В результате должно получится(dr-mart_RIZ1.csv):
code,direction,price,amount,time,date,balance

RIZ1,1,122185.0,83,194936,20111005,83
RIZ1,-1,122220.0,-83,194956,20111005,0
RIZ1,-1,125610.0,-30,155054,20111006,-30
RIZ1,1,125965.0,6,174509,20111006,-24
RIZ1,1,125965.0,14,174510,20111006,-10
RIZ1,1,125965.0,1,174511,20111006,-9
RIZ1,1,126110.0,30,174515,20111006,21
RIZ1,1,126100.0,9,174616,20111006,30
RIZ1,1,125965.0,9,174645,20111006,39
RIZ1,-1,125100.0,-30,175144,20111006,9
RIZ1,1,125760.0,21,175858,20111006,30
RIZ1,1,126490.0,30,181004,20111006,60
RIZ1,-1,129025.0,-60,221820,20111006,0
RIZ1,-1,129780.0,-15,125659,20111007,-15
RIZ1,1,130630.0,15,160719,20111007,0
RIZ1,-1,131515.0,-15,175620,20111007,-15
RIZ1,-1,129180.0,-10,203153,20111007,-25
RIZ1,1,130750.0,25,232610,20111007,0

Недостатки:
Я так и не понял куда РТС дела статистику за 2009 и 2010 год??? На данный момент точно работает скачивание за 2008 и 2011. Возможно какие-то косяки с расчетом баланса в 2008.

UPD: поменял ссылку на сборку питона (эта с numpy без него не запустится agregate.py) или надо его отдельно скачивать и ставить

Агрегированные текущие данные за 2011 для всех участников: 
http://narod.ru/disk/27768338001/lchi2011_data.rar.html
 
★49
36 комментариев
еще одно орудие для охотников за гралем))
avatar
а нахуй это нужно?
avatar
Vov4ikOdessit, нет, на хуй, это не нужно.
avatar
Отлично! Если будут вопросы по использованию — скину в личку, ага?)
avatar
Евгений (evus), ага, пиши если что.
avatar
Евгений (evus), можно для чайников, как использовать? я скачал этот питон, скрипты(закинул даже их в папку Scripts), а дальше что?
avatar
DanilV, ой, это к vlad1024 вопрос.
avatar
DanilV,
1. надо добиться чтобы консоль python запускалась из командной строки. (то есть набираешь python, запускается консоль). Для этого надо путь к питону прописать в PATH (Мой Компьюте->Дополнительно->Переменные, выбираешь переменная Path, Изменить, и в конец дописываешь ";C:\Python26")
2. потом переходишь в каталог со скриптом и запускаешь(из командной строки фар и т.д.):
python download.py 2011 dr-mart
avatar
vlad1024, спасибо за скрипты и это разъяснение!
avatar
vlad1024, единственное, что скрипт agregate.py почему-то не работает — окошко с командной строкой Питона на мгновение появляется и сразу закрывается, никакого файла с агрегированными сделками не создается:(. А скачивание с помощью download.py отлично функционирует!
avatar
Schurik, я там в посте обновил
avatar
vlad1024, теперь заработало, спасибо большое! Но есть один небольшой баг. Если у участника конкурса на начало конкурса была какая-то позиция, то баланс в файле с агрегированными сделками рассчитывается неверно (неявно предполагается, что все участники конкурса начинают его в кэше).
avatar
Schurik, она считалась но не правильно, пофиксил.
avatar
vlad1024, не хочу показаться назойливым, но теперь скрипт agregate.py похоже не обрабатывает последнюю сделку, соответственно, не сходится баланс в последней строчке с текущим. Кроме того, меня немножко удивило, что, например, у dr-mart в последней строке csv файла, полученного с помощью последней версии agregate.py, сделки агрегированы в одну цену 130 750, хотя, на самом деле, они проходили по разным ценам…
avatar
Schurik, да, хотел бы добавить, что последняя сделка и в предыдущей версии gregate.py тоже не учитывалась, а агрегация сделок Марта в одну с ценой 130 750, конечно, принципиального значения не имеет, они проходили все на одной секунде, хоть и по разным ценам.
avatar
Schurik, да наоборот спасибо за багрепорты ) пофиксил. по агрегации «это не баг это фича», если торгует позиционник то все сделки прошедшие на одной секунде агрегируется (у марта там входы по рынку), если скальпер/hft робот то только те что прошли последовательно по одной цене.
avatar
vlad1024, ага, понял, это вполне разумно!
avatar
vlad1024, Спасибо, все работает.

ПЛЮСАНИТЕ кто-нибудь В ПРОФИЛЬ vlad1024, пожалуйста, а то я не имею такой возможности)
avatar
Кто расколет робота ПРАДА — тому печенька…
avatar
demonictrade, он расколот, там ничего интересного нет, только скорость и как следствие серьезные расходы на инфраструктуру.
avatar
Отлично! Спасибо!
плюс за пост и в профиль
avatar
Nonick, да, то же самое. Теперь можно красивые посты писать о том кто как торгует)
avatar
О, спасибо, как раз недавно пытался сваять такое на питоне.
avatar
Спасибо, большое. Подскажите, кто-нить пользовался для анализа сделок Tradison Analytics или Trade Analyzer, а может какой-нибудь другой прогой?
Дмитрий_KZ, можно взять Wealth Lab и просто прокрутить сделки из файлика в стратегии или на графике нарисовать.
avatar
vlad1024, Подскажите, при установке numpy требует Python 2.6? Надо скачать Python?
Дмитрий_KZ, да по второй ссылке в п.1
avatar
vlad1024, инструкции пошаговые можешь как это сделать? WL не пользовался, но ради такого дела поставлю…
avatar
xTestero, пошаговые если только как ни буть потом, в течении недели. в двух словах:
1. ставишь WL версии > 5 там стратегии на c#
2. читаешь из стратегии файл со сделками
3. совершаешь из стратегии сделки на тех же свечках и тем же объемов что в файл
4. профит
вообще можно из чего угодно так сделать, лишь бы был подходящий функционал
avatar
автору респект! только не понятно зачем python 2.6 и numpy 1.4.1 ставить. вот какая связка у меня заработала
www.activestate.com/activepython/downloads/thank-you?dl=http://downloads.activestate.com/ActivePython/releases/2.7.2.5/ActivePython-2.7.2.5-win32-x86.msi
sourceforge.net/projects/numpy/files/NumPy/1.6.1/numpy-1.6.1-win32-superpack-python2.7.exe/download
avatar
У меня получилось скачать детальные данные, автору огромнейшее спасибо и много плюсов отныне и вовеки веков)
avatar
vlad1024 спасибо большое, вопрос по Wealth Lab как прокрутить сделки и на графике нарисовать?
avatar
lagunasl, см. выше ответ xTestero
avatar
У меня тоже получилось. Спасибо большое Вам за труд!!!
привет! А можешь скрипт свой обновить, я поменял адрес загрузки внутри start_url = ""«investor.micex.rts.ru/ru/statistics/»"" + str(year) + ("""/default.aspx?act=stat&nick=%s""" % nick)

но он кажется входит в бесконечный цикл на
soup = BeautifulSoup(open_url(start_url))
avatar
вообщем я разобрался, нужно было подравить 2011 год в коде и сделать замену пробелов в нике на плюсик
avatar

теги блога vlad1024

....все тэги



UPDONW
Новый дизайн