Как вы качаете исторические данные с yahoo.finance ?

08 октября 2018, 19:55
Ответить

Тарас Громницкий, на сколько глубокую историю они отдают ?

08 октября 2018, 20:15
Ответить

dip, всю, которая есть по инструменту.

Главное соблюдать таймауты между запросами и параметры самих запросов.

Этим занимается программа.

Заряжаем тикеры, задаём фрейм, период и идём курить.

08 октября 2018, 20:17
Ответить

Тарас Громницкий, спасибо, интересно. там есть история с дивидендами ?

08 октября 2018, 20:21
Ответить

dip, это вопрос.

С ходу даже не скажу.

08 октября 2018, 20:22
Ответить

Тарас Громницкий, читаю доки. не подскажете куда посмотреть что бы узнать «таймауты между запросами и параметры самих запросов.»

08 октября 2018, 20:33
Ответить

dip, вижу ADJUSTED_LAST — видимо это оно

08 октября 2018, 20:42
Ответить

dip, помнится в документации нашёл не всё.

Поэтому общался с поддержкой.

Не более 2000 баров за 1 запрос.

Таймаут не менее 2х секунд между запросами.

Не более 60 запросов за 10 минут(немного можно превышать).

Вы собираетесь писать самостоятельно ?

Могу адаптировать наш модуль и дать на пробу.

Интерфейс там простой и понятный.

Вопрос лишь в каком формате скидывать данные в файл.

08 октября 2018, 20:40
Ответить

Тарас Громницкий, да, я сам пишу.
правда быстрый поиск код сэмпла на их сайте не дал результата(пока просмотрел с++/с# на предмет запроса исторических данных).
Если что-то есть, что не жалко дать коллеге по цеху примерно показывающее как инициализироваться, послать запрос на историю, и получить коллбэк — буду оч благодарен ( dip2000 собака gmail.com )
и да — спасибо за ответ про лимиты! Очень признателен.

www.interactivebrokers.com/ru/index.php?f=5866

08 октября 2018, 20:45
Ответить

dip, примеры реализации API тут

Get statred здесь

www.interactivebrokers.com/ru/index.php?f=11698

Документация

interactivebrokers.github.io/tws-api/index.html

Если понадобится помощь, пишите.

08 октября 2018, 20:55
Ответить

Тарас Громницкий, снимается. я просто слепой! :) Нашел код делающий reqHistoricalData()

08 октября 2018, 20:54
Ответить

Скрипты на языке R это могут. Тут об этом:
stackoverflow.com/questions/48568159/get-data-from-yahoo-finance-to-r
и вот тоже об этом:
blog.revolutionanalytics.com/2015/08/plotting-time-series-in-r.html

Vladimir Diaditchev

08 октября 2018, 19:59
Ответить

Качество данных на яхе после мая прошлого года ужасное. Любые другие API типа Tiingo или Barchart гораздо лучше.

Anton Shabunin

08 октября 2018, 20:58
Ответить

Anton Shabunin, а в чем косяки данных с яхи ?

10 октября 2018, 03:35
Ответить

dip, они в прошлом году прикрыли неофициальные фиды, в оставшихся там вот такие проблемы
www.amibroker.com/kb/2017/06/30/wrong-close-price-in-yahoo-data/

Anton Shabunin

10 октября 2018, 11:41
Ответить

Я использовал дату из yahoo через xlq. Удобно линковать с excel. Купил одну лицензию, поставил на три машины. Через IB выкачивал тоже данные в R, но сталкивался с рядом ограничений. Сейчас всю выкачку делаю через платный bloomberg terminal, но и там столкнулся с ограничениями, и даже умудрился за месяц перелимитить количество запросов по бумагам.

08 октября 2018, 21:35
Ответить

Алексей Макаренко, с какими ограничениями в IB столкнулись?

08 октября 2018, 21:56
Ответить

Тарас Громницкий, Я столкнулся с ограничениями информационного характера. Ряд запросов по облигациям не смог удовлетворить через их апи.

08 октября 2018, 22:05
Ответить

Алексей Макаренко, т.е. истории по некоторым бумагам у IB нет?

08 октября 2018, 22:08
Ответить

Я не смог вытащить купоны по ряду облигаций. Историческую дату по акциям тащило хорошо, но шаг влево — шаг вправо, и уже всё не так радужно. Была проблема с дивами и сплитами по акциям. Вероятно, это моя проблема, и вероятно, именно я не до конца разобрался, но их апи часто просто подвисало во время торгов, и после очередного раза встал вопрос надежности поставщика котировок.

08 октября 2018, 22:14
Ответить

Алексей Макаренко, вероятнее всего не соблюдали какие-то ограничения API.

Я облигации не тащил, но акции и фьючи выкачивал нормально.

Вплоть до минуток.

Разумеется, при меньших фреймах время загрузки увеличивается.

08 октября 2018, 22:19
Ответить

Тарас Громницкий, Да, это так. Я с их саппортом сидел на телефоне регулярно, чтоб найти причины зависаний, но как считаю, основная причина была в большом количестве запросов. То есть, в теории, мне говорили, что проблем возникать не должно, а по факту было иначе.

08 октября 2018, 22:24
Ответить

Алексей Макаренко, как писал выше есть ограничения по количеству баров за запрос, таймауту между запросами и пр.

Если их соблюдать, то всё нормально работает.

08 октября 2018, 22:25
Ответить

Тарас Громницкий, сколько тикеров в минуту максимально Вам удавалось вытащить без проблем (если, конечно же, такая задача стояла)? Так же интересно, какие конкретно запросы были, помимо запроса исторической цены?

08 октября 2018, 22:31
Ответить

Алексей Макаренко, в единицу времени даже не скажу.

Грузил в один поток пару сотен тикеров за 5-7 лет.

По времени занимает(не соврать бы) около 20-30 минут.

Получал именно бары OHLCvolume.

Когда основные данные получены к ним добавляются актуальная информация раз в день или несколько дней.

Тут конечно всё быстрее.

Вам сколько тикеов, какого фрейма и за какой период необходимо получить ?

08 октября 2018, 22:38
Ответить

Тарас Громницкий, Касаемо акций, мне нужны были данные по дивам, по daily close, description'y. Инструментов — от 800 до 2000 тикеров, в зависимости от активности торгового портфеля.