Как вы качаете исторические данные с yahoo.finance ?

Ну собственно сабж. Созрел обработать множество тикеров. Кто как качает? Что за программулины используете? Как автоматизируете ?
Спасибо!

алготрейдинг

dip

1 693

с 17 февраля 2011

31 Комментарий

Тарас Громницкий
08 октября 2018, 19:55
Качаем данные из TWS(Interactive brokers).
Своим софтом.
+2
- dip
  08 октября 2018, 20:15
  Тарас Громницкий, на сколько глубокую историю они отдают ?
  0
  - Тарас Громницкий
    08 октября 2018, 20:17
    dip, всю, которая есть по инструменту.
    Главное соблюдать таймауты между запросами и параметры самих запросов.
    Этим занимается программа.
    Заряжаем тикеры, задаём фрейм, период и идём курить.
    +1
    - dip
      08 октября 2018, 20:21
      Тарас Громницкий, спасибо, интересно. там есть история с дивидендами ?
      
      0
      - Тарас Громницкий
        08 октября 2018, 20:22
        dip, это вопрос.
        С ходу даже не скажу.
        0
        dip
        08 октября 2018, 20:33
        Тарас Громницкий, читаю доки. не подскажете куда посмотреть что бы узнать «таймауты между запросами и параметры самих запросов.»
        0
        dip
        08 октября 2018, 20:42
        dip, вижу ADJUSTED_LAST — видимо это оно
        0
      - Тарас Громницкий
        08 октября 2018, 20:40
        dip, помнится в документации нашёл не всё.
        Поэтому общался с поддержкой.
        Не более 2000 баров за 1 запрос.
        Таймаут не менее 2х секунд между запросами.
        Не более 60 запросов за 10 минут(немного можно превышать).
        Вы собираетесь писать самостоятельно ?
        Могу адаптировать наш модуль и дать на пробу.
        Интерфейс там простой и понятный.
        Вопрос лишь в каком формате скидывать данные в файл.
        +1
        dip
        08 октября 2018, 20:45
        Тарас Громницкий, да, я сам пишу.
        правда быстрый поиск код сэмпла на их сайте не дал результата(пока просмотрел с++/с# на предмет запроса исторических данных).
        Если что-то есть, что не жалко дать коллеге по цеху примерно показывающее как инициализироваться, послать запрос на историю, и получить коллбэк — буду оч благодарен ( dip2000 собака gmail.com )
        и да — спасибо за ответ про лимиты! Очень признателен.
        0
        Тарас Громницкий
        08 октября 2018, 20:55
        dip, примеры реализации API тут
        www.interactivebrokers.com/ru/index.php?f=5866
        Get statred здесь
        www.interactivebrokers.com/ru/index.php?f=11698
        Документация
        interactivebrokers.github.io/tws-api/index.html
        Если понадобится помощь, пишите.
        +2
        dip
        08 октября 2018, 20:54
        Тарас Громницкий, снимается. я просто слепой! :) Нашел код делающий reqHistoricalData()
        0
Vladimir Diaditchev
08 октября 2018, 19:59
Скрипты на языке R это могут. Тут об этом:
stackoverflow.com/questions/48568159/get-data-from-yahoo-finance-to-r
и вот тоже об этом:
blog.revolutionanalytics.com/2015/08/plotting-time-series-in-r.html

+2
Anton Shabunin
08 октября 2018, 20:58
Качество данных на яхе после мая прошлого года ужасное. Любые другие API типа Tiingo или Barchart гораздо лучше.
+1
- dip
  10 октября 2018, 03:35
  Anton Shabunin, а в чем косяки данных с яхи ?
  0
  - Anton Shabunin
    10 октября 2018, 11:41
    dip, они в прошлом году прикрыли неофициальные фиды, в оставшихся там вот такие проблемы
    www.amibroker.com/kb/2017/06/30/wrong-close-price-in-yahoo-data/
    +1
Алексей Макаренко
08 октября 2018, 21:35
Я использовал дату из yahoo через xlq. Удобно линковать с excel. Купил одну лицензию, поставил на три машины. Через IB выкачивал тоже данные в R, но сталкивался с рядом ограничений. Сейчас всю выкачку делаю через платный bloomberg terminal, но и там столкнулся с ограничениями, и даже умудрился за месяц перелимитить количество запросов по бумагам.
+1
- Тарас Громницкий
  08 октября 2018, 21:56
  Алексей Макаренко, с какими ограничениями в IB столкнулись?
  0
  - Алексей Макаренко
    08 октября 2018, 22:05
    Тарас Громницкий, Я столкнулся с ограничениями информационного характера. Ряд запросов по облигациям не смог удовлетворить через их апи.
    0
    - Тарас Громницкий
      08 октября 2018, 22:08
      Алексей Макаренко, т.е. истории по некоторым бумагам у IB нет?
      0
Алексей Макаренко
08 октября 2018, 22:14
Я не смог вытащить купоны по ряду облигаций. Историческую дату по акциям тащило хорошо, но шаг влево — шаг вправо, и уже всё не так радужно. Была проблема с дивами и сплитами по акциям. Вероятно, это моя проблема, и вероятно, именно я не до конца разобрался, но их апи часто просто подвисало во время торгов, и после очередного раза встал вопрос надежности поставщика котировок.
0
- Тарас Громницкий
  08 октября 2018, 22:19
  Алексей Макаренко, вероятнее всего не соблюдали какие-то ограничения API.
  Я облигации не тащил, но акции и фьючи выкачивал нормально.
  Вплоть до минуток.
  Разумеется, при меньших фреймах время загрузки увеличивается.
  0
  - Алексей Макаренко
    08 октября 2018, 22:24
    Тарас Громницкий, Да, это так. Я с их саппортом сидел на телефоне регулярно, чтоб найти причины зависаний, но как считаю, основная причина была в большом количестве запросов. То есть, в теории, мне говорили, что проблем возникать не должно, а по факту было иначе.
    0
    - Тарас Громницкий
      08 октября 2018, 22:25
      Алексей Макаренко, как писал выше есть ограничения по количеству баров за запрос, таймауту между запросами и пр.
      Если их соблюдать, то всё нормально работает.
      0
      - Алексей Макаренко
        08 октября 2018, 22:31
        Тарас Громницкий, сколько тикеров в минуту максимально Вам удавалось вытащить без проблем (если, конечно же, такая задача стояла)? Так же интересно, какие конкретно запросы были, помимо запроса исторической цены?
        0
        Тарас Громницкий
        08 октября 2018, 22:38
        Алексей Макаренко, в единицу времени даже не скажу.
        Грузил в один поток пару сотен тикеров за 5-7 лет.
        По времени занимает(не соврать бы) около 20-30 минут.
        Получал именно бары OHLCvolume.
        Когда основные данные получены к ним добавляются актуальная информация раз в день или несколько дней.
        Тут конечно всё быстрее.
        Вам сколько тикеов, какого фрейма и за какой период необходимо получить ?
        0
        Алексей Макаренко
        08 октября 2018, 22:52
        Тарас Громницкий, Касаемо акций, мне нужны были данные по дивам, по daily close, description'y. Инструментов — от 800 до 2000 тикеров, в зависимости от активности торгового портфеля.
        0
        Тарас Громницкий
        08 октября 2018, 22:55
        Алексей Макаренко, какая глубина истории ?
        Нужны именно дневки или мельче ?
        Про дивы пока ничего сказать не могу.
        Но практически уверен, что со всеми бустами история в IB будет дешевле, чем в Bloomberg.
        0
        Алексей Макаренко
        09 октября 2018, 08:50
        Тарас Громницкий, Это — то, что требовалось ранее. Сейчас всё стало иначе, без блума уже тяжело
        0
        Тарас Громницкий
        09 октября 2018, 09:45
        Алексей Макаренко, если всё стабильно, то хорошо.
        Однако, на досуге прикиньте выгоду и удобство.
        Если увидите плюсы в работе с IB, то обращайтесь.
        Практически весь API IB освоен и обкатан на практике.
        От работы с данными до создания полностью автономных торговых систем.
        0
        Алексей Макаренко
        09 октября 2018, 10:19
        Тарас Громницкий, благодарю Вас.
        0
        Тарас Громницкий
        09 октября 2018, 10:30
        Алексей Макаренко, да пока не за что.
        0

Читайте на SMART-LAB:

Как изменились средние доходности облигаций (по рейтингам) за неделю?

Средние доходности облигаций в зависимости от рейтинга (бледные столбцы — доходности без сглаживания). И как они изменились за неделю. Телеграм: @AndreyHohrin Не является...

Иволга Капитал

07:02

EUR/USD: котировки прощупывают дно в попытке возобновить рост

Европейская валюта закрыла пятницу выше уровня поддержки 1.1807, сформировав при этом свечную модель «бычье поглощение». Сигнал для покупателей подан. При реализации восходящего сценария первой...

Tickmill

07.02.2026

Астра купила долю в компании у своего контролирующего акционера😢

В среду 4 февраля на сайте раскрытия вышли сущфакты от Астры о совершении сделки с заинтересованностью. Ссылки на сущфакты: ➡️ сделка с заинтересованностью ➡️ дочка Астры ООО...