Как вы качаете исторические данные с yahoo.finance ?

Ну собственно сабж. Созрел обработать множество тикеров. Кто как качает? Что за программулины используете? Как автоматизируете ?
Спасибо!

алготрейдинг

dip

1 693

с 17 февраля 2011

31 Комментарий

Тарас Громницкий
08 октября 2018, 19:55
Качаем данные из TWS(Interactive brokers).
Своим софтом.
+2
- dip
  08 октября 2018, 20:15
  Тарас Громницкий, на сколько глубокую историю они отдают ?
  0
  - Тарас Громницкий
    08 октября 2018, 20:17
    dip, всю, которая есть по инструменту.
    Главное соблюдать таймауты между запросами и параметры самих запросов.
    Этим занимается программа.
    Заряжаем тикеры, задаём фрейм, период и идём курить.
    +1
    - dip
      08 октября 2018, 20:21
      Тарас Громницкий, спасибо, интересно. там есть история с дивидендами ?
      
      0
      - Тарас Громницкий
        08 октября 2018, 20:22
        dip, это вопрос.
        С ходу даже не скажу.
        0
        dip
        08 октября 2018, 20:33
        Тарас Громницкий, читаю доки. не подскажете куда посмотреть что бы узнать «таймауты между запросами и параметры самих запросов.»
        0
        dip
        08 октября 2018, 20:42
        dip, вижу ADJUSTED_LAST — видимо это оно
        0
      - Тарас Громницкий
        08 октября 2018, 20:40
        dip, помнится в документации нашёл не всё.
        Поэтому общался с поддержкой.
        Не более 2000 баров за 1 запрос.
        Таймаут не менее 2х секунд между запросами.
        Не более 60 запросов за 10 минут(немного можно превышать).
        Вы собираетесь писать самостоятельно ?
        Могу адаптировать наш модуль и дать на пробу.
        Интерфейс там простой и понятный.
        Вопрос лишь в каком формате скидывать данные в файл.
        +1
        dip
        08 октября 2018, 20:45
        Тарас Громницкий, да, я сам пишу.
        правда быстрый поиск код сэмпла на их сайте не дал результата(пока просмотрел с++/с# на предмет запроса исторических данных).
        Если что-то есть, что не жалко дать коллеге по цеху примерно показывающее как инициализироваться, послать запрос на историю, и получить коллбэк — буду оч благодарен ( dip2000 собака gmail.com )
        и да — спасибо за ответ про лимиты! Очень признателен.
        0
        Тарас Громницкий
        08 октября 2018, 20:55
        dip, примеры реализации API тут
        www.interactivebrokers.com/ru/index.php?f=5866
        Get statred здесь
        www.interactivebrokers.com/ru/index.php?f=11698
        Документация
        interactivebrokers.github.io/tws-api/index.html
        Если понадобится помощь, пишите.
        +1
        dip
        08 октября 2018, 20:54
        Тарас Громницкий, снимается. я просто слепой! :) Нашел код делающий reqHistoricalData()
        0
Vladimir Diaditchev
08 октября 2018, 19:59
Скрипты на языке R это могут. Тут об этом:
stackoverflow.com/questions/48568159/get-data-from-yahoo-finance-to-r
и вот тоже об этом:
blog.revolutionanalytics.com/2015/08/plotting-time-series-in-r.html

+2
Anton Shabunin
08 октября 2018, 20:58
Качество данных на яхе после мая прошлого года ужасное. Любые другие API типа Tiingo или Barchart гораздо лучше.
+1
- dip
  10 октября 2018, 03:35
  Anton Shabunin, а в чем косяки данных с яхи ?
  0
  - Anton Shabunin
    10 октября 2018, 11:41
    dip, они в прошлом году прикрыли неофициальные фиды, в оставшихся там вот такие проблемы
    www.amibroker.com/kb/2017/06/30/wrong-close-price-in-yahoo-data/
    +1
Алексей Макаренко
08 октября 2018, 21:35
Я использовал дату из yahoo через xlq. Удобно линковать с excel. Купил одну лицензию, поставил на три машины. Через IB выкачивал тоже данные в R, но сталкивался с рядом ограничений. Сейчас всю выкачку делаю через платный bloomberg terminal, но и там столкнулся с ограничениями, и даже умудрился за месяц перелимитить количество запросов по бумагам.
+1
- Тарас Громницкий
  08 октября 2018, 21:56
  Алексей Макаренко, с какими ограничениями в IB столкнулись?
  0
  - Алексей Макаренко
    08 октября 2018, 22:05
    Тарас Громницкий, Я столкнулся с ограничениями информационного характера. Ряд запросов по облигациям не смог удовлетворить через их апи.
    0
    - Тарас Громницкий
      08 октября 2018, 22:08
      Алексей Макаренко, т.е. истории по некоторым бумагам у IB нет?
      0
Алексей Макаренко
08 октября 2018, 22:14
Я не смог вытащить купоны по ряду облигаций. Историческую дату по акциям тащило хорошо, но шаг влево — шаг вправо, и уже всё не так радужно. Была проблема с дивами и сплитами по акциям. Вероятно, это моя проблема, и вероятно, именно я не до конца разобрался, но их апи часто просто подвисало во время торгов, и после очередного раза встал вопрос надежности поставщика котировок.
0
- Тарас Громницкий
  08 октября 2018, 22:19
  Алексей Макаренко, вероятнее всего не соблюдали какие-то ограничения API.
  Я облигации не тащил, но акции и фьючи выкачивал нормально.
  Вплоть до минуток.
  Разумеется, при меньших фреймах время загрузки увеличивается.
  0
  - Алексей Макаренко
    08 октября 2018, 22:24
    Тарас Громницкий, Да, это так. Я с их саппортом сидел на телефоне регулярно, чтоб найти причины зависаний, но как считаю, основная причина была в большом количестве запросов. То есть, в теории, мне говорили, что проблем возникать не должно, а по факту было иначе.
    0
    - Тарас Громницкий
      08 октября 2018, 22:25
      Алексей Макаренко, как писал выше есть ограничения по количеству баров за запрос, таймауту между запросами и пр.
      Если их соблюдать, то всё нормально работает.
      0
      - Алексей Макаренко
        08 октября 2018, 22:31
        Тарас Громницкий, сколько тикеров в минуту максимально Вам удавалось вытащить без проблем (если, конечно же, такая задача стояла)? Так же интересно, какие конкретно запросы были, помимо запроса исторической цены?
        0
        Тарас Громницкий
        08 октября 2018, 22:38
        Алексей Макаренко, в единицу времени даже не скажу.
        Грузил в один поток пару сотен тикеров за 5-7 лет.
        По времени занимает(не соврать бы) около 20-30 минут.
        Получал именно бары OHLCvolume.
        Когда основные данные получены к ним добавляются актуальная информация раз в день или несколько дней.
        Тут конечно всё быстрее.
        Вам сколько тикеов, какого фрейма и за какой период необходимо получить ?
        0
        Алексей Макаренко
        08 октября 2018, 22:52
        Тарас Громницкий, Касаемо акций, мне нужны были данные по дивам, по daily close, description'y. Инструментов — от 800 до 2000 тикеров, в зависимости от активности торгового портфеля.
        0
        Тарас Громницкий
        08 октября 2018, 22:55
        Алексей Макаренко, какая глубина истории ?
        Нужны именно дневки или мельче ?
        Про дивы пока ничего сказать не могу.
        Но практически уверен, что со всеми бустами история в IB будет дешевле, чем в Bloomberg.
        0
        Алексей Макаренко
        09 октября 2018, 08:50
        Тарас Громницкий, Это — то, что требовалось ранее. Сейчас всё стало иначе, без блума уже тяжело
        0
        Тарас Громницкий
        09 октября 2018, 09:45
        Алексей Макаренко, если всё стабильно, то хорошо.
        Однако, на досуге прикиньте выгоду и удобство.
        Если увидите плюсы в работе с IB, то обращайтесь.
        Практически весь API IB освоен и обкатан на практике.
        От работы с данными до создания полностью автономных торговых систем.
        0
        Алексей Макаренко
        09 октября 2018, 10:19
        Тарас Громницкий, благодарю Вас.
        0
        Тарас Громницкий
        09 октября 2018, 10:30
        Алексей Макаренко, да пока не за что.
        0