Как вы качаете исторические данные с yahoo.finance ?

Ну собственно сабж. Созрел обработать множество тикеров. Кто как качает? Что за программулины используете? Как автоматизируете ?
Спасибо!

алготрейдинг

dip

1 693

с 17 февраля 2011

31 Комментарий

Тарас Громницкий
08 октября 2018, 19:55
Качаем данные из TWS(Interactive brokers).
Своим софтом.
+2
- dip
  08 октября 2018, 20:15
  Тарас Громницкий, на сколько глубокую историю они отдают ?
  0
  - Тарас Громницкий
    08 октября 2018, 20:17
    dip, всю, которая есть по инструменту.
    Главное соблюдать таймауты между запросами и параметры самих запросов.
    Этим занимается программа.
    Заряжаем тикеры, задаём фрейм, период и идём курить.
    +1
    - dip
      08 октября 2018, 20:21
      Тарас Громницкий, спасибо, интересно. там есть история с дивидендами ?
      
      0
      - Тарас Громницкий
        08 октября 2018, 20:22
        dip, это вопрос.
        С ходу даже не скажу.
        0
        dip
        08 октября 2018, 20:33
        Тарас Громницкий, читаю доки. не подскажете куда посмотреть что бы узнать «таймауты между запросами и параметры самих запросов.»
        0
        dip
        08 октября 2018, 20:42
        dip, вижу ADJUSTED_LAST — видимо это оно
        0
      - Тарас Громницкий
        08 октября 2018, 20:40
        dip, помнится в документации нашёл не всё.
        Поэтому общался с поддержкой.
        Не более 2000 баров за 1 запрос.
        Таймаут не менее 2х секунд между запросами.
        Не более 60 запросов за 10 минут(немного можно превышать).
        Вы собираетесь писать самостоятельно ?
        Могу адаптировать наш модуль и дать на пробу.
        Интерфейс там простой и понятный.
        Вопрос лишь в каком формате скидывать данные в файл.
        +1
        dip
        08 октября 2018, 20:45
        Тарас Громницкий, да, я сам пишу.
        правда быстрый поиск код сэмпла на их сайте не дал результата(пока просмотрел с++/с# на предмет запроса исторических данных).
        Если что-то есть, что не жалко дать коллеге по цеху примерно показывающее как инициализироваться, послать запрос на историю, и получить коллбэк — буду оч благодарен ( dip2000 собака gmail.com )
        и да — спасибо за ответ про лимиты! Очень признателен.
        0
        Тарас Громницкий
        08 октября 2018, 20:55
        dip, примеры реализации API тут
        www.interactivebrokers.com/ru/index.php?f=5866
        Get statred здесь
        www.interactivebrokers.com/ru/index.php?f=11698
        Документация
        interactivebrokers.github.io/tws-api/index.html
        Если понадобится помощь, пишите.
        +2
        dip
        08 октября 2018, 20:54
        Тарас Громницкий, снимается. я просто слепой! :) Нашел код делающий reqHistoricalData()
        0
Vladimir Diaditchev
08 октября 2018, 19:59
Скрипты на языке R это могут. Тут об этом:
stackoverflow.com/questions/48568159/get-data-from-yahoo-finance-to-r
и вот тоже об этом:
blog.revolutionanalytics.com/2015/08/plotting-time-series-in-r.html

+2
Anton Shabunin
08 октября 2018, 20:58
Качество данных на яхе после мая прошлого года ужасное. Любые другие API типа Tiingo или Barchart гораздо лучше.
+1
- dip
  10 октября 2018, 03:35
  Anton Shabunin, а в чем косяки данных с яхи ?
  0
  - Anton Shabunin
    10 октября 2018, 11:41
    dip, они в прошлом году прикрыли неофициальные фиды, в оставшихся там вот такие проблемы
    www.amibroker.com/kb/2017/06/30/wrong-close-price-in-yahoo-data/
    +1
Алексей Макаренко
08 октября 2018, 21:35
Я использовал дату из yahoo через xlq. Удобно линковать с excel. Купил одну лицензию, поставил на три машины. Через IB выкачивал тоже данные в R, но сталкивался с рядом ограничений. Сейчас всю выкачку делаю через платный bloomberg terminal, но и там столкнулся с ограничениями, и даже умудрился за месяц перелимитить количество запросов по бумагам.
+1
- Тарас Громницкий
  08 октября 2018, 21:56
  Алексей Макаренко, с какими ограничениями в IB столкнулись?
  0
  - Алексей Макаренко
    08 октября 2018, 22:05
    Тарас Громницкий, Я столкнулся с ограничениями информационного характера. Ряд запросов по облигациям не смог удовлетворить через их апи.
    0
    - Тарас Громницкий
      08 октября 2018, 22:08
      Алексей Макаренко, т.е. истории по некоторым бумагам у IB нет?
      0
Алексей Макаренко
08 октября 2018, 22:14
Я не смог вытащить купоны по ряду облигаций. Историческую дату по акциям тащило хорошо, но шаг влево — шаг вправо, и уже всё не так радужно. Была проблема с дивами и сплитами по акциям. Вероятно, это моя проблема, и вероятно, именно я не до конца разобрался, но их апи часто просто подвисало во время торгов, и после очередного раза встал вопрос надежности поставщика котировок.
0
- Тарас Громницкий
  08 октября 2018, 22:19
  Алексей Макаренко, вероятнее всего не соблюдали какие-то ограничения API.
  Я облигации не тащил, но акции и фьючи выкачивал нормально.
  Вплоть до минуток.
  Разумеется, при меньших фреймах время загрузки увеличивается.
  0
  - Алексей Макаренко
    08 октября 2018, 22:24
    Тарас Громницкий, Да, это так. Я с их саппортом сидел на телефоне регулярно, чтоб найти причины зависаний, но как считаю, основная причина была в большом количестве запросов. То есть, в теории, мне говорили, что проблем возникать не должно, а по факту было иначе.
    0
    - Тарас Громницкий
      08 октября 2018, 22:25
      Алексей Макаренко, как писал выше есть ограничения по количеству баров за запрос, таймауту между запросами и пр.
      Если их соблюдать, то всё нормально работает.
      0
      - Алексей Макаренко
        08 октября 2018, 22:31
        Тарас Громницкий, сколько тикеров в минуту максимально Вам удавалось вытащить без проблем (если, конечно же, такая задача стояла)? Так же интересно, какие конкретно запросы были, помимо запроса исторической цены?
        0
        Тарас Громницкий
        08 октября 2018, 22:38
        Алексей Макаренко, в единицу времени даже не скажу.
        Грузил в один поток пару сотен тикеров за 5-7 лет.
        По времени занимает(не соврать бы) около 20-30 минут.
        Получал именно бары OHLCvolume.
        Когда основные данные получены к ним добавляются актуальная информация раз в день или несколько дней.
        Тут конечно всё быстрее.
        Вам сколько тикеов, какого фрейма и за какой период необходимо получить ?
        0
        Алексей Макаренко
        08 октября 2018, 22:52
        Тарас Громницкий, Касаемо акций, мне нужны были данные по дивам, по daily close, description'y. Инструментов — от 800 до 2000 тикеров, в зависимости от активности торгового портфеля.
        0
        Тарас Громницкий
        08 октября 2018, 22:55
        Алексей Макаренко, какая глубина истории ?
        Нужны именно дневки или мельче ?
        Про дивы пока ничего сказать не могу.
        Но практически уверен, что со всеми бустами история в IB будет дешевле, чем в Bloomberg.
        0
        Алексей Макаренко
        09 октября 2018, 08:50
        Тарас Громницкий, Это — то, что требовалось ранее. Сейчас всё стало иначе, без блума уже тяжело
        0
        Тарас Громницкий
        09 октября 2018, 09:45
        Алексей Макаренко, если всё стабильно, то хорошо.
        Однако, на досуге прикиньте выгоду и удобство.
        Если увидите плюсы в работе с IB, то обращайтесь.
        Практически весь API IB освоен и обкатан на практике.
        От работы с данными до создания полностью автономных торговых систем.
        0
        Алексей Макаренко
        09 октября 2018, 10:19
        Тарас Громницкий, благодарю Вас.
        0
        Тарас Громницкий
        09 октября 2018, 10:30
        Алексей Макаренко, да пока не за что.
        0

Читайте на SMART-LAB:

💡 Кто выиграет при росте юаня

🔹 Пара CNY/RUB от 10,65 — своей нижней точки, показанной в начале декабря — поднялась до 11,90. Таким образом, от минимума юань вырос уже на 12%. Потенциал роста ещё остаётся. 🔹 Финансовые...

ВТБ Мои Инвестиции

18:28

EUR/USD: временный отскок евро обещает новые распродажи

Евро продолжил дешеветь на фоне геополитического шока, опустившись до новых локальных минимумов, но сумел отыграть часть потерь к сегодняшнему дню. Основная фаза снижения была напрямую связана...

Tickmill

16:47

Акции газовой отрасли РФ растут на фоне дефицита СПГ

Сегодня на фоне слабого роста российского фондового рынка динамику намного лучше рынка демонстрируют акции газовой отрасли. Так, акции Газпрома растут на 2,25% до 134,9 руб., акции НОВАТЭКа...

Freedom Finance Global

12:43

X5 МСФО 2025 г. - капзатрат меньше, дивиденд больше?

Компания X5 опубликовала финансовые результаты за 2025 год. Выручка прибавила +18,8% до 4,6 трлн руб., в 4-м квартале рост на 14,9% до 1,24 трлн руб. Валовая прибыль за год выросла на +17,9%...