Марат
Марат личный блог
12 октября 2020, 11:39

Автоматический скачиватель с некого сайта который мы не будем называть

Есть такой известный сайт, с которого наверно все начинающие и не очень трейдеры скачивали котировки для анализа. Сама российская биржа предоставляет возможность скачивать прямо оттуда, но там ограничения, только тики, минутки, 10 минутки, часовики и дальше. А что если мне нужны 5 минутки? А еще есть проблема скачать внутридневные котировки до ноября 2011 года. Те реализации которые я нашел по крайней мере работают только после. Я даже написал одному разработчику, мол так и так, на что получил ответ что рынок изменился в последние годы и в общем зачем тебе вся эта древность, качай с 2012 года и будь счастлив. Только вот мои нейросетки и прочие инструменты показывают, что лучший результат достигается если прогнозировать современность, в том числе на основе данных и за 2006 и 2007 и даже о боже 2008 и 2009 годы. И вот сайт, который мы не называем, такую возможность представляет. Другое дело, что замучаешься скачивать данные, ведь надо провтыкивать кучу кнопок и набивать кучу значений. Допустим нужны минутки по 30 фишкам, за 2006-20020 годы. Минутки там скачиваются за раз максимум за год. Дата набиваетя в 2 окошках. То есть это надо 30*14*2 установить дату и 30 раз набить фишку. Морока. Я так не смог смотивироваться чтобы сделать это  
Как парсер уровня джуниор (буквально 3 дня), написал выкачивалку на основе пайтоновского SeleniumBrowser. Прелесть для меня в том что можно наблюдать как железный болван сам провтыкивает данные и жмет за вас нужные кнопки. Как грится в этой жизни можно бесконечно смотреть на три вещи. И вот я смотрю как железный болван работает за меня.  Да, все очень наивно и по колхозному, никаких requests, scrapy. Но цель достигнута, скачал я свои минутки по 30 фишкам, за указанные период, что ручками сделать я так и не дошел за многие лета. 
Вот код, если вдруг кто надумает. Да, чтобы он скачивал в нужном виде, надо сначала на неназываемом сайте настроить таймфрей, вид и параметры которые вы хотите получить.

 
12 Комментариев
  • Replikant_mih
    12 октября 2020, 12:09

    Жеееесть, век живи — век учись, только сейчас осознал и проверил, что финам не отдает глубокую историю только если суммарно в файле много данных, а если нарубить на участки по времени, то отдает… Мои модели будут очень рады))).

     

    Финам там защиту от автоматики ставил, не знаю, правда, щас есть или нет. Просто если её нет, то селениум, конечно, это легкий оверкилл)

  • av3
    12 октября 2020, 12:11
    Молодцом!
  • Врач-бондиатОр
    12 октября 2020, 12:38
    у меня не получается ставить дополнительные модулЯ в питон — где-то в компе блокировка (8 винда)…

Активные форумы
Что сейчас обсуждают

Старый дизайн
Старый
дизайн