Скрипты для предобработки истории котировок из QUIK

Если вы самостоятельно анализируете историю котировок с нашей MOEX (загружая данные в формате .csv из QUIK или откуда-нибудь их скачивая), то наверняка сталкивались с ситуациями различных ошибок и пропусков в данных, на поиск и обработку которых тратится много времени.

Поэтому решил я написать себе пару простеньких python скриптов, которые бы автоматически проверяли данные на пропуски и ошибки. Дальше, как обычно, все пошло по классике:

— У нас было 2 пакета ..., 75 таблеток ..., 5 упаковок ..., пол-солонки… и целое множество… всех сортов и расцветок, а также текила, ром, ящик пива, пинта… и… Не то что бы это был необходимый запас для поездки. Но если начал собирать ..., становится трудно остановиться.

Что получилось в итоге:

cleaner.py

• преобразует названия колонок к нормальному виду: чистит <> и приводит к нижнему регистру, например <TICKER> -> ticker
• вычищает лишнее (SPBFUT, SPFB) из названия тикера
• создает нормальный столбец datetime с временем в формате ISO
• уделает исходные столбцы date, time (опционально, можно их оставить)
• удаляет данные по утренней/вечерней сессиям (опционально, можно оставить)
• удаляет дубликаты, сортирует данные по времени
• обрезает данные по заданному интервалу дат (до даты Х и/или от даты Y, опционально)
• проверяет внутридневные данные на наличие пропусков данных/ошибок времени баров

merger.py

• объединяет (склеивает) два файла, которые могут содержать данные за одни и те же дни, в этом случае автоматически выбирается инструмент с большим дневным объемом.
• обрезает итоговые по заданному интервалу дат (до даты Х и/или от даты Y, опционально)
• для объединенных данных выводит названия тикеров по дням (опционально)

Все лежит в свободном доступе на GitHub, инструкции по скачиванию/запуску там же.

Возможно, кому то будет полезным :)