Блог им. 3Qu

Импорт даннных из файла CSV в базу данных SQLite.

    • 13 января 2020, 16:08
    • |
    • 3Qu
  • Еще

Импорт даннных из файла CSV в базу данных SQLite.

В связи с моим топиком "Беспроигрышная стратегия акции-фьючесы" занимался скачиванием истории по акциям и фьючерсам, записью их в базу данных (БД) SQLite, и анализом данных. Я занимаюсь моделированием и обработкой данных в Python, и все данные, будь то история или реал-тайм данные полученные из терминала, удобнее держать не в CSV-файлах или памяти программы, а в БД, и обращаться к ним по ходу пьесы. А данных часто десятки и более мегабайт и далеко не все они нужны единовременно, и держать все это в переменных в памяти не оч разумно.

Безусловно, если вы работаете с одним инструментом и линейной историей вам хватит CSV и массива памяти, но для более сложных задач обработки данных БД незаменима, и все решения оч упрощаются.
Все, что я написал очевидно и ничего нового не содержит, однако, если вы еще не используете БД — настоятельно рекомендую.
Но, к делу. Скачиваем с Финам историю.
Импорт даннных из файла CSV в базу данных SQLite.

Легким движение руки, эта история уже в БД. Смотрим.
Импорт даннных из файла CSV в базу данных SQLite.
Повторяем это для другого инструмента. Импорт в ту-же таблицу БД.
Импорт даннных из файла CSV в базу данных SQLite.

Если кого заинтересовал такой импорт из CSV в БД, то готов поделится программой на Python. Но, на определенных условиях.
Дело в том, что программа интегрирована в проект, и, чтобы предоставить ее вам, я должен затратить некоторое время — вытащить программу из проекта, сделать самостоятельно работающей, протестировать, написать инструкцию пользователя. Ради 2-3 человек я этим заниматься не буду. Если пользователей наберется около десяти человек, то выберу время, и в течение недели-двух подготовлю и выложу в свободный доступ.
И еще просьба, если вы не владеете Python и SQL(язык запросов к БД) — не подписывайтесь на программу. Использовать вы ее не сможете, и она у вас бес толку будет валяться на диске, а я впустую потрачу время. Если реальных пользователей наберется, вы ее всегда сможете скачать.
Вот, и все. Кому реально нужна программа — подписывайтесь в комментариях.

Данная публикация является личным мнением автора. Мнение владельца сайта может не совпадать с мнением автора.
2.7К | ★3
8 комментариев

pandas.read_csv() -> pandas.to_sql()

какая программа, 2 строчки всего

avatar
day0markets, почему нет, если вас это устраивает.
Удачи.
avatar
подписывюсь на прогу, а вы визуализацию делаете в Питоне, какими методами?
avatar
iuiu, модуль matplotlib. Любые графики, в т.ч. самые извращенные.)
avatar
3Qu, скажите, этот модуль выдает только «жесткие» графики или возможен какой-то интерактив (зум, скролл и т.п.)?
avatar
SergP, возможен, но я не пользовался.
Итерактив обычно через Qt делается, с кнопками и пр.
avatar
С интересом посмотрю на метод, который используете Вы,
но не хочу стать причиной трудозатрат :-)
avatar
за с# обращайтесь:
csv-> sql
csv-> bin S#
avatar

Читайте на SMART-LAB:
Фото
Инфляция растет, доллар отступает: евро и фунт получили передышку
Евро и фунт продолжают восстановление в пятницу. EUR/USD поднимается к 1,1260, GBP/USD — к 1,3350. Сильный отчет по инфляции США не удержал доллар...
Фото
Осталась всего неделя. Какой будет ключевая ставка 23 октября?
До конца 2026 года осталось всего два заседания ЦБ по ключевой ставке. Ближайшее состоится через неделю – 23 октября, финальное пройдет...
Фото
💡 Доходность без колебаний: какие инструменты помогут
Цена отдельных активов в портфеле может сильно колебаться. Например, акции или облигации с длительным сроком до погашения. 💬...
Фото
X5 операционные результаты 3 кв. 2026 г. - выручка ускорилась, вопрос рентабельности остается открытым
X5 опубликовала операционные результаты за 3-й квартал 2026 года. Рост выручки компании ускорился до 13%. Выручка составила 1,311 трлн руб. За...

теги блога 3Qu

....все тэги



UPDONW
Новый дизайн