Блог им. 3Qu

Импорт даннных из файла CSV в базу данных SQLite.

    • 13 января 2020, 16:08
    • |
    • 3Qu
  • Еще

Импорт даннных из файла CSV в базу данных SQLite.

В связи с моим топиком "Беспроигрышная стратегия акции-фьючесы" занимался скачиванием истории по акциям и фьючерсам, записью их в базу данных (БД) SQLite, и анализом данных. Я занимаюсь моделированием и обработкой данных в Python, и все данные, будь то история или реал-тайм данные полученные из терминала, удобнее держать не в CSV-файлах или памяти программы, а в БД, и обращаться к ним по ходу пьесы. А данных часто десятки и более мегабайт и далеко не все они нужны единовременно, и держать все это в переменных в памяти не оч разумно.

Безусловно, если вы работаете с одним инструментом и линейной историей вам хватит CSV и массива памяти, но для более сложных задач обработки данных БД незаменима, и все решения оч упрощаются.
Все, что я написал очевидно и ничего нового не содержит, однако, если вы еще не используете БД — настоятельно рекомендую.
Но, к делу. Скачиваем с Финам историю.
Импорт даннных из файла CSV в базу данных SQLite.

Легким движение руки, эта история уже в БД. Смотрим.
Импорт даннных из файла CSV в базу данных SQLite.
Повторяем это для другого инструмента. Импорт в ту-же таблицу БД.
Импорт даннных из файла CSV в базу данных SQLite.

Если кого заинтересовал такой импорт из CSV в БД, то готов поделится программой на Python. Но, на определенных условиях.
Дело в том, что программа интегрирована в проект, и, чтобы предоставить ее вам, я должен затратить некоторое время — вытащить программу из проекта, сделать самостоятельно работающей, протестировать, написать инструкцию пользователя. Ради 2-3 человек я этим заниматься не буду. Если пользователей наберется около десяти человек, то выберу время, и в течение недели-двух подготовлю и выложу в свободный доступ.
И еще просьба, если вы не владеете Python и SQL(язык запросов к БД) — не подписывайтесь на программу. Использовать вы ее не сможете, и она у вас бес толку будет валяться на диске, а я впустую потрачу время. Если реальных пользователей наберется, вы ее всегда сможете скачать.
Вот, и все. Кому реально нужна программа — подписывайтесь в комментариях.

2.6К | ★3
8 комментариев

pandas.read_csv() -> pandas.to_sql()

какая программа, 2 строчки всего

avatar
day0markets, почему нет, если вас это устраивает.
Удачи.
avatar
подписывюсь на прогу, а вы визуализацию делаете в Питоне, какими методами?
avatar
iuiu, модуль matplotlib. Любые графики, в т.ч. самые извращенные.)
avatar
3Qu, скажите, этот модуль выдает только «жесткие» графики или возможен какой-то интерактив (зум, скролл и т.п.)?
avatar
SergP, возможен, но я не пользовался.
Итерактив обычно через Qt делается, с кнопками и пр.
avatar
С интересом посмотрю на метод, который используете Вы,
но не хочу стать причиной трудозатрат :-)
avatar
за с# обращайтесь:
csv-> sql
csv-> bin S#
avatar

Читайте на SMART-LAB:
Фото
#MGKL: Купонные выплаты по облигациям за апрель — почти 130 млн ₽
✨ В апреле ПАО «МГКЛ» в срок и в полном объёме исполнило обязательства перед инвесторами. На купонные выплаты направлено почти 130 млн...
Фото
🚀 Инвестиционный форум ВТБ «РОССИЯ ЗОВЕТ! Нижний Новгород»
Отправляемся в один из крупнейших ИТ‑хабов России, №5 в рейтинге регионов по объёму инвестиций в передовые технологии — Нижний Новгород. 29...
Фото
«Газпром» ― чего ждать от отчета за 2025 год?
До конца апреля «Газпром» планирует представить отчетность по МСФО по итогам 2025 года. По оценкам аналитиков «Финама», по итогам года...
Фото
Какой убыток мог быть у Магнита в 2025 году?
На этой неделе, вероятно, под занавес сезона годовых отчетов, свои результаты должен опубликовать Магнит. Что ждать и насколько все плохо?

теги блога 3Qu

....все тэги



UPDONW
Новый дизайн