Блог им. 3Qu

Импорт даннных из файла CSV в базу данных SQLite.

    • 13 января 2020, 16:08
    • |
    • 3Qu
  • Еще

Импорт даннных из файла CSV в базу данных SQLite.

В связи с моим топиком "Беспроигрышная стратегия акции-фьючесы" занимался скачиванием истории по акциям и фьючерсам, записью их в базу данных (БД) SQLite, и анализом данных. Я занимаюсь моделированием и обработкой данных в Python, и все данные, будь то история или реал-тайм данные полученные из терминала, удобнее держать не в CSV-файлах или памяти программы, а в БД, и обращаться к ним по ходу пьесы. А данных часто десятки и более мегабайт и далеко не все они нужны единовременно, и держать все это в переменных в памяти не оч разумно.

Безусловно, если вы работаете с одним инструментом и линейной историей вам хватит CSV и массива памяти, но для более сложных задач обработки данных БД незаменима, и все решения оч упрощаются.
Все, что я написал очевидно и ничего нового не содержит, однако, если вы еще не используете БД — настоятельно рекомендую.
Но, к делу. Скачиваем с Финам историю.
Импорт даннных из файла CSV в базу данных SQLite.

Легким движение руки, эта история уже в БД. Смотрим.
Импорт даннных из файла CSV в базу данных SQLite.
Повторяем это для другого инструмента. Импорт в ту-же таблицу БД.
Импорт даннных из файла CSV в базу данных SQLite.

Если кого заинтересовал такой импорт из CSV в БД, то готов поделится программой на Python. Но, на определенных условиях.
Дело в том, что программа интегрирована в проект, и, чтобы предоставить ее вам, я должен затратить некоторое время — вытащить программу из проекта, сделать самостоятельно работающей, протестировать, написать инструкцию пользователя. Ради 2-3 человек я этим заниматься не буду. Если пользователей наберется около десяти человек, то выберу время, и в течение недели-двух подготовлю и выложу в свободный доступ.
И еще просьба, если вы не владеете Python и SQL(язык запросов к БД) — не подписывайтесь на программу. Использовать вы ее не сможете, и она у вас бес толку будет валяться на диске, а я впустую потрачу время. Если реальных пользователей наберется, вы ее всегда сможете скачать.
Вот, и все. Кому реально нужна программа — подписывайтесь в комментариях.

Данная публикация является личным мнением автора. Мнение владельца сайта может не совпадать с мнением автора.
2.7К | ★3
8 комментариев

pandas.read_csv() -> pandas.to_sql()

какая программа, 2 строчки всего

avatar
day0markets, почему нет, если вас это устраивает.
Удачи.
avatar
подписывюсь на прогу, а вы визуализацию делаете в Питоне, какими методами?
avatar
iuiu, модуль matplotlib. Любые графики, в т.ч. самые извращенные.)
avatar
3Qu, скажите, этот модуль выдает только «жесткие» графики или возможен какой-то интерактив (зум, скролл и т.п.)?
avatar
SergP, возможен, но я не пользовался.
Итерактив обычно через Qt делается, с кнопками и пр.
avatar
С интересом посмотрю на метод, который используете Вы,
но не хочу стать причиной трудозатрат :-)
avatar
за с# обращайтесь:
csv-> sql
csv-> bin S#
avatar

Читайте на SMART-LAB:
Фото
NZD/USD: Операция «Коррекция». Покупателей заманивают в капкан?
«Киви» всю прошлую неделю пыталась расправить крылья в коррекции после затяжного падения. На открытии рынка возможен локальный рост к зоне...
Фото
«Финам» запустил уникальный MCP-сервер для подключения брокерских счетов к AI-ассистентам
«Финам» объявил о запуске MCP-сервера  для торговой платформы FinamTrade . Новый сервис позволяет клиентам получать оперативные данные по...
Фото
Акционеры ПАО «АПРИ» приняли решения по вопросам годового Общего собрания
Акционеры ПАО «АПРИ» приняли решения по вопросам годового Общего собрания Сегодня состоялось годовое заседание Общего собрания...

теги блога 3Qu

....все тэги



UPDONW
Новый дизайн