3Qu
3Qu личный блог
13 января 2020, 16:08

Импорт даннных из файла CSV в базу данных SQLite.

Импорт даннных из файла CSV в базу данных SQLite.

В связи с моим топиком "Беспроигрышная стратегия акции-фьючесы" занимался скачиванием истории по акциям и фьючерсам, записью их в базу данных (БД) SQLite, и анализом данных. Я занимаюсь моделированием и обработкой данных в Python, и все данные, будь то история или реал-тайм данные полученные из терминала, удобнее держать не в CSV-файлах или памяти программы, а в БД, и обращаться к ним по ходу пьесы. А данных часто десятки и более мегабайт и далеко не все они нужны единовременно, и держать все это в переменных в памяти не оч разумно.

Безусловно, если вы работаете с одним инструментом и линейной историей вам хватит CSV и массива памяти, но для более сложных задач обработки данных БД незаменима, и все решения оч упрощаются.
Все, что я написал очевидно и ничего нового не содержит, однако, если вы еще не используете БД — настоятельно рекомендую.
Но, к делу. Скачиваем с Финам историю.
Импорт даннных из файла CSV в базу данных SQLite.

Легким движение руки, эта история уже в БД. Смотрим.
Импорт даннных из файла CSV в базу данных SQLite.
Повторяем это для другого инструмента. Импорт в ту-же таблицу БД.
Импорт даннных из файла CSV в базу данных SQLite.

Если кого заинтересовал такой импорт из CSV в БД, то готов поделится программой на Python. Но, на определенных условиях.
Дело в том, что программа интегрирована в проект, и, чтобы предоставить ее вам, я должен затратить некоторое время — вытащить программу из проекта, сделать самостоятельно работающей, протестировать, написать инструкцию пользователя. Ради 2-3 человек я этим заниматься не буду. Если пользователей наберется около десяти человек, то выберу время, и в течение недели-двух подготовлю и выложу в свободный доступ.
И еще просьба, если вы не владеете Python и SQL(язык запросов к БД) — не подписывайтесь на программу. Использовать вы ее не сможете, и она у вас бес толку будет валяться на диске, а я впустую потрачу время. Если реальных пользователей наберется, вы ее всегда сможете скачать.
Вот, и все. Кому реально нужна программа — подписывайтесь в комментариях.

8 Комментариев
  • day0markets.ru
    13 января 2020, 16:46

    pandas.read_csv() -> pandas.to_sql()

    какая программа, 2 строчки всего

  • iuiu
    13 января 2020, 22:47
    подписывюсь на прогу, а вы визуализацию делаете в Питоне, какими методами?
      • SergP
        13 июля 2020, 20:53
        3Qu, скажите, этот модуль выдает только «жесткие» графики или возможен какой-то интерактив (зум, скролл и т.п.)?
  • Nikolay D
    19 января 2020, 12:55
    С интересом посмотрю на метод, который используете Вы,
    но не хочу стать причиной трудозатрат :-)
  • Alexandr Mo
    21 января 2020, 14:17
    за с# обращайтесь:
    csv-> sql
    csv-> bin S#

Активные форумы
Что сейчас обсуждают

Старый дизайн
Старый
дизайн