Блог им. 3Qu

Импорт даннных из файла CSV в базу данных SQLite.

    • 13 января 2020, 16:08
    • |
    • 3Qu
  • Еще

Импорт даннных из файла CSV в базу данных SQLite.

В связи с моим топиком "Беспроигрышная стратегия акции-фьючесы" занимался скачиванием истории по акциям и фьючерсам, записью их в базу данных (БД) SQLite, и анализом данных. Я занимаюсь моделированием и обработкой данных в Python, и все данные, будь то история или реал-тайм данные полученные из терминала, удобнее держать не в CSV-файлах или памяти программы, а в БД, и обращаться к ним по ходу пьесы. А данных часто десятки и более мегабайт и далеко не все они нужны единовременно, и держать все это в переменных в памяти не оч разумно.

Безусловно, если вы работаете с одним инструментом и линейной историей вам хватит CSV и массива памяти, но для более сложных задач обработки данных БД незаменима, и все решения оч упрощаются.
Все, что я написал очевидно и ничего нового не содержит, однако, если вы еще не используете БД — настоятельно рекомендую.
Но, к делу. Скачиваем с Финам историю.
Импорт даннных из файла CSV в базу данных SQLite.

Легким движение руки, эта история уже в БД. Смотрим.
Импорт даннных из файла CSV в базу данных SQLite.
Повторяем это для другого инструмента. Импорт в ту-же таблицу БД.
Импорт даннных из файла CSV в базу данных SQLite.

Если кого заинтересовал такой импорт из CSV в БД, то готов поделится программой на Python. Но, на определенных условиях.
Дело в том, что программа интегрирована в проект, и, чтобы предоставить ее вам, я должен затратить некоторое время — вытащить программу из проекта, сделать самостоятельно работающей, протестировать, написать инструкцию пользователя. Ради 2-3 человек я этим заниматься не буду. Если пользователей наберется около десяти человек, то выберу время, и в течение недели-двух подготовлю и выложу в свободный доступ.
И еще просьба, если вы не владеете Python и SQL(язык запросов к БД) — не подписывайтесь на программу. Использовать вы ее не сможете, и она у вас бес толку будет валяться на диске, а я впустую потрачу время. Если реальных пользователей наберется, вы ее всегда сможете скачать.
Вот, и все. Кому реально нужна программа — подписывайтесь в комментариях.

Данная публикация является личным мнением автора. Мнение владельца сайта может не совпадать с мнением автора.
2.7К | ★3
8 комментариев

pandas.read_csv() -> pandas.to_sql()

какая программа, 2 строчки всего

avatar
day0markets, почему нет, если вас это устраивает.
Удачи.
avatar
подписывюсь на прогу, а вы визуализацию делаете в Питоне, какими методами?
avatar
iuiu, модуль matplotlib. Любые графики, в т.ч. самые извращенные.)
avatar
3Qu, скажите, этот модуль выдает только «жесткие» графики или возможен какой-то интерактив (зум, скролл и т.п.)?
avatar
SergP, возможен, но я не пользовался.
Итерактив обычно через Qt делается, с кнопками и пр.
avatar
С интересом посмотрю на метод, который используете Вы,
но не хочу стать причиной трудозатрат :-)
avatar
за с# обращайтесь:
csv-> sql
csv-> bin S#
avatar

Читайте на SMART-LAB:
Фото
Коротко по дивиденду Диасофта. Глазков на смартлабе. Прогноз на ближайший отчет.
На этой неделе объявлен квартальный дивиденд Диасофта. Много это или мало? Можно ли предсказать из дивиденда финансовые результаты 2 квартала,...
Фото
От высокого рейтинга до дефолта: как проверить облигации в своем портфеле
В новом выпуске «Жадного инвестора» на примерах Балтийского лизинга, Полипласта и Самолета разбираемся, как отличить рыночную распродажу...
🚀 Неоактивы: старый фьючерс на новый лад
СПБ Биржа отчиталась о новом рекорде дневного объема торгов неоактивами — ₽78,4 млрд (+31,3% к предыдущему рекорду 23 октября)....
Фото
Модельный портфель рублевых облигаций: итоги, состав, планы
Консервативная стратегия управления портфелем рублевых облигаций себя оправдывает в текущих условиях паузы в снижении ключевой ставки ЦБ РФ, а...

теги блога 3Qu

....все тэги



UPDONW
Новый дизайн