Список проголосовавших за комментарий "посмотрел ваш код, лучше хотя бы в sqlite сначала скачивать, иначе по функционалу, если планируете развивать, вы скоро упрётесь в ограничения. у меня похожий скрипт есть, прошёл от скана на лету до postgres и потом шаг назад на sqlite, postgres показалось уже слишком, хотя отборы в нём sql запросами делать очень удобно"