Моделирование дивидендов

По большинству эмитентов СД сформулировали рекомендации по годовым дивидендам, потому решил обновить статистику и перевести модель на новую базу расчетов с учетом данных за 2017 год. Оценка ожидаемых за следующие 12 месяцев дивидендов по портфелю изменилась с  3 067 660 до 3 045 319, а минимальных с 2 478 950 до 2 467 599. Изменения незначительны, что свидетельствует о том, что используемый подход к прогнозированию работает нормально и не склонен к переоптимизации. 

В тоже время хотелось бы перейти с ежегодного обновления базы расчета на более регулярное  по мере поступления новых данных об утвержденных дивидендах. К сожалению, так и не смог найти нормальней источник с большой глубиной истории и проверенными данными — везде наблюдаются те или иные косячки.

Видимо, прийдется вести свою базу данных. Переодически проверять сайты с данными по дивидендам (https://dohod.ru, https://www.conomy.ru, https://smart-lab.ru) в автоматическом режиме. При появлении новой информации на них проводится дополнительная ручная проверка, после которой обновляются данные в основной базе.

Сборщик информации с https://dohod.ru уже написан. Следующим этапом напишу общую логику хранения и обновления проверенных локальных данных с возможностью добавления сборщиков данных с других сайтов. А следующим шагом, попытаюсь модифицировать прогнозирование дивидендов с помощью ML.