Комментарии пользователя Whalerman
bascomo,
прошу прощения только что увидел вопрос давно не заходил:
> тест на 952 бота;
> часовой таймфрейм с 01/01/2005 года, для нормализации я использую единый вектор времени с 07:00 утра до 0:00 (118 000 строк)
Отсюда несложно посчитать что типичная матрица с данными будет размером 952 * 118 000 (112,3 млн значений) и таких матриц много… )
по времени ориентировочно:
> выгрузка всех данных (отдельная процедура выполняется один раз) — около 30 минут (7 Гб данных в txt формате);
> подготовка данных к расчетам (у меня это отдельная процедура так как из данных на предыдущем шаге я тестирую различные портфели) — около 10 минут;
> расчет 1 цикла (= сценария) около до 1.5 минуты (на портфелях где бумаг меньше быстрее соответственно в разы);
> тестирование портфеля тут уже можно умножать время одного цикла на количество прогонок с учетом многоядерности (но тут я упираюсь в отношение количества ядер к оперативке которой надо много для таких расчетов, моих 64 Гб явно маловато).
Все расчеты при этом практически полностью на векторной основе, циклов по минимуму. Оперативка полностью забивается, пытаюсь бороться с этим управляя загрузкой памяти но все равно тяжелые достаточно вычисления.
С уважением!