Список проголосовавших за комментарий "wrmngr, нечто подобное используется в критерии AIC/BIC. Этот критерий может использоваться если ваши модели, применяемые к данным, конкурируют между собой а не дополняют друг друга. После fold тестирования и регуляризации штрафы за количество параметров уже не применяются, если у вас, конечно, не зашитая «бэктестом» логика.<br/> <br/> Но даже в этом случае, вам нужно использовать другую систему штрафов за «переобучение», независимую от числа параметров. Например, штрафовать за сумму весов (Lasso) или какую-либо другую систему (в зависимости от метода)."