Ivan FXS
Ivan FXS личный блог
07 марта 2023, 10:17

Ликбез по независимым переменным, степеням свободы и переобученности модели

Пусть есть некоторый поток эмпирических данных. И есть некоторая модель, нацеленная на максимизацию некоторого критерия на этих данных. И в этой модели 100500 параметров (коэффициентов), но значения всех этих параметров получаются («порождаются») в результате вычисления некоторой линейной регрессии, построенной на (работающей с) этих эмпирических данных, то есть эти параметры суть коэффициенты регрессии, а не «ручки, которые мы крутим, настраивая модель».

Вопрос: можно ли в этом случае говорить, что эти 100500 параметров (коэффициентов) являются независимыми переменным и «степеням свободы» модели? И, соответственно, опасаться, что модель «переобучится» — из-за того, что в ней слишком много параметров?
27 Комментариев
  • Большой Брат
    07 марта 2023, 10:30
    Это степени не свободы, а несвободы.
  • Пафос Респектыч
    07 марта 2023, 10:42
    «Переобучить» можно даже модель с одним-единственным параметром. Тут всё довольно сильно зависит от того, как устроена модель и по какому алгоритму она обучается.
  • svgr
    07 марта 2023, 11:03
    Какими 'независимыми переменными'??
    Они у Вас на схеме 'нейронными связями' соединены. Наглядно зависимости изображены.
    Во временном ряде цен есть внутренняя характеристика, показывающая, можно ли на данном участке каким-либо простым алгоритмом забрать больше, чем отдать, или нет. И все модели со связями лишь помогают точно или не очень получить значение этой характеристики. 
    Характеристика — усреднённая по интервалу наблюдений. Переобученность будет означать, что Вы не усреднённую уже считаете, а чуть ли не на каждой свече своё значение. Что не имеет практического применения для торговли на следующих свечах.
    Нужно из общих принципов понимать какое значение характеристики будет в случае белого шума на данном интервале, а какое уже покажет некий неслучайный эффект.
  • SergeyJu
    07 марта 2023, 11:47
    А сколько параметров у линейной регрессии? 

Активные форумы
Что сейчас обсуждают

Старый дизайн
Старый
дизайн