Ликбез по независимым переменным, степеням свободы и переобученности модели

Пусть есть некоторый поток эмпирических данных. И есть некоторая модель, нацеленная на максимизацию некоторого критерия на этих данных. И в этой модели 100500 параметров (коэффициентов), но значения всех этих параметров получаются («порождаются») в результате вычисления некоторой линейной регрессии, построенной на (работающей с) этих эмпирических данных, то есть эти параметры суть коэффициенты регрессии, а не «ручки, которые мы крутим, настраивая модель».

Вопрос: можно ли в этом случае говорить, что эти 100500 параметров (коэффициентов) являются независимыми переменным и «степеням свободы» модели? И, соответственно, опасаться, что модель «переобучится» — из-за того, что в ней слишком много параметров?

оптимизация модели регрессия торговые роботы

Ivan FXS

Москва

151

с 1 мая 2018

27 Комментариев

Большой Брат
07 марта 2023, 10:30
Это степени не свободы, а несвободы.
0
Пафос Респектыч
07 марта 2023, 10:42
«Переобучить» можно даже модель с одним-единственным параметром. Тут всё довольно сильно зависит от того, как устроена модель и по какому алгоритму она обучается.
+2
svgr
07 марта 2023, 11:03
Какими 'независимыми переменными'??
Они у Вас на схеме 'нейронными связями' соединены. Наглядно зависимости изображены.
Во временном ряде цен есть внутренняя характеристика, показывающая, можно ли на данном участке каким-либо простым алгоритмом забрать больше, чем отдать, или нет. И все модели со связями лишь помогают точно или не очень получить значение этой характеристики.
Характеристика — усреднённая по интервалу наблюдений. Переобученность будет означать, что Вы не усреднённую уже считаете, а чуть ли не на каждой свече своё значение. Что не имеет практического применения для торговли на следующих свечах.
Нужно из общих принципов понимать какое значение характеристики будет в случае белого шума на данном интервале, а какое уже покажет некий неслучайный эффект.
0
SergeyJu
07 марта 2023, 11:47
А сколько параметров у линейной регрессии?
0

Читайте на SMART-LAB:

AUD/USD: Флэт как пружина — покупатели защищают плацдарм для мартовского рывка

Австралийский доллар застрял в торговом коридоре. Нижняя граница в районе 0.6900–0.6940 сейчас выступает в роли фундамента, который покупатели пробуют на прочность. Несмотря на геополитическое...

Tickmill

05.03.2026

Ресейл Инвест — в Топ-5 инвестиционных платформ по итогам января 2026 года

🏆 Инвестиционная платформа Ресейл Инвест вошла в пятёрку крупнейших краудлендинговых платформ по доле объёма выдач за январь 2026 года. Данный результат показателен на фоне того, что...

МГКЛ

05.03.2026

Стратегия на 2026 год: Куда нести деньги? Разбор ОФЗ, валютных облигаций и дивидендных акций

В текущих макроэкономических условиях перед инвестором встает непростой вопрос выбора. Рубль удивил всех укреплением, но надолго ли? ЦБ снижает ставку, но когда этот цикл закончится? Мы...

Газпромбанк

05.03.2026

Нефтяной срез: выпуск №8. Перекрытие Ормузского пролива + рост цен на нефть против слабых отчетов за 4-й квартал 2025 и 1-й квартал 2026? Ищем лучших в все еще слабом секторе

Продолжаю выпускать рубрику — Нефтяной срез. Цель: отслеживать важные бенчмарки в нефтяной отрасли, чтобы понимать куда дует ветер. Прошлый пост: smart-lab.ru/mobile/topic/1229385/ Почему...