Grid по N и target sweep: K=75, N=4, median(fwd_5d) — плато, а не оптимум

Продолжаю разбирать kNN v2. В прошлый раз feature mining не сработал. Теперь проверяю гиперпараметры, но не хаотично, а по одному — с заморозкой всего остального.

Что заморожено: K=75, feature set — текущий кандидат из 10 фич, target = median(fwd_5d), bucket-механика, walk-forward, costs = 0.

Грид по N

N — сколько топ-инструментов берём в портфель на каждый день. Прогнал N ∈ {1, 2, 3, 4, 5, 7, 10}.

Что видно:

• Плато на 3–4. N=3 и N=4 дают близкие IS Score (2.31 и 2.37). Обрыв на N=5.

• N=1 и N=2 — высокая доходность, но глубокая просадка. N=1 даёт CAGR 58%, но MDD −81%. Это не торговля, это рулетка.

• VAL попал в тест. N=10 на VAL даёт лучший Score 2.5893, но я его не смотрю. Это тест, а не критерий выбора. N не меняется.

• Выбор: N=4. Плато, лучший IS Score, приемлемый MDD.

Target sweep

Теперь горизонт и агрегатор. H ∈ {3, 5, 10, 20}, агрегатор median vs mean.

Median >> mean. На H=5 median даёт 2.37, mean — 1.59. Разница 0.78. Median устойчив к выбросам, mean ловит хвостовой шум. Для kNN с bucket-механикой median критичен.

H=5 — оптимум. H=3 даёт 2.00, H=5 — 2.37, H=10 — 1.97, H=20 — 1.89. Пятидневный горизонт — естественный для этой модели.

K grid

K=50 и K=75 — плато (разница 0.02). K=100 и K=150 — падение. Малое K работает, большое размывает. K=75 остаётся.

Итог

Финальная конфигурация: 10 фич, N=4, target = median(fwd_5d), K=75, bucket = 5 expanding quantiles, costs = 0.

IS: Score = 2.3698, Calmar = 0.9429, Sortino = 1.4269, CAGR = 43.99%, MDD = −46.66%, coverage = 89.0%.

VAL: Score = 2.4222, Calmar = 0.9668, Sortino = 1.4554, CAGR = 35.06%, MDD = −36.27%.

Baseline exp_016 (7 фич): IS = 2.1456. Кандидат (10 фич): IS = 2.3698. Δ IS = +0.2242.

Что дальше

Модель уже была на лучших параметрах. Фриз. Больше ничего не крутим.

Вопрос к сообществу: кто-нибудь сталкивался с тем, что VAL систематически даёт выше IS на kNN-моделях? Это переобучение наоборот или просто везение на коротком отрезке?