Список проголосовавших за комментарий "МЕТОД №3: Динамическое потоковое обучение (Online Learning)<p>Переход от концепции пакетного обучения (Full-Batch) к непрерывному стримингу данных. Модель получает одну точку временного ряда, делает Out-of-Sample прогноз, узнает истинный ответ рынка и мгновенно корректирует параметры. Используется алгоритм <strong>Passive-Aggressive Regressor</strong> на базе стохастического градиентного спуска (SGD). Функция потерь определяется как epsilon-insensitive loss:</p><p>L = max(0, |y_hat_t — y_t| — epsilon)</p><ul><li><strong>Passive режим:</strong> Если абсолютная ошибка прогноза находится в пределах порога epsilon (L = 0), веса модели не изменяются (w_{t+1} = w_t).</li><li><strong>Aggressive режим:</strong> Если ошибка превышает порога, модель производит мгновенную направленную коррекцию вектора весов (Error Correction), прямо пропорциональную величине ошибки.</li></ul><h3>Программная реализация онлайн-цикла (Python)</h3><p>from sklearn.linear_model import PassiveAggressiveRegressor<br/> from sklearn.preprocessing import StandardScaler<br/> <br/> # Инициализация онлайн-модели и потокового скалера<br/> model = PassiveAggressiveRegressor(C=1.0, epsilon=0.001, random_state=42)<br/> scaler = StandardScaler()<br/> <br/> for t in range(41, len(df)):<br/> X_t = df['close_log_return_lag_1'].iloc[t].values.reshape(-1, 1)<br/> y_t = df['close_log_return'].iloc[t]<br/> <br/> # Потоковое обновление параметров скалера<br/> scaler.partial_fit(X_t)<br/> X_t_scaled = scaler.transform(X_t)<br/> <br/> # Out-of-Sample прогноз ДО корректировки весов<br/> y_hat = model.predict(X_t_scaled)[0]<br/> <br/> # Шаг градиентной коррекции параметров модели на основе истинного y_t<br/> model.partial_fit(X_t_scaled, [y_t])</p><p><strong>Статистические результаты:</strong> Точность направления (Directional Hit Rate) составила 50.41%. Распределение позиций: Long — 1071, Short — 976. Баланс сигналов приблизился к отношению 50/50, полностью ликвидировав лонг-сдвиг. Вектор весов непрерывно колеблется во времени, переключая модель между режимами Momentum (w > 0) и Mean Reversion (w < 0) без проклятия размерности.</p><p> </p>МЕТОД №4: Обучение с подкреплением (Reinforcement Learning / Policy Gradient)<p>Моделирование торговой логики в рамках частично наблюдаемого Марковского процесса принятия решений (POMDP). Целью является прямая оптимизация параметров торговой политики (политики действий) без промежуточной оценки функции ценности.</p><h3>4.1. Концепция Двурукого Бандита (Two-Armed Bandit)</h3><p>Торговая среда интерпретируется как игровой автомат с двумя рычагами:</p><ul><li>Рычаг 0 (Heads) — Открытие позиции <strong>Long</strong>.</li><li>Рычаг 1 (Tails) — Открытие позиции <strong>Short</strong>.</li><li>Награда (R_t) — При верном выборе направления R_t = +1.0; в противном случае R_t = -1.0.</li></ul><p>Используется алгоритм <strong>REINFORCE</strong> (Policy Gradient). Обучаемые параметры нейросети (логиты действий) трансформируются через слой Softmax в вероятностное распределение действий pi_theta(a|s).</p><h3>4.2. Ловушка Vanilla REINFORCE и локальный оптимум</h3><p>В стационарных условиях (тренд вверх, монета падает орлом в 70% случаев) базовый алгоритм REINFORCE максимизирует вероятность прибыльного действия: pi(a_long) -> 1.0. При резком наступлении смены режима (вероятность падения орла падает до 20%, а шорт становится прибыльным в 80% случаев), Vanilla-агент полностью теряет способность к адаптации. Так как вероятность шорта была сведена к нулю, фаза исследования среды (Exploration) прекращается. Агент продолжает совершать 100% лонг-сделок, уходя в глубокую просадку.</p><h3>4.3. Архитектурное решение: Регуляризация энтропии Шеннона (Shannon Entropy)</h3><p>Для сохранения уровня исследования (Exploration) и предотвращения преждевременного коллапса распределения политики, в функцию потерь вводится штраф за чрезмерную уверенность — энтропия Шеннона H(pi):</p><p>H(pi) = — SUM_{i} pi(a_i) * log pi(a_i)<br/> Loss_total = Loss_policy — beta * H(pi)<br/> Loss_total = -log pi_theta(a_t | s_t) * R_t — beta * H(pi)</p><p>Где beta (Entropy Beta) — гиперпараметр регуляризации, определяющий вес компоненты исследования.</p><h3>Реализация кастомного шага обучения на PyTorch</h3><p>import torch<br/> import torch.nn as nn<br/> from torch.distributions import Categorical<br/> <br/> class PolicyNetwork(nn.Module):<br/> def __init__(self):<br/> super(PolicyNetwork, self).__init__()<br/> self.theta = nn.Parameter(torch.zeros(2))<br/> <br/> def forward(self):<br/> return torch.softmax(self.theta, dim=0)<br/> <br/> def train_rl_step(policy, optimizer, action_index, reward, beta=0.5):<br/> probs = policy()<br/> m = Categorical(probs)<br/> <br/> # Расчет базового лосса политики: -log(prob) * Reward<br/> policy_loss = -m.log_prob(torch.tensor(action_index)) * reward<br/> <br/> # Расчет дискретной энтропии распределения<br/> entropy_loss = m.entropy()<br/> <br/> # Комбинированный функционал потерь<br/> total_loss = policy_loss — beta * entropy_loss<br/> <br/> optimizer.zero_grad()<br/> total_loss.backward()<br/> optimizer.step()</p><p><strong>Результаты симуляции смены режима (эпизод 1000):</strong> Vanilla REINFORCE застревает на вероятности лонга 100% и полностью сливает профит. Модель с регуляризацией энтропии удерживает базовую вероятность лонга на уровне ~0.93, оставляя стабильные 7% на случайное сэмплирование коротких позиций. При наступлении смены режима скрытые шорты начинают приносить профит (R_t = +1.0). Градиент мгновенно считывает изменение знака награды, и модель за 150 шагов полностью перестраивает логиты, адаптируясь под медвежью фазу.</p><p> </p>Сравнение целевых функций: Online Learning против Reinforcement Learning<table width="624" border="1" cellspacing="0" cellpadding="0"><tr> <td width="208"><p>Критерий</p></td> <td width="208"><p>Online Learning (Passive-Aggressive SGD)</p></td> <td width="208"><p>Reinforcement Learning (Policy Gradient + Entropy)</p></td> </tr><tr> <td width="208"><p><strong>Горизонт планирования</strong></p></td> <td width="208"><p>Локальный, «жадный» (минимизация ошибки на шаге t+1).</p></td> <td width="208"><p>Глобальный, долгосрочный (максимизация кумулятивной дисконтированной награды).</p></td> </tr><tr> <td width="208"><p><strong>Целевая функция</strong></p></td> <td width="208"><p>Точность прогнозирования движения знака цены.</p></td> <td width="208"><p>Траектория геометрической доходности и минимизация Max Drawdown.</p></td> </tr><tr> <td width="208"><p><strong>Поведение модели</strong></p></td> <td width="208"><p>Оптимизирует точность модели на текущей свече, игнорируя кумулятивные просадки капитала во времени.</p></td> <td width="208"><p>Агент способен временно удерживать позицию, фиксировать микро-убытки или выходить в кэш, если траектория этого действия максимизирует итоговую доходность портфеля на всей дистанции.</p></td> </tr></table><p> </p>"