Список проголосовавших за комментарий "<p>day0markets, функция обучения PPO</p><p>в качестве целевой фунции — да, изменение equity, так как пробовал комбинации и остановился на этой. я не говорю, что она не учится, она учится чему-то очень простому. если дать ей специально зашумленную утечку будущего (+цену с random) — моментально это ухватывает и торгует как бог :)<br/> а качестве action пробывал все что угодно<br/> buy+1, sell-1,close_all,hold,full_long,full_short и комбинации этих вариантов от простого к сложному.</p><p>основное что я хотел от нее добиться — это способности жертвовать, то есть принимать решение о мгновенном убытке ради общей прибыли. как это сделать я не понял. мне показалось более прогрессивной идея с помощью rl алгоритма получать не набор политик, а значение какого-то параметра для робота — перевеса заявок в стакане, отступа от центра и стакана и тд. а все остальное отрабатывать обычным способом.<br/> <br/> </p>"