Блог им. ipsnow

Не все RL алго одинаково полезны

    • 30 апреля 2020, 22:23
    • |
    • ipsnow
  • Еще
Интересный тред на ycombinator — обсуждение пейпера Using Reinforcement Learning in the Algorithmic Trading Problem. Понятное дело, к пейперу много претензий — вероятный оверфит, малый ProfitPerTrade, нереалистичные условия бэктеста и т.д. Если бы все это было учтено, статьи бы мы не увидели.
Кроме дельных замечаний от бывших квантов, узнал из комментов про фатальный недостаток A3C — теоретическую малоприменимость в состязательных средах:

An additional problem with this is that they use A3C here for trading. A3C is known to not be suitable for adversarial environments (e.g. board games, like Chess). I wrote a paper that demonstrated that A3C is as exploitable as a uniform random strategy in board games (specifically, some poker variants): arxiv.org/abs/2004.09677

It’s mostly an issue that A2C isn’t designed for adversarial environments. It also doesn’t have any notion of hidden information, while other algorithms (eg CFR) explicitly handle this. There’s a well-known phenomena of cycling, where agent A will beat agent B which beats agent C which beats agent A; A2C can exhibit this. Think of rock/paper/scissors- AlwaysRock beats AlwaysScissors which beats AlwaysPaper. To avoid this, you typically need to do some sort of averaging.
link


Понятно, что многие алго из описанных в интернете можно доработать и построить на их основе рабочую стратегию. Так что не принимаем это близко к сердцу и продолжаем экспериментировать.
Данная публикация является личным мнением автора. Мнение владельца сайта может не совпадать с мнением автора.
  • Ключевые слова:
  • RL
2.1К | ★2
1 комментарий
Материал ничего себе. Безусловно проблемы есть, но большей частью они надуманны, скорее потому, что авторы (топика и комментов) не знают как их обойти.
avatar

Читайте на SMART-LAB:
Фото
Инвестиции без спешки: торгуем в выходные
Алексей Девятов Клиенты Альфа-Инвестиций могут совершать сделки в выходные . Торги в эти дни обычно не отличаются волатильностью, зато на...
Фото
Доходности растут вместе с количеством дефолтов. Сложная неделя для рынка облигаций
Индекс RGBI по итогам недели снизился на 1,1%, до 110,9 пункта, продолжив отрицательную динамику предыдущей недели. Давление на рынок ОФЗ...
Фото
Стакан и лента в алго №2: Где взять стаканные данные
В прошлой статье мы разобрали, что такое стакан и лента. Теперь практический вопрос: где взять данные для работы индикаторов и тестирования...
Фото
Сетевые компании. Прибыль от передачи рухнула у всех в III квартале, но я всё равно планирую покупать их акции! Какие именно?!
3 ноября я написал пост по сетевым компаниям, где подробно разбирал финансовые отчеты по РСБУ за 3 квартал и 9 месяцев 2026г. Но на тот...

теги блога ipsnow

....все тэги



UPDONW
Новый дизайн