У вас ошибка в коде в environment.
1)pnl_change -= exec_price * volume * self.transaction_fee
2)self.balance += pnl_change #->обнуляем balance
3)elif action == 3 and self.position != 0:
volume = self.balance / self.entry_price #->он всегда ноль!
Итого, после любой покупки баланс навсегда становится = 0, reward-ы не поступают.

