Вот почему лучше использовать готовые бектестеры...

Даже чатжпт находит целый ворох ошибок кода:

Ошибка    Эффект
Неверный учёт капитала  -  Equity растёт всегда
Фьючерсы считаются как спот  -  Нет реальных убытков
Неправильный риск-менеджмент  -  SL фиктивный
Look-ahead bias  -  Завышенный winrate
Ichimoku future leak  -  Отсев плохих сделок

У вас ошибка в коде в environment. 

1)pnl_change -= exec_price * volume * self.transaction_fee

2)self.balance += pnl_change #->обнуляем balance

3)elif action == 3 and self.position != 0:
   volume = self.balance / self.entry_price #->он всегда ноль!

Итого, после любой покупки баланс навсегда становится = 0, reward-ы не поступают.