Модель должна давать 2 цифры для прогноза

Прогноз и Уверенность. Как распределение N(х, uncertainty) (распределение будет нормальным).

Это то что позволит модели пропускать события в которых она не уверена и делать ставки только если есть высокая уверенность в исходе. 

Например, при прогнозе волатильности, есть отличия в точности прогноза когда недавняя вол > исторической (предсказывает лучше) и историческая > недавней (предсказывает хуже).

И делать ставки (напр. продавать опционы) только в случаях когда уверенность высокая.

Собственно, это давно известно, в том числе как распределения для байесовских параметров. Но часто забываешь, и смотришь на «итоговый» скоринг предсказания, забывая посмотреть в деталях, возможно он предсказывает некие специфические случаи намного лучше и имеет смысл заняться ими подробней.