Александр, да, при работе с безопасностью нужно делать анализ работы нейросетей, человеческий и машинный.
Однако не нужно думать что человеки не совершают катастрофических ошибок. Анализ катастроф последних лет скажет тебе простую мысль о том, что человеческий фактор до сих пор это главный фактор причины катастроф.
Кстати, как работает человеческий мозг мы до сих пор не знаем до конца, но это не мешает им пользоваться. Почему же мозгом мы пользуемся, а нейросетями пользоваться нельзя? И там, и там могут быть ошибки и ещё неизвестно где их больше.

