КриптоУлитка, 

ты забыл третий вариант: либо сошёл с ума)

«Жёсткая жесть.»

что же там за насмотренность такая, которую нельзя формализовать?

КриптоУлитка, 

>> Поэтому человек может отказаться от выгодного пути, если для этого нужно поступиться убеждениями.

Всё-таки вы переоцениваете человека). Тут нужно больше понимания как устроены психические процессы человека.

Есть программы осознаваемые, есть неосознаваемые и неосознанные. Если человек в какой-то момент времени действует неосознанно, это не значит, что у него нет программы.

Отказаться от выгодного пути, пусть для этого нужно поступиться убеждениями — это не что-то данное свыше / венец творения — это приоритет программ, ценностей и т.д. Если человек в этом примере отказывается от выгодного пути, это все лишь значит, что в его иерархии ценностей следовать принципам стоит выше, чем материальная выгода и всё. Если сильно выше — ему не сложно будет делать выбор, если сильно — его поломает немного. 


>> если инженеры не заложат этот блок в его программу

Ну, люди тоже не из космоса с программами телепортируются — есть генетические программы, но остальная часть — социальные, если ты из племени, то у тебя и не будет программы бабушкам в автобусе место уступать, ты тупо можешь не знать, что есть автобус даже и чего кого. Но ты будешь абсолютно человеком. Тут какраз у ИИ нет проблем — они же на датасетах человеков учились)), так что вполне себе понимают чем мы дышим.

КриптоУлитка, Пример про мыслить… ну, модель умеет обобщать, видеть закономерности и прочие когнитивные штуки.

По поводу субъектности, объектности. 

Достаточно немного декомпозировать человека и станет намного легче сравнивать. 

По сути человек это что? Это некий мозг, который получает на вход информацию, и на выходе дергает за какие-то рычажки — ручки, ножки, речь и т.д. В процессе обработки информации проходят всякие когнитивные движухи — обобщения, поиск закономерностей, упрощение, дедукция индукция, поиск знакомых паттернов и т.д.
У человека есть мета-программы, некие высокоуровневые ориентиры — это его ценности, его убеждения и т.д., ну и цели конечно. 
Далее: человек по сути принимает решения в каждый момент времени: щас я почитаю, щас я продолжаю читать, щас я продолжаяю читать, щас я включу телевизор, щас я продолжаю смотреть, продолжаю смотреть и т.д. По сути бесконечный цикл.

Ну и всё. Модель в бесконечный цикл «подал информацию — получил ответ» можно? — Изи. Задать базовые вводные (как у человека ценности, убеждения, цели) можно? — Можно, изи, на человеческом языке причем. Всё. Модель будет двигаться в сторону цели. На каждом шаге принимая решения. Может быть, может быть нужно реализовать некий механизм саморефлексии. Ну и всё.