Это обычная история, когда спрашивают про что-то не существующее.
Но самое интересное впереди! Эти модели обучались еще на нормальных человеческих текстах и картинках. Сейчас интернет заполнят сгенерированный контентом и следующие модели будут учиться, в том числе, на таких вот глюках своих предшественников. Что они будут выдавать вообще не известно.