Список проголосовавших за комментарий "Beach Bunny, я не знаю что вы понимаете под «нормально работает», но квантизирование ведет к потерям — причем первыми «забываются» редкие данные/преобразования. и если разработчики модели выбрали FP16, то наверно не просто так, иначе могли бы сразу обучить в FP8 — снизили бы в два раза расходы на обучение сети, которые лимоны баксов. <br/> <br/> понятно что если комп не тянет то лучше хотя бы что то запустить, пусть и с потерями, но надо понимать что это не одно и тоже, всмысле хуже оригинала — кому то прокатит, а кто то будет плеватся."