На сколько точен DeepSeek в анализе РСБУ/МСФО

Два месяца назад я начал собирать данные из отчетностей эмитентов MOEX для DeepSeek (DP). Основная цель была выяснить на сколько точно DP может агрегировать показатели из отчетностей РСБУ/МСФО через методы финансового анализа в единую оценку потенциала роста и надежности эмитента. 

На текущий момент в DP загружено 74 отчета РСБУ и 76 отчета МСФО. 

DP показал итоговую оценку потенциала роста и надежности в пределах от -100% до 100%, где:

Потенциал роста и надежность эмитента:
70% — 100% — отличная оценка (зеленая зона)
40% — 69% — средняя оценка (желтая зона)
<40% — плохая оценка (красная зона)

Для сравнения оценки DP я использовал мультипликативный скоринг (алгоритмы), где:

Потенциал роста эмитента:
50% — 100% - отличная оценка (зеленая зона)
30% — 49% - средняя оценка (желтая зона)
<30% - плохая оценка (красная зона)

Надежность эмитента:
1кл — 2кл - отличная оценка (зеленая зона)
3кл - средняя оценка (желтая зона)
4кл — 5кл - плохая оценка (красная зона)

Ниже прикладываю сравнение алгоритма с DP.

Далее я углубился в сильные отклонения между оценкой DP и Алгоритмом. Были исключены случаи, где эмитенты скрывали ключевые показатели, исходя из требований законодательства после 2022 года, а также случаи, где данных было меньше, чем за 3 года.

Далее выделил моменты, где DP совершает критические ошибки, которые искажают итоговую оценку. В большинстве случаев это связано с неверной оценкой основной деятельности эмитента по сектору: DP делала неверные предположения, которым давала вес, и это отклоняло итоговую оценку. Это можно исключить, если из промпта убрать информацию о типе компании, но считаю это большим упущением.

Итог:

РСБУ DeepSeek Потенциал роста эмитента: 16 критических ошибок из 74 возможных. (21,62%)

РСБУ DeepSeek Надежность: 8 критических ошибок из 74 возможных. (10,81%)

МСФО DeepSeek Потенциал роста эмитента: 21 критических ошибок из 76 возможных. (27,63%)

МСФО DeepSeek Надежность: 3 критических ошибок из 76 возможных. (3,95%)

Как видно DeepSeek еще не совсем точно может оценивать потенциал роста компаний, однако точность оценки надежности эмитентов неплохая. 

В предыдущих постах проводил вводное тестирование и описывал особенности.