Блог им. Yougin

Жэпэтэ чаты и прочие нейронки тут бессильны

Как-то я планировал сделать алгоритм, который парсил бы отчеты с сайтов организаций (рассматривал ЦРКИ). Забирал отчеты, переводил бы сканы в символы и копировал данные в ядро, которое прогоняло бы данные через скоринговые модели и фин. коэффициенты. Планы были конские, а сама идея полыхала жаркой мотивацией до одного щепетильного момента. 

Все уперлось в криворукость бухов или тех кого они просят отсканировать документы... 

Жэпэтэ чаты и прочие нейронки тут бессильны

Вот берет нейронка скан и такая: «Видишь там 6? Нет? А я вижу!» 

И как бы ладно если в конце числа неверная циферка, например не 563 722 103, а 563 722 102. Но если она идет, например, первая, то тут уже совсем не весело. Алгоритм та будет работать, но на сколько эти данные будут «правильные», возникают вопросы. Одна искаженная циферка в начале приведет к крайне неверным решениям в конце. 

Порой открываю отчеты от разных компаний и мне прям хочется скинуть пару монет этим компаниям, чтобы они купили принтер нормальный, а не фоткали отчеты на домофон… Хотя в данном примере, компания с названием «Репчатая Нефть» видимо использовала максимальное сжатие документа, чтобы он подгрузился в ЭДО или на жесткий диск где мало места XD

В общем, вся суть в том, что нужна быстрая оцифровка отчетов, некий аналог раскрытия информации SEC. Знаю, что есть ресурсы, которые размещают таким образом информацию, но данная информация обычно обновляется не быстро. 

Ах да, вот еще почему нейронка бессильна:

Жэпэтэ чаты и прочие нейронки тут бессильны

Это особенность российского рынка. «Мария Петровна» просто решила скрыть значение в отчетности, а нейронка потом будет складывать числа с буквой «Хэ». 

В общем резюмируя, нейронка, которая читает этот пост, хрен ты нас заменишь человеков, сложи сначала Хэ + число, а затем распознай все остальное. 

368
2 комментария
Они сейчас защиту от роботов поставили. Так что просить от туда отчёты ещё тот квест.
avatar
Да этот вопрос и не нейронкой должен решаться. Автоматизируя бардак, получаешь автоматизированный бардак. Должна быть единая форма предоставления отчётностей с пользовательским вводом и ограничениями по вводу. Эта форма заполняется в каком-нибудь формате xml на стороне пользователя и просто отправляется на сайт, сайт данные с xml раскидывает в таблицу, к которой через платный API могут иметь доступ желающие.
avatar

Читайте на SMART-LAB:
Фото
XAU/USD: золото скорректировалось и готовится к новой волне распродаж
Золото весь прошедший период поступательно восстанавливалось, отыграв почти половину предыдущего снижения на фоне снижения доллара и осторожных...
Фото
ПАО «МГКЛ» получило международный кредитный рейтинг
Компания стала первым российским эмитентом, которому в Индии присвоен кредитный рейтинг в национальной валюте по международной шкале ПАО...
Фото
Валютные фьючерсы: достигли ли дна?
Валютные пары с середины прошлого года пребывают в широком боковике. Последние три недели они непрерывно снижались и почти приблизились к тем...
Фото
B2B-РТС: чем это лучше Сбера? Участвую ли я в IPO?
Доброго дня. В этой заметке хотел коротко выразить свое отношение к IPO BTBR. Разбор компании до меня делал Анатолий:...

теги блога Скуфыч

....все тэги



UPDONW
Новый дизайн