Запутанный код парсеров и кравлеров, вытаскивающий данные с разных сайтов.
С полноценной эмуляцией браузера и иммитацией нажатий кнопок, сложного парсинга разных кусков данных и т.п. Не то что кнопку сложно нажать — но там куча разных таймаутов, повторов, событий, ротацией прокси и т.п.
И код отдельного, необычного парсера, обертки над емулятором браузера.
И сохранение данных в базу и в разных форматах.
Еб… ть он мочит…
Данная публикация является личным мнением автора. Мнение владельца сайта может не совпадать с мнением автора.
на тему парсинга.
завтра админ сервера поменяет настройки и сервер будет слать вам отличающиеся страницы авторизации.
например включит или отключит керберос. или сменит метод авторизации. или имена полей ввода изменятся
Парсинг сломается