ИИ за полдня переписал весь мой код получения данных

Запутанный код парсеров и кравлеров, вытаскивающий данные с разных сайтов.

С полноценной эмуляцией браузера и иммитацией нажатий кнопок, сложного парсинга разных кусков данных и т.п. Не то что кнопку сложно нажать — но там куча разных таймаутов, повторов, событий, ротацией прокси и т.п.

И код отдельного, необычного парсера, обертки над емулятором браузера.

И сохранение данных в базу и в разных форматах.

Еб… ть он мочит…

Данная публикация является личным мнением автора. Мнение владельца сайта может не совпадать с мнением автора.

ИИ искусственный интеллект торговые роботы

Alex Craft

Сидней

2 331

с 9 сентября 2021

19 Комментариев

Михаил Шардин

22 июня 2026, 11:58
Давно уж так
+1
- Alex Craft
  22 июня 2026, 12:00
  Михаил Шардин, по моему таки нет, наверно полгода не больше, раньше он не мог такого.
  +1
Михаил
22 июня 2026, 12:03
Вопрос насколько правильно. Парсинг это такая мутная вещь, часто без четких контрактов — обычно нужно очень осторожно все это делать и понимание edge case(ов) приходит только во время копания во всем этом
0
- Alex Craft
  22 июня 2026, 12:11
  Михаил, код был на TypeScript и было много ассертов и обьяснений крайних случаев, так что он не с нуля это сделал и изначально было много подспорья.
  
  Мне нужно было обновить и чуть поменять некоторые вещи и структуру парсера, не с нуля его создать.
  
  Вроде все работает как надо, мож позже какое то поле в неверном формате конечно обнаружится где то, но даже если так я считаю это очень хороший результат, я и сам такие ошибки допускаю.
  0
Viacheslav Ivanenkov
22 июня 2026, 12:16
проверял как работает ?

на тему парсинга.
завтра админ сервера поменяет настройки и сервер будет слать вам отличающиеся страницы авторизации.
например включит или отключит керберос. или сменит метод авторизации. или имена полей ввода изменятся

Парсинг сломается

0
- Alex Craft
  22 июня 2026, 12:40
  Viacheslav Ivanenkov, конечно сломается, и нужно будет поправить.
  0
- Auximen
  
  22 июня 2026, 13:26
  Viacheslav Ivanenkov, для этого создаётся отдельный класс парсера, который инкапсулирует интерпретацию кода по принципу одной ответственности, в случае изменения кода на сервере изменения вносятся только в этот класс. Именно поэтому одного ИИ для написания кода недостаточно, необходимо понимать общую структуру приложения, основы ООП программирования, понимать, что такое абстракция, наследование, инкапсуляция и полиморфизм, понимать, когда лучше использовать базу данных, а когда достаточно использовать оперативную память через Redis, чтобы лишний раз не изнашивать SSD и т.д. В целом, ИИ делает программирование не нудным, а интересным, вместо корпения над нудным синтаксисом вайбкодерам приходится решать интересные логические и архитектурные задачи.
  +3
  - Viacheslav Ivanenkov
    22 июня 2026, 13:36
    Auximen,
    в случае изменения кода на сервере изменения вносятся только в этот класс.
    Только узнаешь это постфактум, когда все сломается
    
    необходимо понимать общую структуру приложения, основы ООП программирования, понимать, что такое абстракция, наследование, инкапсуляция и полиморфизм, понимать, когда лучше использовать базу данных, а когда достаточно использовать оперативную память через Redis
    Мы про парсинг HTML страничек сейчас говорим ?
    0
  - Alex Craft
    22 июня 2026, 15:50
    Auximen, ИИ также понимает архитектуру, контекст, и смыслы.
    0
- Synthetic
  22 июня 2026, 14:57
  Viacheslav Ivanenkov,
  завтра админ сервера поменяет настройки и сервер будет слать вам отличающиеся страницы авторизации.
  например включит или отключит керберос. или сменит метод авторизации. или имена полей ввода изменятся
  Поэтому парсинг — тупик.
  0
  - Alex Craft
    22 июня 2026, 15:48
    Synthetic, изменения раз в месяц где то нужно вносить на практике.
    
    Нет, парсинг совсем не проблема, изменения и поправки делаются просто, то что сломалось не проблема — ничего страшного из за остановки не произойдет.
    0
    - Synthetic
      22 июня 2026, 19:44
      Alex Craft,
      Нет, парсинг совсем не проблема
      
      Например, на сайте MOEX некоторые ценные данные (таблицы) представлены в формате GIF. Парсите на здоровье…
      0
      - Alex Craft
        Вчера в 07:57
        Synthetic, я делал несколько промышленных проектов с экстракцией данных для екомерс т.п.
        
        Большинство парсеров делаются достаточно просто, некоторые сложнее., иногда делают картинки и их тоже можно распознать через OCR инструменты. Вопрос в том — стоит ли оно того или нет, часто, для многих случаев сделать парсер просто.
        
        Таблицы в картинках если есть желание — распознать можно, особенно сейчас с ИИ, он вообще это все сходу сделает.
        0
        Synthetic
        Вчера в 10:47
        Alex Craft,
        Заметьте — я не говорю парсинг плохо. Я говорю — парсинг — тупик. Раз уж есть ИИ, который видит экран и может кнопки нажимать, надо ему и поручать с сайтами разбираться. Локальный ИИ конечно. Пока один не справляется, и нужно минимум три разных в конвейере. Особенно OCR -весьма специализированный skill.
        0
tradeformation
22 июня 2026, 12:49
А как ты правильность работы проверяешь?
0
- Alex Craft
  22 июня 2026, 15:51
  tradeformation, ревью кода, и запуск. он работал до, ИИ переписал его, и он работает после, визуально также все ок выглядит.
  
  Ну и схема данных и валидации есть.
  0
Auximen

22 июня 2026, 13:19
Да, особенно впечатляют такие модели, как Claude 4.6, что там в 4.8 и тем более в Fable 5 сложно представить.
+1
- Alex Craft
  22 июня 2026, 15:45
  Auximen, ага, я ЧатГПТ использую.
  0
Юрий Долгополов
Сегодня в 06:51
Нихрена не понял, но прочитал и вроде как стал умнее.
0

Читайте на SMART-LAB:

EUR/GBP: Перейдет ли инициатива к покупателям?

Кросс-курс EUR/GBP протестировал нижнюю границу многомесячного пологого треугольника, а также расположенный чуть ниже уровень поддержки 0.8610. Ключевой особенностью стало закрытие сегодняшнего...

Tickmill

22:23

Итоги первичных размещений ВДО и некоторых розничных выпусков на 24 июня 2026 г.

Следите за нашими новостями в удобном формате: Telegram , Youtube , RuTube, Smart-lab , ВКонтакте , Сайт

Иволга Капитал

18:34

«ФосАгро»: сильный фундаментальный бизнес с зависимостью от цен на сырье и курса рубля

Несмотря на циклическое давление на маржу и снижение EBITDA в I квартале 2026 года на фоне крепкого рубля и удорожания серы, долговая нагрузка остается на комфортном уровне, а катализаторы...

Финам Брокер

17:48

Мой Рюкзак #65: Ставка на энергетический и продовольственный кризис из-за перекрытия проливов

Мой Рюкзак #66: Потрепанная шкура в игре, но есть ли смысл выходить по текущим? Только если ребаланс

Последний раз писал про портфель 3 месяца назад, делал ставку на энергетический и продовольственный кризис из-за перекрытия проливов Ссылка на прошлый пост smart-lab.ru/mobile/topic/1278612/...