Способны ли современные LLMs принести пользу в реальных рабочих проектах?...

Способны ли современные LLMs принести пользу в реальных рабочих проектах?

Однозначно – да, но все зависит от типа и формата проекта. Не буду углубляться в теорию и технические термины, а сразу расскажу, помогают ли LLMs в собственных проектах?

Эффект крайне неравномерен, сильно фрагментирован и нестабилен.

Оценка эффективности предельно прозрачна – совокупные ресурсы и время, затраченные на финализацию определенной задачи с использованием LLMs или без LLMs.

Например, какой бюджет токенов нужно консолидировать и сколько времени затратить на формализацию задачи, ожидание выполнения и фактчекинг с использованием LLMs и сколько ресурсов и времени уходит без LLMs.

В какой точке конструкция рассыпается? Главное и фундаментальное препятствие – затраты на верификацию результата.

Опыт использования комбинации самых мощных на сегодняшний день LLMs показывает, что они способны выдавать визуально блистательные (оформленные как солидные академические и консалтинговые исследования) с очень правдоподобным (на первый взгляд) наполнением результаты.

Первый и беглый взгляд показывает – превосходная работа, но … при верификации все начинает рассыпаться, а именно:

🔘Неверная развесовка факторов, параметров и искаженная иерархия приоритетов, что почти всегда ломает всю архитектуру проекта.

🔘Неравномерная контекстная развертка, когда одни направления могут быть избыточно подробно описаны, а другие, наоборот, необоснованно поверхностно.

🔘Концептуальные пробелы – неполное раскрытие вопросов и факторов, неучет множества обстоятельств.

🔘Неверная декомпозиция задачи на составляющие элементы и неверное задание векторов исследования.

🔘Очень частые ошибки в фактуре, как случайные, так и «намеренные», когда модели галлюцинируют, выдумывая «факты».

🔘Неверная консолидация источников информации. Часто решается принудительным ограничением контекстного пространства / источников информации.

🔘Очень часто сломанный стиль повествования, что требует глубокого рерайта.

Что получается на практике? LLMs генерируют огромное количество лонгридов, но на проверку, верификацию, переосмысление и рерайт которых уходит неприемлемое количество времени, сильно превышающее время на самостоятельное исследование.

Как это происходит на практике?

1. Формализация запроса с подробной проработкой техзадания для учета всех факторов, обстоятельств, требуемых векторов исследования и стиля повествования – 10% времени

2. Наполнение моделей контекстом – внутренний готовый набор данных, спектр внешних источников –5% времени.

3. Ожидание генерации ответа (часто может идти десятки минут) сразу в нескольких моделях – 4% времени.

4. Правки по ходу выполнения – 3% времени.

5. Сведение результатов 3-5 LLMs в единую матрицу для концептуального наслоения – 13% времени.

6. Очень длительный процесс верификации полученного ответа – примерно 65% всего времени, а часто еще больше.

Таким образом, постановка задачи примерно 15% времени, генерация ответа – 7%, сверка результатов – 13%, а проверка и контроль – 65%.

Слабое звено – проверка и верификация, которые поглощают основные ресурсы.

На моем опыте, комбинация самых мощных LLMs приводит не к росту производительности, а к радикальному снижению. Насколько? Примерно в 5 раз.

Ту работу, которую можно делать самостоятельно за час, на нее с использованием ИИ займет примерно в 5 раз больше времени и это в наиболее оптимизированном сценарии использования.

В моем классе задач, при моем опыте, накопленных знаниях и навыках, LLMs ухудшают работу, а не улучшают, и речь идет о существенно, иногда кратном ухудшении.

Это не значит, что LLMs – плохи или бесперспективны для определенного спектра задач. Ни в коем случае. В будущем я приведу спектр и категории задач, где LLMs наиболее эффективны.

Я лишь описываю собственный опыт, но при всем этом я остаюсь технооптимистом, т.е. верю в то, что технологии будут улучшаться, захватывая все больше ранее нерешенных задач.

Причем значительный класс задач так и остается принципиально неразрешимым с использованием ИИ (об этом в других материалах).

---

Источник: https://t.me/spydell_finance/9835