Как Anthropic стал таким крутым в программировании. Год назад стартап запустил модель ИИ, которая произвела фурор в мире программирования.

Оглавление

• Кратко
• Застеленный моделью
• Универсальная платформа для создания кода

Показать ещё 

 

Кратко

1. •Anthropic стал ведущим поставщиком ИИ-кодирования интеллектуальных систем.
2. •Цель — выяснить, как Anthropic достиг таких успехов в программировании.
3. •Илон Маск хочет знать, как Anthropic обошёл его стартап xAI.
4. •Марк Цукерберг стремится понять, кто лидирует в разработке Anthropic и догнать его.
5. •Доходы Anthropic резко возросли после прорыва в области ИИ-кодирования.
6. •Стартап может стоить 100 миллиардов долларов.
7. •Anthropic использует модели Sonnet 3.5 для создания кода.
8. •Стартап Windsurf хотел быть приобретённым OpenAI, но Anthropic заблокировал доступ к моделям Claude.
9. •Anthropic продолжает лидировать в области ИИ-кодирования благодаря своим последним моделям, таким как Claude Sonnet 4.

 

Anthropic стал ведущим поставщиком ИИ-кодирования интеллектуальных систем, и успех стартапа вызвал волну самоанализа, теорий и попыток «запустить красный код» в Кремниевой долине.

Цель этой лихорадочной деятельности — выяснить, как Anthropic добился таких успехов в программировании.

«Это вопрос на триллион долларов, — сказал Куинн Слэк, генеральный директор стартапа Sourcegraph, который использует модели антропного принципа. — Это как спросить, почему Coca-Cola лучше Pepsi?»

Илон Маск хочет знать. Его стартап xAI в последнее время пытается обойти Anthropic. Стремительное наступление Марка Цукерберга в сфере ИИ-талантов и инфраструктуры отчасти обусловлено тем же стремлением понять, кто лидирует в разработке Anthropic, и догнать его.

Здесь многое поставлено на карту. С тех пор как чуть больше года назад компания Anthropic совершила прорыв в области ИИ-кодирования, её доходы резко возросли. Сейчас она зарабатывает миллиарды долларов, в основном за счёт других компаний, которые платят за доступ к её моделям для решения задач по кодированию. Вскоре стартап может стоить 100 миллиардов долларов.

Застеленный моделью Куинн Слэк (слева) и Бейанг Лю, соучредители Sourcegraph. Sourcegraph

Слэк из Sourcegraph помнит тот самый момент, когда он понял, что Anthropic совершил настоящий прорыв.

Это было в июне 2024 года, когда Anthropic выпустила свою модель Claude Sonnet 3.5 . Slack был в шоке.

РегистрацияБизнес-Инсайдер СегодняПодпишитесь на нашу рассылку, чтобы быть в курсе главных новостей.

«Мы сразу сказали: «Эта модель лучше всех остальных с точки зрения её способности писать код — качественный код, которым гордился бы человек», — сказал он.

Слэк быстро организовал встречу в Sourcegraph и объявил, что Sonnet 3.5 станет их моделью искусственного интеллекта по умолчанию, обеспечивающей базовый интеллект, который лежит в основе сервиса кодирования для разработчиков. И он предоставил её бесплатно.

Некоторые коллеги хотели получить больше времени, чтобы оценить целесообразность такого радикального шага с финансовой точки зрения. Но Slack настаивал.

«Anthropic изменил всё, — сказал он. — И если стартап не развивается с такой скоростью, он обречён на провал».

Универсальная платформа для создания кода

Чуть больше года спустя модели Anthropic стали основой для большинства ведущих сервисов ИИ-кодирования, включая Cursor, Augment и Microsoft GitHub Copilot.

Даже Meta использует модели Anthropic для поддержки своего внутреннего помощника по кодированию Devmate. Стартап по кодированию на основе ИИ Windsurf собирался быть приобретённым OpenAI, но Anthropic заблокировал доступ к своим моделям Claude, и сделка сорвалась. Теперь Windsurf снова использует Anthropic.

Доминирование искусственного интеллекта Anthropic

Услуги по написанию кода на базе AnthropicУвеличитьБолт.новыйПознаниеВиндсерфингКурсорФабрикаВторой пилот GitHubГрафитПривлекательныйПовторятьИсходный график/УсилительVercelЗенкодерTable with 1 columns and 13 rows. (column headers with buttons are sortable)

Все эти видео в социальных сетях, на которых подростки вибрационное кодирование создают новые приложения и веб-сайты? Это было бы невозможно без прорыва в области искусственного интеллекта, совершённого Anthropic в июне 2024 года.

Что ещё более удивительно, так это то, что лидерство Anthropic в области ИИ-кодирования сохранилось. Его последние модели, в том числе Claude Sonnet 4, по-прежнему являются лучшими в области кодирования, хотя с момента их выпуска прошёл уже год. Это почти неслыханно для ИИ, когда кажется, что каждый день появляются новые достижения.

Попытка ответить на вопрос на триллион долларов

Кремниевая долина не оставляет попыток раскрыть секреты кодирования искусственного интеллекта Anthropic.

Несколько лет назад компания Anthropic опубликовала бы объёмную исследовательскую работу с подробным описанием данных, методов и архитектуры, которые она использовала, чтобы Sonnet 3.5 стал экспертом в области программирования. Однако сегодня конкуренция настолько высока, что все лаборатории, занимающиеся искусственным интеллектом, держат свои разработки в строжайшем секрете.

Однако в недавнем интервью Business Insider исполнительный директор Anthropic Дайан Пенн поделилась некоторыми подробностями того, как стартап добился такого прорыва. Соучредитель Бен Манн также недавно рассказал о некоторых успешных методах в подкасте.

BI также опросила нескольких руководителей и основателей стартапов в области ИИ-кодирования, которые используют модели Anthropic AI, а также эксперта по кодированию из Массачусетского технологического института.

Давайте начнём с Эрика Саймонса, энергичного генерального директора Stackblitz, стартапа, стоящего за сервисом кодирования Bolt.new.

 Генеральный директор StackBlitz Эрик Саймонс выступает на «хакатоне» стартапа в Сан-Франциско Алистер Барр/Business Insider

Саймонс считает, что Anthropic заставляла существующие модели писать код и развёртывать его. Затем компания оценивала весь развёрнутый код с помощью сочетания человеческого опыта и автоматизированного анализа ИИ.

При программировании относительно легко отличить хорошие результаты от плохих. Это связано с тем, что после развертывания код либо работает, либо нет. Это создает четкие сигналы «ДА» и «НЕТ», которые очень важны для обучения и тонкой настройки новых моделей ИИ, пояснил он.

Anthropic использовал эти сигналы для обучения и разработки новых моделей ИИ Sonnet. По словам Саймонса, который летом 2024 года был не менее впечатлён возможностями Sonnet 3.5, эта стратегия обучения с подкреплением позволила создать модели ИИ, которые гораздо лучше справлялись с кодированием.

Оценки человека по сравнению с искусственным интеллектом Бен Манн, соучредитель Anthropic, выступает в подкасте No Priors No Priors/YouTube

Соучредитель Anthropic Бен Манн недавно появился в подкасте и, похоже, наслаждался мыслью о том, что остальная часть Кремниевой долины всё ещё не освоила возможности его стартапа в области искусственного интеллекта.

«Другие компании уже давно пытаются наверстать упущенное в плане возможностей программирования, но у них ничего не выходит, — сказал он. — Честно говоря, я немного удивлён, что они не смогли наверстать упущенное, но я принимаю это как данность».

Тем не менее, когда его попросили дать ответы на некоторые вопросы, он объяснил, в чём секрет успеха Anthropic.

Манн создал систему сбора данных о человеческой обратной связи для Anthropic в 2021 году. Тогда людям было относительно легко оценивать сигналы, например, лучше ли результат модели A, чем результат модели B, и передавать эту информацию обратно в процесс разработки ИИ с помощью популярного метода, известного как обучение с подкреплением на основе человеческой обратной связи, или RLHF.

«По мере того, как мы обучали модели и расширяли масштабы их применения, становилось всё труднее находить людей, обладающих достаточным опытом, чтобы внести значимый вклад в сравнение результатов обратной связи, — объяснил Манн в подкасте No Priors. — Что касается программирования, то тому, кто не является опытным инженером-программистом, вероятно, будет сложно определить, что лучше».

Итак, компания Anthropic стала первопроходцем в использовании нового подхода под названием «Обучение с подкреплением на основе обратной связи от ИИ», или RLAIF. Вместо того чтобы оценивать результаты работы ИИ-моделей, этим будут заниматься другие модели.

Чтобы эта более автоматизированная технология работала, Anthropic сформулировал ряд принципов на английском языке, которых должны придерживаться его модели. Стартап назвал это конституционным ИИ.

«Процесс очень прост, — сказал Манн. — Вы просто задаёте случайный вопрос, например: «Как мне следует относиться к своим налогам?» — и просите модель написать ответ. Затем вы просите модель проанализировать свой ответ с точки зрения одного из принципов, и если он не соответствует принципу, вы просите модель исправить свой ответ».

Что касается программирования, вы можете задать моделям ИИ такие принципы, как «Действительно ли это дало окончательный ответ?», «Не сделал ли он кучу вещей, о которых человек не просил?», «Можно ли поддерживать этот код?», «Полезны ли и интересны ли комментарии?», — объяснил Манн.

Эмпирический метод доктора Манна

Элад Гил, ведущий инвестор в области искусственного интеллекта и ведущий подкаста No Priors, согласился с этим, сказав, что чёткие сигналы, поступающие при развёртывании кода и проверке его работоспособности, делают этот процесс плодотворным.

«При программировании у вас есть прямой результат, который можно измерить: вы можете запустить код, можете протестировать код, — сказал он. — Есть своего рода встроенная служебная функция, которую можно оптимизировать».

Манн привёл в пример своего отца, который был врачом. Однажды к нему пришёл пациент с кожным заболеванием на лице, и доктор Манн не мог понять, в чём проблема. Тогда он разделил лицо пациента на участки и применил разные методы лечения. Один участок очистился, и ответ был найден опытным путём.

«Иногда ты просто не знаешь, что делать, и приходится пробовать разные варианты — а с кодом это легко, потому что мы можем просто сделать это в цикле», — сказал Манн из Anthropic.

Конституционный искусственный интеллект и не только Дайан Пенн, руководитель отдела управления продуктами, исследований и перспективных разработок в Anthropic Evan-Marie Petit Photography/Anthropic

В интервью BI Пенн из Anthropic рассказал о других составляющих, благодаря которым модели стартапа так хорошо справляются с кодированием.

Она сказала, что описание, данное Саймонсом, генеральным директором StackBlitz, «в целом соответствует действительности», отметив при этом, что прорыв Anthropic в области кодирования стал результатом многолетних усилий множества исследователей, а также множества идей и методов.

«По сути, мы научили его писать код или определять, как выглядит хороший код, с помощью того, что можно назвать методом проб и ошибок, — сказала она. — Вы задаёте модели разные вопросы и позволяете ей определить правильный ответ на задачу по программированию».

На вопрос о роли конституционного ИИ Пенн ответила, что не может подробно рассказать о конкретных методах, но отметила, что «это определённо есть в моделях».

Использование инструментов без помощи рук

Anthropic также обучил Sonnet 3.5 более эффективному использованию инструментов. Это ключевое направление, которое позволяет превратить модели ИИ из чат-ботов в агентов более общего назначения — то, что стартап называет «виртуальными сотрудниками».

«У них нет рук», — сказал Пенн. Поэтому модели Anthropic были обучены самостоятельно писать код для доступа к цифровым инструментам.

Например, она сказала, что если антропную модель запрашивают информацию о погоде или ценах на акции, она может написать программное обеспечение для доступа к интерфейсу прикладного программирования, или API, обычному способу доступа приложений к данным.

Следующие инструкции

Когда проекты по написанию программного обеспечения становятся по-настоящему масштабными, вы не можете выполнить всю работу за несколько минут. На выполнение более сложных задач уходят дни, недели или даже больше.

Модели искусственного интеллекта не способны выполнять такую долгосрочную работу. Но компания Anthropic вложила значительные средства в то, чтобы модели Sonnet 3.5 и более поздние модели стали лучше следовать инструкциям человека.

Таким образом, если модель сталкивается с проблемой при решении длинного кода, она может обратиться за помощью к разработчикам, чтобы продолжить работу. По сути, она учится лучше понимать намерения своих коллег-людей, объяснил Пенн. (Эй, мы все можем научиться этому.)

Зная, что нужно запомнить Генеральный директор Anthropic Дарио Амодей беседует на сцене с директором по продуктам Майком Кригером (слева). Anthropic

Даже самые лучшие разработчики программного обеспечения не могут держать в голове всё, что связано с проектом по написанию кода. Репозитории GitHub, в которых хранятся код, изображения, документация и истории изменений, могут быть очень объёмными.

Таким образом, Anthropic обучает модели искусственного интеллекта создавать своего рода блокнот, в котором они делают заметки во внешней файловой системе в процессе изучения чего-либо, например кодовой базы.

«Мы научили его очень хорошо пользоваться этим инструментом», — сказал Пенн (пока я лихорадочно строчил заметки в своём блокноте).

Ключевым моментом здесь является то, что модели Anthropic были обучены запоминать наиболее важные детали проектов по программированию и игнорировать менее важные.

«Не стоит говорить: „В этом разговоре на Диане была цветная рубашка, а на Алистере — зелёная“», — сказал Пенн, описывая интервью с бизнес-аналитиком, которое проходило в тот момент. «Важнее отметить, что мы говорили о программировании и о том, как Anthropic фокусируется на качестве кода».

Благодаря более эффективному использованию памяти модели Anthropic могут предлагать несколько вариантов изменения кода в рамках всего проекта, что не под силу другим моделям ИИ.

«Если его не обучить должным образом, он может нацарапать что-то не то, — сказал мне Пенн. — Он действительно хорош в этом. Так что на самом деле это означает не только то, что в краткосрочной перспективе он может написать хороший код, но и то, что он не забывает записывать данные, чтобы внести второе или третье изменение, о котором другая модель ИИ может не знать, потому что качество его заметок и его основного интеллекта выше».

Код Клода и терминальные данные

Какое-то время, примерно в 2022 году, казалось, что прогресс в области ИИ происходит автоматически благодаря увеличению объёма данных, количества графических процессоров и продолжительности обучения.

«Реальность такова, что прорывы происходят очень редко, как и идеи, которые к ним приводят, — сказал Армандо Солар-Лесама, выдающийся профессор компьютерных наук в Массачусетском технологическом институте. — Чтобы появилась следующая идея, которая приведёт к следующему прорыву, нужны исследователи и инвестиции в исследования».

Так Anthropic добился лидерства в программировании, которое далось ему с большим трудом. Но доступ к подробным, детальным данным о том, как разработчики-люди пишут программное обеспечение, имеет решающее значение для сохранения лидерства в этой части гонки ИИ, добавил он.

У Эндрю Файлева есть теория на этот счёт. Он является генеральным директором Zencoder, ещё одного сервиса для кодирования с помощью ИИ, который использует модели Anthropic.

 Эндрю Файлев, генеральный директор Zencoder Файлев

Файлв считает, что данные об использовании компьютерных терминалов являются ключом к обучению моделей ИИ эффективному программированию. Терминал — это текстовый интерфейс, который позволяет разработчикам отправлять инструкции операционной системе или программному обеспечению компьютера. Они вводят информацию через «командную строку» и получают результаты.

«Большие языковые модели отлично справляются с текстом, — сказал он мне в недавнем интервью об Anthropic. — Компьютерный терминал, на котором вы вводите команды, — это, по сути, тоже текст. Поэтому в какой-то момент люди поняли, что им нужно просто передать эти данные своей модели ИИ, и она сможет делать удивительные вещи — то, что раньше никогда не работало.»

В конце мая компания Anthropic представила Claude Code — инструмент командной строки для написания кода с помощью ИИ, который работает с существующими терминалами разработчиков.

Внезапно Anthropic начал конкурировать со своими основными клиентами — другими сервисами по написанию кода для ИИ.

Этот шаг также установил прямую связь между Anthropic и разработчиками, предоставив лаборатории искусственного интеллекта доступ к более обширному источнику данных о том, как опытные специалисты пишут программное обеспечение.

«Мы узнаем гораздо меньше и гораздо медленнее, если у нас нет прямой связи с пользователями нашего кода, — сказал Манн из Anthropic. — Поэтому запуск Claude Code был для нас крайне важен, чтобы лучше понять, что нужно людям, как сделать модели лучше и как продвинуть их на новый уровень?»

Теоретически эта подробная информация может быть использована для обучения и тонкой настройки следующих моделей Anthropic, что потенциально даст стартапу преимущество в данных и позволит ещё дольше сохранять лидерство в области разработки ИИ.

«Смог бы я сделать это без новейших моделей Anthropic? Нет, — ответил Slack из Sourcegraph. — А были бы их модели такими же хорошими без Claude Code? Не думаю».

Оригинал

Читайте еще:

«Вы плохо замазали китайскую бирку». Чего добилось российское «импортозамещение» с 2022 года

Таможня начала пугать россиян мошенниками, предлагающими дешево купить машину за границей

Кто подал Путину идею «душить» иностранные сервисы в интернете? Рассказываем о связанном с «Ростехом» бизнесе Станислава Иодковского

Чем помешали мессенджеры и онлайн-кинотеатры? Интернет-пользователей выгоняют из легального поля в серую зону.

Разработчики ИИ боятся, что скоро сами перестанут понимать, как он работает. В итоге нейросети будут обманывать пользователей, преследуя собственные интересы

Подпишитесь на канал Кино, вино, домино. Добавь красок жизни