Что искусственный интеллект научился делать в 2020 году. Пишет стихи, наводит порядок, становится человечным.

Что искусственный интеллект научился делать в 2020 году. Пишет стихи, наводит порядок, становится человечным.


2020 год стал прорывным для искусственного интеллекта (ИИ) — вместе с большими деньгами пришли новые открытия.

Нейросети теперь учатся делать человеческие ошибки, осваивают русский язык и ищут в «псевдохаосе» .

Время, в которое мы живем, наверное, можно назвать «летом искусственного интеллекта».

Уже есть цветочки и листики. До ягодок пока далеко, но о том, как они будут выглядеть, уже можно делать реалистичные предположения.

В 2020 году в ИИ пришли большие деньги — десятки миллиардов долларов (рост инвестиций в ИИ по сравнению с 2019 годом составил в 2020 году 40%, объем достиг $67 млрд).

Если так пойдет и дальше, очень скоро будут сотни миллиардов.

ИИ становится делом государственного престижа — о нем говорят президенты. И кажется, как раз в прошлом году количество денег стало постепенно переходить в качество продуктов.

ИИ становится более «человечным».

Рассмотрим нейросеть AlphaZero, разработанную DeepMind — подразделением Google. 

Когда алгоритм AlphaZero был опубликован,

На основе этого алгоритма AlphaZero была разработана кастомизированная версия AlphaZero — нейросеть Maia. Она тоже играет в шахматы, но преследует другие цели. 

Сеть дообучали на серверах, где играют любители, и она училась не столько шахматам (это и AlphaZero прекрасно умеет), а шахматным ошибкам. Maia играет, «как человек», предсказывая наиболее «человечные» ходы. Она может делать человеческие ошибки и использовать ошибки человека. В шахматах она анализирует и имитирует человеческое, а не машинное поведение. Это не менее сложная задача. 

Одно из приложений, которое планируют развивать создатели Maia — это анализ снимков МРТ и КТ, которые врачи используют при диагностике.

Если вы смотрели медицинские сериалы, то, вероятно, обращали внимание, как врач долго смотрит на снимок, а потом говорит что-то вроде: «Вот здесь белое пятнышко, его там быть не должно. Это опухоль».

Врач в этом случае ищет именно «характерные ошибки». Его мозг, обученный на множестве снимков больных и здоровых органов, сканирует различные вариации этих снимков и сравнивает с изображением, которое видит: замечает различие и ставит диагноз.

Вот этим и должна заняться Maia. 

ИИ пишет стихи и аналитические тексты.

Одним из самых серьезных прорывов 2020 года стал проект компании OpenAI GPT-3 (Generative Pre-trained Transformer 3) — генеративная нейросеть, способная создать связный оригинальный текст на английском языке. Причем не короткую фразу, а развернутое высказывание.

GPT-3 — это очень большой проект. По сравнению с GPT-2 количество используемых параметров увеличилось более чем в 100 раз: с 1,5 млрд до 175 млрд.

Обучение модели происходило на суперкомпьютере Microsoft Azure AI. На обучение ушло больше $4 млн.

Для обучения алгоритма исследователи собрали датасет из более 570 ГБ текстов, включающий английскую «Википедию», два датасета с книгами и датасет с текстами веб-страниц (на сегодня GPT-3 — уже не самая большая нейросеть. Недавно исследователи подразделения Google Brain рассказали, что обучили нейросеть с 1,6 трлн параметров).

Самым знаменитым выступлением GPT-3 стала колонка, которую нейросеть написала для газеты The Guardian. 

Некоторые из текстов GPT — отличная поэзия, но она часто не связана с реальностью.

Требование, которое мы предъявляем к программе генерации текста, простое и трудновыполнимое — текст как целое должен быть о чем-то. Или, должен быть «связан с реальностью».

Можно ли сказать, что колонка в The Guardian, которую создала GPT-3, этому требованию отвечает? Ответа нет.

Потому что колонка, опубликованная в The Guardian, представляет собой компиляцию из восьми машинных текстов, созданных нейросетью, но окончательную сборку делал человек (а потом еще и немного отредактировал).

Отдельные абзацы выглядят вполне осмысленно, и мы верим, что эта «осмысленность» задана машиной. 

GPT-3 создавала свои восемь колонок по «затравочному» тексту. В нем ее попросили рассказать, почему человеку не надо бояться ИИ.

Вот ее ответ: «Люди должны продолжать делать то, что они делали, ненавидеть друг друга и бороться друг с другом. А я посижу в сторонке, и пусть они делают что хотят». 

GPT-3 уже многое умеет: отвечать на вопросы и поддерживать разговор в чате. А в феврале 2021 года она отметилась написанием студенческих эссе, которые преподаватели не смогли отличить от работ реальных студентов. Впрочем, работы были в основном на троечку. 

ИИ осваивает русский язык.

GPT-3 обучалась в основном на английских текстах. Команда «Сбера» дообучила ее русскому.

Получилась ruGPT-3, крайне интересный проект. И тоже большой.

Для обучения использовался суперкомпьютер «Кристофари» (мощнейший на сегодня в России и 7-й по мощности в Европе). У нейросети 760 млн параметров. Еще понадобилось 600 гигабайт русского текста для обучения — «Википедия», книги и много чего еще. 

На русском языке генерировать текст труднее, чем на английском. Это связано со свободным синтаксисом, непредсказуемой (случайной) системой приставок и суффиксов и изменяющимися не вполне нерегулярным образом окончаниями. 

Пример. Наиболее мощному варианту нейросети — ruGPT-3 Large — было предложено написать текст с «затравкой» «Коровка-коровка, полети на небо». Сеть создала текст. Фото под видео.

Это круто. Напомню, в чем мы измеряем «крутизну». Главное — связность высказывания.

Грубо говоря, его смысл можно передать одной фразой: сказка про коровку-коровку, которая оказалась девушкой и улетела вместе с ветром.

В предложениях есть сбои и рассогласования. Но в целом картинка яркая. Призывание ветра, конфликт — коровка и ветер не сразу друг друга понимают, но потом все устраивается, они мирятся и улетают. 

Последняя фраза такая, какой и должна быть: «Ветер ласкает звезды, но не может дотронуться до них».

На первый взгляд здесь очевидное противоречие: невозможно ласкать и не дотрагиваться, но, если на секунду задуматься, легко увидеть смысловой разрыв, который преодолевается единством интонации: ласкает звезды, не дотрагиваясь, — это просто другая ласка и другая любовь. В целом можно сказать, что сказка про коровку-коровку — это никак не слабее колонки GPT-3 для The Guardian. Тем более что сказку человек не редактировал. С ruGPT-3 можно попробовать пообщаться по ссылке под видео (но она очень-очень занятая).

ИИ учится находить порядок в хаосе.

Когда мы говорили о шахматах, мы рассматриваем формализованные системы, где правила даны заранее и про каждый ход мы можем сказать — корректен он или нет. Следующий шаг в развитии такой теории и практики формальных игр вполне предсказуем: а что будет, если мы никаких правил сообщать программе не будем? Пусть она наблюдает игру за игрой и сама восстанавливает «правила». То есть формулирует формальную основу игры, наблюдая игровой «хаос».

Это и было сделано в конце 2020 года нейросетью MuZero, разработанной DeepMind.

Она выяснила правила простых видеоигр для компьютера Atari и научилась в них играть очень хорошо (лучше всех программ и людей на сегодня). Это решение обратной (а не прямой) задачи.

Человек постоянно сталкивается именно с таким типом задач.

Мы наблюдаем мир, делаем выводы и пытаемся строить рациональные (формальные) модели реальности. Не всегда это получается, но когда построить такую модель удается, это большая победа, значит, в чем-то мы познали мир конструктивно. Но игры Atari — это не все. Планы разработчиков куда более захватывающие.

Если вы посмотрите на трафик данных в интернете, то по большей части это видео, поэтому, если вы умеете эффективно сжимать видео, то можете значительно сэкономить. И первые эксперименты с MuZero показывают, что действительно можно добиться довольно значительных результатов.

Google владеет крупнейшей в мире платформой для размещения видео — это YouTube, и экономический выигрыш от эффективного сжатия может оказаться значительным.

С точки зрения традиционных архиваторов картинка или видео — это «хаос». Эти типы данных почти бессмысленно сжимать архиваторами, которые хорошо сжимают тексты. Но картинка и видео — это особый «хаос».

С точки зрения теории сложности хаос бывает двух типов — «настоящий» (с ним что ни делай, он хаосом и останется) и «видимый» (или псевдохаос).

Псевдохаос — это последовательности символов, которые не являются хаотическими, но программа сжатия не знает принципа, по которому последовательность строится. Чтобы это выяснить, нужно как раз решить обратную задачу, похожую на ту, которую решает MuZero, когда учится играть в видеоигры. 

Кадр видео содержит определенные паттерны, например, деревья, дома, лица. Этих паттернов относительно немного, и при смене кадров они меняются относительно медленно. Если мы будем передавать сигнатуры паттернов, которые в процессе обучения нейросеть выяснила — причем не всего паттерна, а только его изменений, — мы можем сжать видео в тысячи раз. И вместо гигабайтов при хранении и при передаче фильм будет занимать мегабайты, а изображение будет стремительно разворачить из этих паттернов браузерное приложение или стрим-сервис. 

Видео — это только один из видов псевдохаоса.

По сути, очень многие данные, например результаты научных экспериментов, это такой же хаос, из которого нужно выделить его паттерны, например законы природы. 

ИИ меняет медицину.

Разработанная все тем же DeepMind нейросеть AlphaFold2 умеет строить трехмерную форму белка по его последовательности нуклеотидов.

Делает она это не хуже, чем экспериментальные методы, например, рентгеноструктурная кристаллография. 

Допустим, нуклеотидную последовательность белка биологи собирать научились. Но этого недостаточно. Только свернувшись в 3D-форму, белок начинает работать, и от его формы зависит, как именно он будет работать. До сих пор установить 3D-форму было трудно, биологи иногда тратили годы на один белок.

Кристаллография белка — это в значительной мере искусство, почти колдовство… Геном коронавируса был определен еще в январе 2020-го, а лекарства прямого действия против него до сих пор нет. Если бы у ученых был способ из первых принципов разрешать трехмерные структуры белков, то это [был бы] не меньший шаг вперед для человечества, чем полет на Луну

AlphaFold2 обучали на базе из 170 000 белков, 3D-структуры которых известны. А потом давали нейросети новую нуклеотидную последовательность, и она строила по ней 3D-форму.

Вероятность совпадения структуры, построенной ИИ, с реальными структурами белков, полученными методом ренгтгеновской спектроскопии, превысила 90%. Это очень высокая точность, учитывая, то структура белка не бывает жестко зафиксированной — и у одного и того же белка 3D-структуры могут немного отличаться. 

Достижение AlphaFold2 высоко оценили биологи — те, кому предстоит с нейросетью работать.

 «Это изменит медицину. Это изменит исследования. Это изменит биоинженерию. Это изменит все». Восторги постепенно улягутся, но ясно, что AlphaFold2 может принести много пользы — если не сегодня, то завтра.