Добро пожаловать в экономику дипфейков.

Где-то в прошлом году в почтовом ящике Иэна Ламонта начали накапливаться запросы о вакансии. Владелец компании, занимающейся составлением практических руководств, из Бостона не открывал никаких новых вакансий, но когда он зашёл в LinkedIn, то увидел вакансию «Специалист по вводу данных», связанную с названием и логотипом его компании.

Вскоре Ламонт понял, что его бренд используют в мошеннических целях. Он убедился в этом, когда наткнулся на профиль человека, выдававшего себя за «менеджера» его компании. У аккаунта было меньше десятка связей и сгенерированное ИИ лицо. Следующие несколько дней он предупреждал посетителей сайта своей компании о мошенничестве и убеждал LinkedIn удалить фальшивый профиль и объявление. К тому времени более двадцати человек напрямую обратились к нему по поводу работы, и он подозревает, что многие другие тоже подавали заявки.

Потенциал генеративного ИИ для развития бизнеса огромен. По оценкам McKinsey за 2023 год, в ближайшие годы ожидается, что он будет ежегодно приносить мировой экономике больше пользы, чем весь ВВП Соединённого Королевства. В то же время способность генеративного ИИ практически мгновенно создавать аутентичный контент в больших масштабах создаёт не менее огромный потенциал для нанесения ущерба бизнесу.

С момента дебюта ChatGPT в 2022 году онлайн-компаниям пришлось ориентироваться в быстро развивающейся экономике глубоких подделок, где становится все труднее определить, является ли любое текстовое сообщение, звонок или электронное письмо реальными или мошенничеством.

По данным платформы отчетов о мошенничестве Chainabuse, только за последний год количество мошенничеств с поддержкой GenAI увеличилось в четыре раза. В ходе Общенационального страхового опроса владельцев малого бизнеса прошлой осенью четверть сообщили, что столкнулись по крайней мере с одним мошенничеством с искусственным интеллектом в прошлом году. Microsoft заявляет, что теперь блокирует почти 1,6 миллиона попыток регистрации с помощью ботов каждый час.

Рене ДиРеста, которая изучает злоупотребления в онлайн-среде в Джорджтаунском университете, говорит, что называет бум GenAI «промышленной революцией в сфере мошенничества», поскольку он автоматизирует мошеннические действия, снижает барьеры для входа, сокращает расходы и расширяет доступ к целям.

Последствия мошенничества с использованием искусственного интеллекта могут быть катастрофическими. В прошлом году финансовый сотрудник инженерной компании Arup присоединился к видеоконференции, на которой, как он думал, присутствовали его коллеги. Оказалось, что каждый из участников был дипфейком, созданным на основе образа реального коллеги, включая финансового директора организации. Мошенники попросили сотрудника одобрить международные переводы на сумму более 25 миллионов долларов, и он, решив, что запрос поступил от финансового директора, дал добро на транзакцию.

Business Insider побеседовал с профессионалами из нескольких отраслей, включая подбор персонала, графический дизайн, издательское дело и здравоохранение, которые пытаются защитить себя и своих клиентов от постоянно растущих угроз, связанных с искусственным интеллектом. Многим кажется, что они играют в бесконечную игру «Ударь крота», а кроты только размножаются и становятся всё хитрее.

Впрошлом году мошенники использовали искусственный интеллект, чтобы создать франкоязычную копию интернет-магазина японских ножей Oishya и рассылать автоматические мошеннические предложения более чем 10 000 подписчикам компании в Instagram. Поддельная компания сообщала клиентам настоящей компании, что они выиграли бесплатный нож и что для его получения им нужно лишь оплатить небольшую сумму за доставку. Почти 100 человек попались на эту уловку. Камила Ханкевич, которая руководит Oishya уже девять лет, узнала о мошенничестве только после того, как несколько пострадавших связались с ней и спросили, сколько им ещё ждать посылку.

РегистрацияТехническая ПамяткаГде секреты крупных технологических компаний становятся достоянием общественности — без цензуры, каждую неделю в вашем почтовом ящике.

Для Ханкевич это стало неприятным сюрпризом. С тех пор она усилила кибербезопасность компании и теперь проводит кампании по обучению клиентов распознаванию поддельных сообщений. Хотя многие из её клиентов были расстроены из-за мошенничества, Ханкевич помогла им подать заявления в финансовые учреждения для возврата средств. Несмотря на неприятный опыт, «этот инцидент на самом деле укрепил наши отношения со многими клиентами, которые оценили наш проактивный подход», — говорит она.

Тревожные звоночки зазвенели в её голове, когда интервьюер попросил её показать водительские права.

Роб Дункан, вице-президент по стратегии компании Netcraft, специализирующейся на кибербезопасности, не удивлён ростом числа персонализированных фишинговых атак на малый бизнес, такой как Oishya. Инструменты на основе генеративного искусственного интеллекта теперь позволяют даже начинающему «волку-одиночке» с небольшими техническими знаниями клонировать имидж бренда и за считанные минуты писать безупречные, убедительные мошеннические сообщения, говорит он. С помощью дешёвых инструментов «злоумышленники могут с лёгкостью выдавать себя за сотрудников, обманывать клиентов или выдавать себя за партнёров по нескольким каналам», — говорит Дункан.

Несмотря на то, что основные инструменты искусственного интеллекта, такие как ChatGPT, принимают меры предосторожности, когда вы просите их нарушить авторские права, сейчас существует множество бесплатных или недорогих онлайн-сервисов, которые позволяют пользователям создавать копии сайтов компаний с помощью простых текстовых подсказок.

С помощью инструмента под названием Llama Press я смог создать почти точную копию магазина Hankiewicz и персонализировать его с помощью нескольких слов-инструкций. (Коди Кендалл, основатель Llama Press, говорит, что клонирование магазина, подобного Oshiya, не приводит к блокировке, поскольку для этого могут быть законные основания, например, когда владелец бизнеса пытается перенести свой сайт на новую хостинговую платформу. Он добавляет, что Llama Press полагается на Anthropic и встроенные средства проверки безопасности OpenAI, которые отсеивают недобросовестные запросы.)

Текст — это лишь один из фронтов войны, которую ведут компании против злонамеренного использования ИИ. С помощью новейших инструментов требуется всего час, чтобы создать убедительного фальшивого кандидата на видеоинтервью — опять же без каких-либо технических знаний.

Татьяна Беккер, специалист по подбору персонала в сфере технологий из Нью-Йорка, говорит, что кандидаты на работу, использующие дипфейки, стали «настоящей эпидемией». За последние пару лет ей часто приходилось отказывать мошенникам, которые использовали дипфейковые аватары, чтобы изменять на собеседованиях.

На данный момент она может распознать некоторые характерные признаки дипфейков, в том числе низкое качество видео и отказ кандидата изменить что-либо в своей внешности во время звонка, например снять наушники.

Теперь в начале каждого собеседования она просит кандидатов предъявить удостоверение личности и задаёт больше открытых вопросов, например о том, чем они любят заниматься в свободное время, чтобы понять, человек ли перед ней. По иронии судьбы, в начале собеседований она ведёт себя более по-роботизированному, чтобы вычислить роботов.

Николь Йелланд, специалист по связям с общественностью, рассказывает, что в начале этого года она оказалась на другой стороне дипфейка. Мошенник, выдававший себя за рекрутера стартапа, связался с ней по электронной почте и сообщил, что ищет руководителя отдела по связям с общественностью, и предложил щедрую зарплату и льготы. Этот человек даже поделился с ней обширной презентацией, украшенной визуальными элементами, созданными искусственным интеллектом, в которой описывались обязанности и преимущества этой должности. Поддавшись на уговоры, она назначила собеседование.

Однако во время видеоконференции «менеджер по подбору персонала» отказался говорить и вместо этого попросил Йелленд напечатать свои ответы на письменные вопросы в чате Microsoft Teams. Она забеспокоилась, когда интервьюер начал просить её предоставить ряд личных документов, в том числе водительские права.

Теперь Йелланд проверяет информацию с помощью таких инструментов, как Spokeo, прежде чем вступать в общение с незнакомцами в интернете. «Это раздражает и отнимает много времени, но общение со спамерами раздражает ещё больше и отнимает ещё больше времени, так что мы придерживаемся этого подхода», — говорит она.

В то время как платформы для видеоконференций, такие как Teams и Zoom, становятся всё более эффективными в выявлении аккаунтов, созданных искусственным интеллектом, некоторые эксперты считают, что само это выявление может привести к возникновению порочного круга. Данные, которые эти платформы собирают о том, что является фейком, в конечном счёте используются для обучения более сложных моделей GenAI, которые помогают им лучше обходить детекторы фейков и подпитывают «гонку вооружений, в которой защитники не могут победить», — говорит Джассон Кейси, генеральный директор Beyond Identity, компании по кибербезопасности, специализирующейся на защите от кражи личных данных. Кейси и его компания считают, что вместо этого следует сосредоточиться на подтверждении личности человека.

Beyond Identity продаёт инструменты, которые можно подключить к Zoom и которые проверяют участников собрания с помощью биометрических данных их устройств и данных о местоположении.

Если инструмент обнаруживает несоответствие, он помечает видеопоток участника как «непроверенный.» Флориан Трамер, профессор компьютерных наук в Швейцарской высшей технической школе Цюриха, согласен с тем, что подтверждение личности, скорее всего, станет более важным для того, чтобы вы всегда общались с реальным коллегой.

Теперь предпринимателям приходится иметь дело не только с фальшивыми соискателями, но и с их фальшивыми версиями. В конце 2024 года мошенники разместили в Facebook рекламу с видео, в котором участвовал Джонатан Шоу, заместитель директора Института сердца и диабета Бейкера в Мельбурне. Хотя человек на видео выглядел и говорил в точности как доктор Шоу, его голос был сгенерирован искусственным интеллектом и отредактирован таким образом, чтобы он говорил, что метформин — препарат первой линии для лечения диабета 2-го типа — «опасен» и что пациентам следует перейти на непроверенную пищевую добавку. Фальшивое рекламное объявление сопровождалось фальшивым новостным интервью с Шоу.

Несколько пациентов его клиники, поверив, что видео было настоящим, обратились к нему с вопросом, как получить эту добавку. «Один из моих давних пациентов спросил, почему я продолжаю выписывать ему метформин, если в видео я сказал, что это плохой препарат», — рассказывает мне Шоу. В конце концов ему удалось добиться того, чтобы Facebook удалил видео.

Кроме того, существует не менее неприятная и раздражающая проблема мусора из ИИ — огромного количества низкокачественных, массово производимых изображений и текстов, которые заполонили интернет и из-за которых обычному человеку становится всё сложнее отличить правду от вымысла. В ходе своего исследования ДиРеста обнаружила случаи, когда системы рекомендаций социальных платформ продвигали вредоносный мусор — когда мошенники публиковали изображения несуществующих объектов недвижимости, бытовой техники и т. д., а пользователи часто попадались на эту уловку и раскрывали свои платёжные данные.

В Pinterest посты с «вдохновляющими» идеями, созданные искусственным интеллектом, заполонили доски настроения людей — настолько, что филадельфийский магазин Cake Life Shop теперь часто получает заказы от клиентов с просьбой воссоздать торты, которые на самом деле созданы искусственным интеллектом. В одном из примеров, которым поделились с Business Insider, торт напоминает тропический лес, покрытый мхом, и имеет функциональный водопад. К счастью для соучредителя Нимы Этемади, большинство клиентов «с пониманием относятся к тому, что можно сделать с помощью настоящего торта, после того как мы развеиваем их иллюзии об искусственном интеллекте», — говорит он.

Точно так же книги, созданные искусственным интеллектом, заполонили Amazon и теперь снижают продажи издательств.

Полин Фроммер, президент издателя путеводителей Frommer Media, говорит, что путеводителям, созданным с помощью ИИ, удалось попасть в топ-листы благодаря фейковым отзывам. Издатель, использующий ИИ, покупает несколько подписок Prime, устанавливает нулевую цену на электронную версию путеводителя, а затем оставляет якобы «проверенные отзывы», загружая его копии бесплатно. По её словам, из-за такой практики «новому, легальному бренду путеводителей будет практически невозможно выйти на рынок прямо сейчас». Иэн Ламонт говорит, что в прошлом году ему подарили путеводитель, созданный искусственным интеллектом: текстовое руководство по Тайваню без картинок и карт.

Хотя Федеральная торговая комиссия теперь считает незаконным публикацию фейковых отзывов о товарах, сгенерированных искусственным интеллектом, официальная политика пока не поспевает за контентом, созданным искусственным интеллектом. Такие платформы, как Pinterest и Google, начали добавлять водяные знаки и пометки к постам, созданным искусственным интеллектом, но, поскольку эта технология пока не лишена ошибок, некоторые опасаются, что эти меры могут принести больше вреда, чем пользы. ДиРеста опасается, что потенциальным непреднамеренным последствием повсеместного использования меток ИИ может стать «усталость от меток», когда люди будут слепо полагать, что контент без меток всегда «настоящий». «Это потенциально опасное предположение, если искушённому манипулятору, например из разведывательной службы государства, удастся провести дезинформационный контент мимо системы маркировки», — говорит она.

На данный момент владельцам малого бизнеса следует сохранять бдительность, говорит Робин Пью, исполнительный директор некоммерческой организации Intelligence for Good, которая помогает жертвам интернет-преступлений. Они всегда должны проверять, что имеют дело с реальным человеком и что деньги, которые они отправляют, действительно идут по назначению.

Этемади из Cake Life Shop признает, что несмотря на то, что Генай может помочь своему бизнесу стать более эффективным, мошенники в конечном итоге будут использовать те же инструменты, чтобы стать столь же эффективными. «Ведение бизнеса в Интернете с каждым годом становится все более необходимым и сопряжено с большим риском», — говорит он. «Искусственный интеллект — лишь часть этого

Оригинал

Читайте еще:

Сечин устраивает эскортниц на должности в «Роснефти» и платит им большие зарплаты из бюджета компании — расследование

За три года в России национализировали 411 компаний с активами на 2,6 трлн рублей

Бесчестный знак. Расследование о том, как россиян обложили скрытым налогом

Что нужно знать о Tor и как им пользоваться. Подробно и просто рассказываем о популярном и надежном способе обхода

Подпишитесь на канал „Жизнь Дурова: ЗОЖ, деньги, ИТ“ — все самое главное о здоровье, технологиях и деньгах