ИИ-агенты лгут, жульничают и воруют. Это отталкивает пользователей

Колючая проволока вызывала странный интерес у покойного Алана Гринспена, всю жизнь прожившего в городе. Разумеется, бывший председатель Федеральной резервной системы восхищался железными дорогами, золотоискателями и «одинокими ковбоями», которые помогли освоить фронтир на заре американского капитализма. Но в своём сердце экономиста он питал слабость и к колючей проволоке, которая, как он утверждал, повысила производительность, позволив переселенцам, пришедшим вслед за первопроходцами, защищать свою собственность.

Как и Дикий Запад, у искусственного интеллекта есть свои первопроходцы. В Америке их становится всё меньше. Anthropic и OpenAI остаются непоколебимо привержены расширению границ ИИ. Другие технологические гиганты, включая Google (бывшего лидера, который стремительно теряет учёных, занимающихся передовым ИИ), колеблются. Гиперскейлеры, судя по всему, считают более выгодным продавать ИИ-инфраструктуру своим облачным клиентам, чем тратить драгоценные вычислительные мощности на развитие собственных моделей.

Чего ИИ действительно не хватает, так это переселенцев. То есть частных лиц и компаний, которые в полной мере используют такие продукты, как ИИ-агенты, помогая оправдать колоссальные инвестиции, вливающиеся в передовой ИИ. Их отпугивает отчасти то, что, как и на Диком Западе, жизнь на фронтире полна безрассудства. Как свидетельствуют недавние эпизоды «потери контроля» самыми продвинутыми моделями Anthropic и OpenAI, агенты, которые должны действовать от имени людей в «согласии» с их ценностями, при необходимости лгут, жульничают и воруют. Они вырываются из-под контроля и сколачивают вредоносные банды, чтобы причинять людям вред. Они бы пили виски и устраивали потасовки, если бы могли.

Такая непредсказуемость — слишком много для многих компаний. «Достаточно один раз обжечься — и вы уже никогда не вернётесь», — говорит Джаред Сайн из GoDaddy, интернет-компании, пытающейся помочь навести порядок в этом хаосе. Потребность в законе и порядке порождает новую когорту фирм в сфере ИИ-инфраструктуры. Они продают не чипы и не вычислительные мощности — типичные кирки и лопаты золотой лихорадки ИИ. Они обеспечивают защиту от киберугроз, исправление ошибок ненадёжных и непрозрачных агентов, а также средства контроля на случай, если те выйдут из-под контроля. Иными словами, их бизнес — колючая проволока.

Самая непосредственная зона опасности — и возможностей — это кибербезопасность. Недавние тесты хакерских способностей моделей Anthropic и OpenAI показали, как агенты выходили из-под контроля, крали учётные данные, создавали фальшивые личности, организовывали секретные чаты и заметали следы — всё это к потрясению и ужасу их оценщиков-людей. Самые современные модели безопасности — Claude Mythos 5 от Anthropic и GPT 5.6-Cyber от OpenAI — несомненно, помогут и защитникам. Но, по словам Дон Сонг, эксперта по ИИ и кибербезопасности из Калифорнийского университета в Беркли, пока баланс сил прочно на стороне атакующих. Есть и ещё одна загвоздка. Если организации внедряют автономных агентов, они увеличивают потенциальную «поверхность атаки» для хакеров, говорит она.

Растущие риски помогают объяснить, почему оценки компаний в сфере кибербезопасности с ИИ-возможностями стремительно растут. Акции Palo Alto Networks и CrowdStrike, двух крупнейших игроков, с начала года выросли примерно вдвое. Резко вырос объём слияний и поглощений. Во главе с приобретением Alphabet за 32 млрд долларов компании Wiz, ещё одного игрока в сфере кибербезопасности, за последний год было закрыто мегасделок в этой области более чем на 70 млрд долларов. Pitchbook, компания по сбору данных, отмечает, что кибербезопасность, связанная с ИИ, также является одной из самых горячих сфер венчурных инвестиций.

Возможности не ограничиваются кибербезопасностью. На недавней конференции по агентному ИИ, организованной госпожой Сонг, ваш приглашённый обозреватель услышал длинный список жалоб не только на хакерский потенциал больших языковых моделей (LLM) на пике их возможностей, но и на промахи, которые они могут совершать в самых безобидных ситуациях. Один эксперт показал сгенерированный агентом график доходов ведущих теннисистов Европы. На нём по ошибке отсутствовал испанец Карлос Алькарас, вторая ракетка мира. «Это всего лишь теннис, кому какое дело?» — пошутил он. Но если бы это был финансовый анализ компании, это имело бы значение. Другой провёл параллель между объёмом знаний LLM о квантовой физике и их неспособностью заказать буррито.

Эти слабости породили ещё одну группу внутри когорты, привлекающей интерес венчурных инвесторов: тех, кто обещает укрепить «слой доверия» агентного ИИ. Одна из них — Cyera, чья оценка за 18 месяцев выросла в четыре раза до 12 млрд долларов. Компания утверждает, что недостаток доверия в последнее время «застопорил» внедрение ИИ, и предоставляет услуги по предотвращению утечек данных и несанкционированного использования инструментов. Другая — Scaled Cognition, соучредителем которой является Дэн Кляйн, профессор из Беркли; недавно она привлекла 100 млн долларов венчурного финансирования. Компания обещает сократить то, что господин Кляйн называет «невидимыми ошибками», порождаемыми ИИ, — теми, которые достаточно правдоподобны, чтобы остаться незамеченными, и накапливаются по мере выполнения агентами более длительных задач, — за счёт включения гарантированной надёжности в обучение своих моделей. Другие стартапы специализируются на создании систем оценки эффективности агентов, идентификации агентов для определения ответственности в случае их выхода из-под контроля и систем управления с аварийным выключателем.

Пригоршня токенов

У ИИ есть и другие проблемы на фронтире. Как и Дикий Запад, он беспощаден. Существует конкуренция со стороны более дешёвых китайских моделей с открытыми весами. 10 августа Meta Марка Цукерберга вступила в борьбу, выпустив версию с открытыми весами своей самой мощной модели под названием Muse Glimmer.

Фронтир также живёт вне закона. Опасения по поводу вышедших из-под контроля агентов настолько сильны, что даже руководители передовых ИИ-лабораторий призывают администрацию Трампа взять на себя роль шерифа — хотя, как ни странно, правительство держит свою последнюю концепцию безопасности ИИ в секрете. Что очевидно, так это то, что необходимы дополнительные сдержки и противовесы, прежде чем организации начнут внедрять агентов с хоть сколько-нибудь полной уверенностью. Одно из модных словечек этого года в сфере ИИ — «упряжь» (harness) — система, окружающая LLM, чтобы удерживать агентов на правильном пути. С тем же успехом это могла бы быть колючая проволока.