Дарон Аджемоглу
БОСТОН — Агентные ИИ приходят, готовы мы к этому или нет. Хотя остаётся много неясностей относительно того, когда ИИ-модели смогут автономно взаимодействовать с цифровыми платформами, другими ИИ-инструментами и даже людьми, сомнений в том, что это будет трансформирующее событие — к лучшему или худшему — почти не осталось. И всё же, несмотря на обилие комментариев (и хайпа) вокруг агентного ИИ, многие важные вопросы остаются без ответа.
Самый главный из них: какую именно модель агентного ИИ стремится развивать техноиндустрия?
Разные подходы к созданию ИИ будут иметь радикально разные последствия. В модели «ИИ как советник» такие агенты будут давать персонализированные рекомендации людям, оставляя за человеком последнее слово. В модели же «автономного ИИ» агент сам принимает решения от имени человека. Это различие имеет глубокие и далеко идущие последствия.
Человек ежедневно принимает сотни решений, некоторые из которых влияют на карьеру, благосостояние и счастье. Многие из этих решений основаны на неполной информации и определяются скорее эмоциями, интуицией, инстинктами или импульсами. Как однажды сказал Дэвид Юм: «Разум есть и должен быть лишь рабом страстей». Люди могут принимать решения без строгой логики и глубокого анализа — и это не всегда плохо. Это делает нас людьми. Страсть отражает цель, и она помогает справляться со сложностью мира.
ИИ-советники, предоставляющие надёжную, уместную и персонализированную информацию, могут действительно улучшить многие важные решения, но мотивация останется у человека.
Тогда в чём же опасность, если автономные ИИ будут принимать решения за нас? Разве это не упростит жизнь и не снизит ошибки?
Есть несколько проблем в таком подходе. Во-первых, человеческая субъектность критична для обучения и развития личности. Сам факт принятия решений, даже если они основаны на советах ИИ, укрепляет наше чувство контроля и смысла. Человеческие действия часто направлены не на оптимизацию, а на открытие и осознание — опыт, который исчезает, если решения полностью делегированы ИИ.
Кроме того, если индустрия сосредоточится на создании автономных агентов, это значительно ускорит автоматизацию человеческого труда. А если ИИ станет главным способом замены людей, то мечты о всеобщем процветании останутся недостижимыми.
Но самое важное — это принципиальное отличие между действием ИИ от имени человека и действиями самого человека.
Большинство взаимодействий между людьми содержат элементы как сотрудничества, так и конфликта. Например, одна компания продаёт ресурсы другой. Если продукт важен для покупателя, то сделка выгодна для обеих сторон (и общества в целом).
Однако цена ресурса определяется в процессе переговоров, в котором всегда есть элемент конфликта. Чем выше цена — тем выгоднее продавцу и наоборот. Исход таких переговоров зависит от норм (например, справедливости), институтов (например, контрактов) и рыночных факторов (например, есть ли альтернативные покупатели). Представим, что покупатель известен как жёсткий переговорщик, настаивающий только на минимальной цене. Если других покупателей нет, продавец вынужден согласиться.
К счастью, в реальной жизни такие крайние позиции редки: люди не хотят портить репутацию и обычно не стремятся к агрессивному поведению. Но представьте, что покупатель использует автономного ИИ-агента, лишённого эмпатии и обладающего «стальными нервами». Такой ИИ всегда будет настаивать на максимально выгодной позиции — и человек не сможет его переубедить. В модели же ИИ-советника программа может рекомендовать жёсткую позицию, но человек примет финальное решение.
В краткосрочной перспективе автономные ИИ-агенты могут усилить неравенство, ведь доступ к таким «холодным» ИИ-системам будет только у избранных.
Но даже если у всех появится такой ИИ — это не улучшит ситуацию. Общество окажется в игре на истощение, где ИИ доводит каждый конфликт до предела.
Такие конфликты — высокорисковые по своей природе. Это как игра в «цыпленка» (chicken), когда две машины несутся навстречу и проигрывает тот, кто свернёт первым. Но если никто не сворачивает — обе стороны погибают.
ИИ, обученный выигрывать в такой игре, никогда не свернёт. Хотя ИИ может быть отличным помощником, предлагающим полезную информацию в реальном времени, мир автономных ИИ-агентов создаст множество новых проблем и сведёт на нет многие потенциальные преимущества технологий.
Дарон Аджемоглу — лауреат Нобелевской премии по экономике 2024 года, профессор экономики MIT и соавтор (совместно с Саймоном Джонсоном) книги Power and Progress: Our Thousand-Year Struggle Over Technology and Prosperity (PublicAffairs, 2023).
