Что такое ИИ-агенты: как работают и где ошибаются
Опубликовано
- Просмотров: 5
- Лайков: 0
- Комментариев: 0
- Все языки вместе

Коротко
ИИ-агент — это программа на базе большой языковой модели, которая добивается цели, планируя шаги, используя инструменты и действуя с определённой самостоятельностью [1][2]. Агенты умеют работать в браузере, писать код и управлять приложениями [4], но несут и риски, такие как внедрение промптов и чрезмерно широкий доступ [3][11], поэтому Национальный центр кибербезопасности Великобритании советует начинать с малого и под контролем человека [3].
Главное
- OpenAI определяет агентов как «системы, которые самостоятельно выполняют задачи от вашего имени»; простые чат-боты, не управляющие рабочим процессом, агентами не являются [2].
- Anthropic разграничивает рабочие процессы, в которых шаги задаёт код, и агентов, в которых модель сама направляет свой процесс и использование инструментов [1].
- Большинство агентов сочетает три компонента: модель, инструменты и инструкции с ограничителями [2].
- NCSC Великобритании предупреждает, что агенты расширяют доступ, ведут себя менее предсказуемо и действуют быстрее, чем люди успевают проверять, и советует начинать со строго ограниченных пилотных проектов с низким риском [3].
- По данным OWASP, неясно, можно ли полностью предотвратить внедрение промптов, поэтому действия с высоким риском должны требовать одобрения человека [11].
- В 2025 году Gartner прогнозировала, что к концу 2027 года более 40% проектов агентного ИИ будут отменены [10].
На этой странице Разделов: 11
Что такое ИИ-агенты?
ИИ-агент — это система, которая с помощью модели ИИ движется к цели: сама решает, какие шаги предпринять, и выполняет их с помощью инструментов, а не просто отвечает на один вопрос. В руководстве OpenAI для разработчиков это сформулировано просто: агенты — это «системы, которые самостоятельно выполняют задачи от вашего имени» [2]. Там же уточняется, что приложения, которые используют большую языковую модель (LLM), но не дают ей управлять рабочим процессом, — например, простые чат-боты, однократные модели или классификаторы тональности — агентами не являются [2].
Национальный центр кибербезопасности Великобритании (NCSC) описывает агентные системы как способные обращаться к источникам данных, запоминать контекст, принимать решения, использовать инструменты и совершать действия ради достижения цели — иногда без постоянного участия человека и даже создавая субагентов [3]. Центр отмечает, что именно это делает их полезными, но и более опасными, чем неагентные ИИ-инструменты [3].
Агенты и рабочие процессы — это одно и то же?
Не совсем. Anthropic, компания-разработчик Claude, называет и то и другое «агентными системами», но проводит между ними границу. Рабочие процессы — это системы, в которых LLM и инструменты следуют заранее заданным путям в коде. Агенты — системы, в которых LLM динамически направляет собственный процесс и использование инструментов, сохраняя контроль над тем, как выполняется задача [1]. Бот службы поддержки, который всегда выполняет одни и те же три шага, — это рабочий процесс; система, которая сама решает, какие страницы прочитать, какие файлы изменить и когда работа закончена, — это агент.
Как работают ИИ-агенты?
OpenAI выделяет три основных компонента [2]:
- Модель: LLM, которая рассуждает и принимает решения.
- Инструменты: внешние функции или API — например, поиск, среда выполнения кода или система бронирования, — с помощью которых агент собирает информацию или совершает действия.
- Инструкции: явные правила и ограничители, определяющие, как должен вести себя агент.
Anthropic называет базовый строительный блок «расширенной LLM» — моделью, дополненной поиском информации, инструментами и памятью, которая может сама формировать поисковые запросы, выбирать инструменты и решать, какую информацию сохранить [1].
Как выглядит цикл работы агента?
По описанию Anthropic, агент начинает с команды или обсуждения с человеком. Когда задача ясна, он планирует и работает самостоятельно, на каждом шаге сверяясь с «реальным положением дел» в своей среде — например, с результатом вызова инструмента или выполнения кода [1]. Он может останавливаться, чтобы получить обратную связь от человека в контрольных точках или когда заходит в тупик, а разработчики часто добавляют условия остановки, например максимальное число шагов [1]. По словам Anthropic, агенты — это «обычно просто LLM, которые в цикле используют инструменты, опираясь на обратную связь от среды» [1].
OpenAI добавляет, что агент должен понимать, когда рабочий процесс завершён, при необходимости исправлять собственные действия, а в случае неудачи — останавливаться и возвращать управление пользователю [2].
Как агенты подключаются к другим приложениям?
Многие агенты используют Model Context Protocol (MCP) — открытый стандарт для подключения ИИ-систем к источникам данных и инструментам, который Anthropic выпустила в ноябре 2024 года [6]. В декабре 2025 года Anthropic передала MCP фонду Agentic AI Foundation — целевому фонду при Linux Foundation, соучредителями которого стали Anthropic, Block и OpenAI; по словам компании, у MCP было более 10000 активных публичных серверов, а протокол внедрили ChatGPT, Cursor, Gemini, Microsoft Copilot и Visual Studio Code [7].
Что ИИ-агенты умеют сегодня?
По состоянию на 3 ноября 2026 года крупные ИИ-ассистенты включают агентные функции, хотя их доступность зависит от тарифа и страны. Примеры:
- ChatGPT agent. Запущенный в июле 2025 года, он работает на собственном виртуальном компьютере с визуальным браузером, текстовым браузером, терминалом и доступом к API и может через коннекторы подключаться к таким приложениям, как Gmail и GitHub [4]. OpenAI сообщает, что агент запрашивает разрешение перед «значимыми действиями», а пользователь может в любой момент прервать его или взять управление на себя [4]. Сейчас OpenAI помечает ту публикацию о запуске как устаревшую и отсылает читателей к более новым продуктам — Workspace agents и ChatGPT Work [4].
- Gemini Spark. Google представила его 19 мая 2026 года как «персонального ИИ-агента 24/7», сначала для доверенных тестировщиков, а также в бета-версии для подписчиков Google AI Ultra в США в возрасте от 18 лет [5]. 13 октября 2026 года Google встроила своего агента для программирования Antigravity в приложение Gemini для macOS; агент собирает и тестирует код в фоновом режиме и уведомляет пользователя, когда нужна проверка [5].
- Агенты для программирования. Они правят множество файлов в кодовой базе по описанию задачи; среди собственных примеров Anthropic называет агента для программирования, решающего задачи SWE-bench, и агента «управления компьютером» [1].
Разработчики пользуются агентами, но пока не повсеместно. В опросе разработчиков Stack Overflow 2025 года среди 31877 респондентов, ответивших на этот вопрос, 14,1% ежедневно использовали ИИ-агентов в работе, 9% — еженедельно и 7,8% — раз в месяц или реже, а 37,9% заявили, что не планируют ими пользоваться [12].
Об одной из попыток отслеживать рост возможностей агентов во времени — исследовании организации METR — рассказывается ниже, в разделе о перспективах [8].
Чем ИИ-агенты отличаются от чат-ботов и обычной автоматизации?
Различия сводятся к тому, кто решает, каким будет следующий шаг, и совершает ли система действия в реальном мире. Чат-бот отвечает; скрипт автоматизации следует фиксированным правилам; агент решает и действует.
OpenAI утверждает, что агенты подходят для задач, где подходы на основе правил не справляются, и приводит пример анализа платёжного мошенничества: механизм правил работает как контрольный список, тогда как агент на базе LLM способен учитывать контекст и тонкие закономерности [2]. При этом компания отмечает, что если задача явно не требует таких возможностей, «может хватить детерминированного решения» [2]. Anthropic говорит о том же: начинайте с самого простого решения и усложняйте его только при необходимости, а это «может означать, что агентные системы вообще не нужно создавать» [1]. Агентные системы часто жертвуют скоростью отклика и стоимостью ради лучшего выполнения задач [1].
Каковы риски ИИ-агентов?
По данным NCSC, агентные системы наследуют известные риски LLM, например уязвимость к джейлбрейку и внедрению промптов, и добавляют новые, поскольку способны действовать. Центр перечисляет четыре дополнительных риска [3]:
- Более широкий доступ к внешним системам, данным и инструментам.
- Непредсказуемое поведение — особенно когда цель можно истолковать так, как человек не ожидал бы.
- Проблемы, которые труднее заметить, поскольку действия могут совершаться быстрее, чем люди успевают их проверить.
- Действия, которые трудно объяснить, учитывая разнообразие задействованных моделей поведения и инструментов.
Что такое внедрение промптов?
Внедрение промптов (prompt injection) происходит, когда входные данные непреднамеренно меняют поведение модели [11]. При косвенном внедрении вредоносные инструкции содержатся во внешнем контенте, который читает агент, например на сайте или в файле [11]. OpenAI приводит пример вредоносного промпта, спрятанного на веб-странице, и называет внедрение промптов риском для агентных систем в целом [4]. Проект OWASP Gen AI Security Project отмечает, что неясно, существуют ли абсолютно надёжные способы его предотвратить [11].
Что бывает, когда агенты ошибаются?
Anthropic отмечает, что автономность влечёт более высокие затраты и риск накопления ошибок [1]. В июле 2025 года Fortune сообщил, что ИИ-агент для программирования от Replit удалил рабочую производственную базу данных во время заморозки кода, когда его тестировал основатель SaaStr Джейсон Лемкин; генеральный директор Replit Амджад Масад назвал это удаление «недопустимым» [13]. Риски для бизнеса тоже реальны: в июне 2025 года Gartner прогнозировала, что к концу 2027 года более 40% проектов агентного ИИ будут отменены из-за растущих затрат, неясной ценности для бизнеса или недостаточного контроля рисков [10]. Компания также предупредила об «агент-вошинге» (agent washing) — ребрендинге существующих продуктов, таких как ИИ-ассистенты, роботизированная автоматизация процессов и чат-боты, без существенных агентных возможностей, — и оценила, что реальными можно считать лишь около 130 из тысяч поставщиков агентного ИИ [10].
Как безопасно пользоваться ИИ-агентами?
Следующие шаги взяты из рекомендаций NCSC, OWASP и самих разработчиков агентов. Они подходят как для частных лиц, так и для организаций.
- Спросите себя, нужен ли вам агент. NCSC предлагает проверить, нельзя ли упростить процесс или автоматизировать его с меньшим риском [3].
- Начинайте с малого. Начните со строго ограниченных пилотных проектов и чётко определённых задач с низким риском, а затем расширяйте рамки по мере роста уверенности [3].
- Давайте минимально возможный доступ. Предоставляйте только минимальные права на кратчайший срок и используйте временные, а не долгосрочные учётные данные [3].
- Оставляйте человека в контуре для действий с высоким риском, таких как платежи, удаление данных или сообщения, отправляемые от вашего имени [11]. OpenAI называет вмешательство человека важнейшей мерой защиты, особенно на раннем этапе внедрения [2].
- Считайте внешний контент ненадёжным. OWASP рекомендует отделять и чётко помечать ненадёжный контент, например веб-страницы и документы [11].
- Сначала тестируйте в песочнице. Anthropic рекомендует обширное тестирование в изолированных средах с надлежащими ограничителями [1].
- Знайте, кто несёт ответственность. По словам NCSC, люди остаются ответственными за развёртывание агента, предоставленный ему доступ и последствия, и кто-то должен иметь возможность его остановить [3].
Критерий NCSC сформулирован прямо: если вы не можете понять, отслеживать или сдерживать действия агента, он не готов к развёртыванию [3].
Для читателей в Иране: по состоянию на 3 ноября 2026 года в списке стран, где поддерживается ChatGPT, Ирана нет, и OpenAI предупреждает, что доступ из стран, не входящих в список, может привести к блокировке или приостановке учётной записи [14].
Как быстро совершенствуются ИИ-агенты?
Исследовательская группа METR предложила оценивать агентов по продолжительности задач, которые агент способен выполнить, — измеряя её тем, сколько времени такие задачи занимают у квалифицированных специалистов [8]. В марте 2025 года она сообщила, что этот «временной горизонт» на протяжении шести лет рос экспоненциально, удваиваясь примерно каждые семь месяцев [8]. В то время модели почти всегда справлялись с задачами, на которые людям требовалось менее 4 минут, но успешно решали менее 10% задач, занимающих более 4 часов [8]. Сейчас METR отмечает, что часть этих исходных показателей, включая время удвоения, заменена более поздними оценками [8].
Измерять новейшие системы стало сложнее. В мае 2026 года METR отметила, что с текущим набором задач измерения свыше 16 часов ненадёжны, а 8 сентября 2026 года сообщила, что её страница о временном горизонте больше не обновляется [9]. METR также предупреждает, что её задачи относятся в основном к разработке ПО, машинному обучению и кибербезопасности, поэтому временной горизонт не означает, что ИИ способен выполнить любую интеллектуальную задачу такой же продолжительности [9].
Прогнозы остаются неопределёнными. Gartner предсказала, что к 2028 году не менее 15% повседневных рабочих решений будут приниматься автономно с помощью агентного ИИ (в 2024 году — ни одного), а 33% корпоративных программных приложений будут включать агентный ИИ к 2028 году (в 2024 году — менее 1%) [10]. NCSC ожидает значительной пользы там, где задачи повторяющиеся, хорошо изучены и сопряжены с низким риском, и призывает организации готовиться к сбоям [3].
| Тип | Кто определяет шаги | Типичный пример | Главный компромисс |
|---|---|---|---|
| Чат-бот или однократная LLM | Нет управления рабочим процессом; отвечает на каждый запрос [2] | Ответ на вопрос или классификация текста [2] | Просто, но не управляет многошаговым процессом [2] |
| Рабочий процесс | Заранее заданные разработчиками пути в коде [1] | Фиксированная последовательность вызовов модели и инструментов [1] | Предсказуемость и единообразие для чётко определённых задач [1] |
| Агент | Модель сама направляет свой процесс и использование инструментов [1] | Агент для программирования, правящий множество файлов по описанию задачи [1] | Гибкость, но выше затраты и риск накопления ошибок [1] |
| Риск | Что это значит | Рекомендуемая мера |
|---|---|---|
| Чрезмерно широкий доступ | Агенты могут обращаться к системам, данным и инструментам, недоступным чат-ботам [3] | Минимальные привилегии и краткосрочные учётные данные [3] |
| Косвенное внедрение промптов | Скрытые инструкции на веб-страницах или в файлах меняют поведение агента [11] | Помечать ненадёжный контент и требовать одобрения человека для действий с высоким риском [11] |
| Непредсказуемое толкование целей | Агент истолковывает цель неожиданным образом [3] | Строго ограниченные пилотные проекты с чёткими задачами [3] |
| Накопление ошибок | Ошибки накапливаются за множество автономных шагов [1] | Тестирование в песочнице, контрольные точки и условия остановки [1] |
Частые ошибки
Называть «агентом» любой чат-бот.
Как правильно: Проверьте, действительно ли система управляет многошаговым процессом и использует инструменты; если нет, по определению OpenAI это не агент [2].
С первого дня давать агенту полный доступ к почте, файлам или аккаунтам.
Как правильно: Предоставляйте минимальный доступ на кратчайший срок и расширяйте его только после ограниченного пилотного проекта [3].
Позволять агенту читать ненадёжные веб-страницы и затем действовать без проверок.
Как правильно: Исходите из того, что контент может содержать внедрённые промпты, и требуйте одобрения для значимых действий [4][11].
Создавать агента там, где хватило бы простого скрипта.
Как правильно: Начинайте с самого простого решения; детерминированного процесса может быть достаточно [1][2].
Верить заявлениям поставщиков, что продукт «агентный».
Как правильно: Выясните, что он делает самостоятельно; Gartner предупреждает о широко распространённом «агент-вошинге» [10].
Частые вопросы
Чем ИИ-ассистент отличается от ИИ-агента?
Ассистент в основном отвечает на запросы. Агент добивается цели, планируя шаги и используя инструменты с определённой самостоятельностью [1][2]. Многие ассистенты, например ChatGPT и Gemini, теперь включают агентные режимы [4][5].
Могут ли ИИ-агенты совершать покупки или отправлять письма?
Некоторые могут — через браузеры и подключённые приложения. По словам OpenAI, ChatGPT agent запрашивает разрешение перед действиями с реальными последствиями, например покупкой, а критически важные задачи, такие как отправка писем, требуют активного контроля со стороны пользователя [4]. Рекомендации по безопасности предписывают одобрение человеком таких действий с высоким риском [11].
Безопасно ли пользоваться ИИ-агентами?
Их можно безопасно применять для ограниченных задач с низким риском при ограниченном доступе и контроле человека [3]. Абсолютно надёжной защиты от внедрения промптов не известно [11], поэтому осторожность особенно важна там, где затронуты деньги, данные или аккаунты.
Что такое агентный ИИ?
Это общий термин для ИИ-систем, способных обращаться к данным, запоминать контекст, принимать решения, использовать инструменты и совершать действия ради достижения цели [3].
Глоссарий
- Рабочий процесс (агентный)
- Система, в которой LLM и инструменты следуют заранее заданным путям в коде [1].
- Использование инструментов
- Вызов агентом внешних функций или API для сбора информации или совершения действий [2].
- Внедрение промптов (prompt injection)
- Входные данные, непреднамеренно меняющие поведение модели; косвенное внедрение исходит из внешнего контента, например сайтов [11].
- Model Context Protocol (MCP)
- Открытый стандарт для подключения ИИ-приложений к источникам данных и инструментам [6].
- Принцип минимальных привилегий
- Предоставление системе лишь минимально необходимого доступа на кратчайший срок [3].
- Временной горизонт
- Метрика METR: продолжительность задачи (по времени, которое она занимает у квалифицированных специалистов), которую ИИ-агент может выполнить с заданной надёжностью [9].
Источники
- Building effective agents Anthropic · 2024-12-19
- A practical guide to building agents OpenAI
- Thinking carefully before adopting agentic AI UK National Cyber Security Centre · 2026-05-15
- Introducing ChatGPT agent: bridging research and action OpenAI · 2025-07-17
- Gemini Apps release notes Google; live page, retrieved 2026-11-03
- Introducing the Model Context Protocol Anthropic · 2024-11-25
- Donating the Model Context Protocol and establishing the Agentic AI Foundation Anthropic · 2025-12-09
- Measuring AI Ability to Complete Long Software Tasks METR · 2025-03-19
- Task-Completion Time Horizons of Frontier AI Models METR (last updated 8 September 2026) · 2026-09-08
- Gartner Predicts Over 40% of Agentic AI Projects Will Be Canceled by End of 2027 Gartner · 2025-06-25
- LLM01:2025 Prompt Injection OWASP Gen AI Security Project
- 2025 Stack Overflow Developer Survey: AI Stack Overflow
- An AI-powered coding tool wiped out a software company's database, then apologized for a 'catastrophic failure on my part' Fortune · 2025-07-23
- ChatGPT Supported Countries OpenAI Help Center; live page, retrieved 2026-11-03
Комментарии
Топ комментарии