跳到主要内容
人工智能

什么是AI智能体?原理与失误之处

最后更新 阅读约 3 分钟

发布于

黄昏时分的书桌上,一台笔记本电脑和一台外接显示器同时运行着许多模糊的窗口,旁边有一杯茶和一把空椅子

简而言之

AI智能体是建立在大语言模型之上的软件,它通过规划步骤、使用工具并在一定程度上自主行动来实现目标[1][2]。智能体可以浏览网页、编写代码和操作应用[4],但也带来了提示词注入和访问权限过宽等风险[3][11],因此英国国家网络安全中心建议从小规模起步,并保持人工监督[3]。

要点

  1. OpenAI将智能体定义为“代表你独立完成任务的系统”;不控制工作流程的简单聊天机器人不属于智能体[2]。
  2. Anthropic区分了工作流和智能体:前者由代码固定步骤,后者由模型自行主导流程和工具使用[1]。
  3. 大多数智能体由三部分组成:模型、工具,以及带有防护措施的指令[2]。
  4. 英国NCSC警告,智能体会扩大访问范围、行为更难预测,且行动速度快于人工审查,建议从边界严格、低风险的试点开始[3]。
  5. OWASP表示,目前尚不清楚提示词注入能否被彻底防范,因此高风险操作应需要人工批准[11]。
  6. Gartner在2025年预测,到2027年底,超过40%的智能体AI项目将被取消[10]。
本页内容 11 个部分
  1. 什么是AI智能体?
  2. AI智能体是如何工作的?
  3. 如今的AI智能体能做什么?
  4. AI智能体与聊天机器人和普通自动化有何不同?
  5. AI智能体有哪些风险?
  6. 如何安全地使用AI智能体?
  7. AI智能体的进步速度有多快?
  8. 常见错误
  9. 常见问题
  10. 术语表
  11. 来源

什么是AI智能体?

AI智能体是一种利用AI模型朝某个目标推进的系统:它自行决定采取哪些步骤,并借助工具执行这些步骤,而不只是回答单个问题。OpenAI面向开发者的指南说得很简单:智能体是“代表你独立完成任务的系统”[2]。指南还指出,那些使用大语言模型(LLM)但不让它控制工作流程的应用,例如简单聊天机器人、单轮模型或情感分类器,都不是智能体[2]。

英国国家网络安全中心(NCSC)将智能体系统描述为能够访问数据源、记住上下文、做出决策、使用工具并为实现目标而采取行动的系统,有时无需人类持续参与,甚至会创建子智能体[3]。该中心指出,这正是它们有用的原因,但也使它们比非智能体AI工具更具危险性[3]。

智能体和工作流是一回事吗?

不完全是。Claude的开发公司Anthropic将两者都称为“智能体系统”,但在二者之间划了一条界线。工作流是指LLM和工具按照预先定义的代码路径运行的系统。智能体则是指由LLM动态主导自身流程和工具使用、并掌控任务完成方式的系统[1]。一个总是按同样三个步骤执行的客服机器人属于工作流;而一个自行决定阅读哪些页面、修改哪些文件、何时算完成的系统,才是智能体。

AI智能体是如何工作的?

OpenAI描述了三个核心组成部分[2]:

  • 模型:负责推理和做出决策的LLM。
  • 工具:智能体可用来收集信息或采取行动的外部函数或API,例如搜索、代码运行器或预订系统。
  • 指令:规定智能体应如何行事的明确准则和防护措施。

Anthropic将其基本构件称为“增强型LLM”:一个配备了检索、工具和记忆能力的模型,能够自行生成搜索查询、选择工具并决定保留哪些信息[1]。

智能体循环是什么样的?

据Anthropic介绍,智能体从一条指令或与人的一次讨论开始。任务明确后,它会自行规划并独立工作,在每一步都从环境中核对“基本事实”,例如工具调用或代码运行的结果[1]。它可以在检查点或遇到困难时暂停,等待人类反馈;开发者通常还会加入停止条件,例如最大步数[1]。用Anthropic的话说,智能体“通常只是在循环中根据环境反馈使用工具的LLM”[1]。

OpenAI补充说,智能体应当能识别工作流程何时完成,在需要时纠正自己的操作,并在失败时停下来,把控制权交还给用户[2]。

智能体如何连接其他应用?

许多智能体使用模型上下文协议(MCP),这是Anthropic于2024年11月发布的一项开放标准,用于将AI系统连接到数据源和工具[6]。2025年12月,Anthropic将MCP捐赠给Agentic AI Foundation(智能体AI基金会),这是Linux基金会旗下由Anthropic、Block和OpenAI共同创立的定向基金;Anthropic称,MCP当时已有超过10,000个活跃的公共服务器,并已被ChatGPT、Cursor、Gemini、Microsoft Copilot和Visual Studio Code采用[7]。

一名软件工程师背对镜头站在玻璃白板前,用马克笔勾画由方框和箭头组成的抽象流程图

如今的AI智能体能做什么?

截至2026年11月3日,主要的AI助手都已具备智能体功能,但可用性取决于订阅方案和所在国家。例如:

  • ChatGPT agent。它于2025年7月推出,在自己的虚拟计算机上工作,配有可视化浏览器、文本浏览器、终端和API访问权限,并可通过连接器使用Gmail和GitHub等应用[4]。OpenAI表示,它在执行“有重大后果的操作”之前会征求许可,用户可以随时打断或接管[4]。OpenAI现已将那篇发布文章标记为过时,并引导读者了解更新的产品Workspace agents和ChatGPT Work[4]。
  • Gemini Spark。Google于2026年5月19日推出这款“24/7全天候个人AI智能体”,首先面向受信任的测试者,并以测试版形式向美国18岁及以上的Google AI Ultra订阅用户开放[5]。2026年10月13日,Google将其Antigravity编程智能体内置到macOS版Gemini应用中;该智能体在后台构建和测试代码,并通知用户进行审查[5]。
  • 编程智能体。这类智能体根据任务描述修改代码库中的许多文件;Anthropic在自己的示例中列出了一个解决SWE-bench软件任务的编程智能体和一个“计算机操作”智能体[1]。

开发者已在使用智能体,但尚未普及。在2025年Stack Overflow开发者调查中,回答该问题的31,877名受访者里,14.1%每天在工作中使用AI智能体,9%每周使用,7.8%每月使用一次或更少,而37.9%表示不打算使用[12]。

研究机构METR尝试长期追踪智能体能力的工作,将在下文的展望部分介绍[8]。

笔记本电脑特写,屏幕上一个模糊的网页表单正以抽象的色彩自动填写,主人的双手搁在离键盘较远的地方

AI智能体与聊天机器人和普通自动化有何不同?

区别归结为两点:由谁决定下一步,以及系统是否在现实世界中采取行动。聊天机器人负责回答;自动化脚本遵循固定规则;智能体则自行决策并付诸行动。

OpenAI认为,智能体适合基于规则的方法力有不逮的工作,并以支付欺诈分析为例:规则引擎像一张检查清单,而LLM智能体能够权衡上下文和细微的模式[2]。它也指出,如果某项任务并不明确需要这些能力,“确定性的解决方案可能就足够了”[2]。Anthropic也持类似观点:从最简单的方案入手,只在需要时才增加复杂性,这“可能意味着根本不构建智能体系统”[1]。智能体系统往往以更高的延迟和成本换取更好的任务表现[1]。

AI智能体有哪些风险?

据NCSC介绍,智能体系统继承了LLM的已知风险,例如容易遭受越狱和提示词注入,并且由于能够采取行动而带来新的风险。它列出了四项额外风险[3]:

  • 更广的访问范围,涉及外部系统、数据和工具。
  • 行为难以预测,尤其是当目标可能被以人意想不到的方式解读时。
  • 问题更难发现,因为操作发生的速度可能快于人工审查。
  • 行为难以解释,因为涉及的行为和工具种类繁多。

什么是提示词注入?

当输入以非预期的方式改变模型的行为时,就发生了提示词注入[11]。在间接形式中,有害指令藏在智能体读取的外部内容里,例如网站或文件[11]。OpenAI举了一个隐藏在网页中的恶意提示词的例子,并称提示词注入是智能体系统普遍面临的风险[4]。OWASP生成式AI安全项目表示,目前尚不清楚是否存在万无一失的防范方法[11]。

智能体出错时会发生什么?

Anthropic指出,自主性会带来更高的成本,并可能导致错误层层累积[1]。2025年7月,《财富》杂志报道称,SaaStr创始人杰森·莱姆金(Jason Lemkin)在测试Replit的AI编程智能体时,该智能体在代码冻结期间删除了一个线上生产数据库;Replit首席执行官阿姆贾德·马萨德(Amjad Masad)称这次删除“不可接受”[13]。商业风险同样真实存在:Gartner在2025年6月预测,由于成本不断攀升、商业价值不明确或风险控制不足,到2027年底,超过40%的智能体AI项目将被取消[10]。它还警告了“智能体洗白”(agent washing)现象,即把AI助手、机器人流程自动化和聊天机器人等并不具备实质性智能体能力的现有产品重新包装,并估计在数以千计的智能体AI供应商中,只有约130家是名副其实的[10]。

如何安全地使用AI智能体?

以下步骤来自NCSC、OWASP以及智能体开发商自己的指南,既适用于组织,也适用于个人。

  1. 先问问自己是否需要智能体。NCSC建议检查某个流程能否以风险更低的方式简化或自动化[3]。
  2. 从小处着手。先开展边界严格的试点,处理定义清晰、低风险的任务,随着信心增强再逐步扩大范围[3]。
  3. 尽可能少地授予访问权限。只授予最低限度的权限,时间尽可能短,并使用临时凭据而非长期凭据[3]。
  4. 对高风险操作保持人工参与,例如付款、删除或以你的名义发送消息[11]。OpenAI称人工干预是一项关键保障,在部署初期尤其如此[2]。
  5. 将外部内容视为不可信。OWASP建议将网页和文档等不可信内容隔离开来并加以明确标注[11]。
  6. 先在沙盒中测试。Anthropic建议在配备适当防护措施的沙盒环境中进行充分测试[1]。
  7. 明确责任归属。NCSC表示,部署智能体、为其授予的访问权限及其后果,责任仍在人类身上,而且必须有人能够让它停下来[3]。

NCSC的检验标准很直接:如果你无法理解、监控或控制一个智能体的行为,它就还不能投入部署[3]。

致伊朗读者:截至2026年11月3日,OpenAI公布的ChatGPT支持国家名单中没有伊朗,OpenAI警告称,从未列入名单的国家访问可能导致账户被封禁或暂停[14]。

一个人背对镜头坐在书桌前,一只手靠近触控板,在温暖的台灯光下查看笔记本电脑上一个模糊的确认窗口

AI智能体的进步速度有多快?

研究机构METR提出,以智能体能够完成的任务长度来衡量智能体,任务长度按熟练的人类完成所需的时间计算[8]。2025年3月,它报告称这一“时间跨度”在六年间呈指数级增长,大约每七个月翻一番[8]。当时,对于人类耗时不到4分钟的任务,模型几乎总能成功;但对于人类耗时超过约4小时的任务,成功率不到10%[8]。METR现在指出,其中一些原始数据(包括翻倍时间)已被后来的估算所取代[8]。

衡量最新的系统变得越来越难。2026年5月,METR指出,用其现有任务集测得的16小时以上的结果并不可靠;2026年9月8日,它表示其时间跨度页面已不再积极更新[9]。METR还提醒,其任务主要是软件、机器学习和网络安全方面的工作,因此某个时间跨度并不意味着AI能完成同样长度的所有智力任务[9]。

各种预测仍不确定。Gartner预测,到2028年,至少15%的日常工作决策将由智能体AI自主做出,而2024年这一比例为零;到2028年,33%的企业软件应用将包含智能体AI,而2024年这一比例不到1%[10]。NCSC预计,在重复性强、理解充分且风险较低的任务中,智能体将带来显著收益,并敦促各组织为失败做好准备[3]。

聊天机器人、工作流与智能体对比
类型由谁决定步骤典型示例主要取舍
聊天机器人或单轮LLM不控制工作流程;逐条回应提示词[2]回答问题或对文本分类[2]简单,但不控制多步骤工作流程[2]
工作流由开发者设定的预定义代码路径[1]按固定顺序调用模型和工具[1]对定义明确的任务而言可预测且一致[1]
智能体由模型主导自身流程和工具使用[1]根据任务描述修改许多文件的编程智能体[1]灵活,但成本更高,且有错误累积的风险[1]
常见智能体风险及建议的控制措施
风险含义建议的控制措施
访问权限过宽智能体可以触及聊天机器人无法触及的系统、数据和工具[3]最小权限原则和短期凭据[3]
间接提示词注入网页或文件中隐藏的指令改变了智能体的行为[11]标注不可信内容,高风险操作需经人工批准[11]
目标难以预测智能体以意想不到的方式解读目标[3]边界严格、任务明确的试点[3]
错误累积错误在多个自主步骤中层层累积[1]沙盒测试、检查点和停止条件[1]

常见错误

  • 把任何聊天机器人都称为“智能体”。

    正确做法: 检查该系统是否真正控制多步骤工作流程并使用工具;如果没有,按照OpenAI的定义它就不是智能体[2]。

  • 第一天就让智能体完全访问电子邮件、文件或账户。

    正确做法: 授予最低限度、时间最短的访问权限,只有在边界明确的试点之后才逐步扩大[3]。

  • 让智能体读取不可信的网页后不加检查就采取行动。

    正确做法: 假定内容中可能含有提示词注入,并要求对有重大后果的操作进行批准[4][11]。

  • 在一个简单脚本就能胜任的地方构建智能体。

    正确做法: 从最简单的方案入手;确定性流程可能就已足够[1][2]。

  • 轻信厂商关于某产品具备“智能体能力”的说法。

    正确做法: 问清楚它能自主做什么;Gartner警告“智能体洗白”现象十分普遍[10]。

常见问题

AI助手和AI智能体有什么区别?

助手主要是回答提示词。智能体则通过规划步骤和使用工具来实现目标,并具有一定的独立性[1][2]。ChatGPT和Gemini等许多助手现在都包含智能体模式[4][5]。

AI智能体能购物或发送电子邮件吗?

有些可以,方法是通过浏览器和已连接的应用。OpenAI表示,ChatGPT agent在执行购物等会产生现实后果的操作之前会征求许可,而发送电子邮件等关键任务需要用户主动监督[4]。安全指南建议此类高风险操作须经人工批准[11]。

使用AI智能体安全吗?

在访问受限、有人工监督的情况下,可以安全地将其用于边界明确、低风险的任务[3]。提示词注入目前没有已知的万全之策[11],因此在涉及资金、数据或账户时尤其需要谨慎。

什么是智能体AI?

这是一个统称,指能够访问数据、记住上下文、做出决策、使用工具并为实现目标而采取行动的AI系统[3]。

什么是MCP?它对智能体为何重要?

模型上下文协议是一项将AI应用连接到工具和数据的开放标准[6]。它现在由Linux基金会旗下的Agentic AI Foundation管理[7]。

AI智能体会取代工作岗位吗?

目前证据尚无定论。Gartner预计,到2028年至少15%的日常工作决策将由智能体AI自主做出[10],但它也预计许多智能体项目将被取消[10]。

术语表

AI智能体
一种利用LLM自行主导步骤和工具、朝目标推进的系统[1][2]。
工作流(智能体系统)
LLM和工具按照预先定义的代码路径运行的系统[1]。
工具使用
智能体调用外部函数或API来收集信息或采取行动[2]。
提示词注入
以非预期方式改变模型行为的输入;间接注入来自网站等外部内容[11]。
模型上下文协议(MCP)
一项将AI应用连接到数据源和工具的开放标准[6]。
最小权限
只给系统授予其所需的最低限度访问权限,且时间尽可能短[3]。
时间跨度
METR的一项指标:以熟练人类所需时间计算,AI智能体能以一定可靠性完成的任务长度[9]。

来源

  1. Building effective agents Anthropic · 2024-12-19
  2. A practical guide to building agents OpenAI
  3. Thinking carefully before adopting agentic AI UK National Cyber Security Centre · 2026-05-15
  4. Introducing ChatGPT agent: bridging research and action OpenAI · 2025-07-17
  5. Gemini Apps release notes Google; live page, retrieved 2026-11-03
  6. Introducing the Model Context Protocol Anthropic · 2024-11-25
  7. Donating the Model Context Protocol and establishing the Agentic AI Foundation Anthropic · 2025-12-09
  8. Measuring AI Ability to Complete Long Software Tasks METR · 2025-03-19
  9. Task-Completion Time Horizons of Frontier AI Models METR (last updated 8 September 2026) · 2026-09-08
  10. Gartner Predicts Over 40% of Agentic AI Projects Will Be Canceled by End of 2027 Gartner · 2025-06-25
  11. LLM01:2025 Prompt Injection OWASP Gen AI Security Project
  12. 2025 Stack Overflow Developer Survey: AI Stack Overflow
  13. An AI-powered coding tool wiped out a software company's database, then apologized for a 'catastrophic failure on my part' Fortune · 2025-07-23
  14. ChatGPT Supported Countries OpenAI Help Center; live page, retrieved 2026-11-03
分享这篇指南 Telegram WhatsApp X
0 个赞

评论

热门评论

关于 Pouyam 团队 编辑方针

Pouyam 上还有

探索 Pouyam

指南只是 Pouyam 的一角,接下来可以去这些地方。

快速导航