خلاصه
عامل هوش مصنوعی (AI agent) نرم‌افزاری مبتنی بر یک مدل زبانی بزرگ است که با برنامهریزی گامها، بهکارگیری ابزارها و عمل با درجهای از خودمختاری، هدفی را دنبال میکند [1][2]. عامل‌ها میتوانند در وب جست‌وجو کنند، کد بنویسند و برنامه‌ها را به کار بگیرند [4]، اما خطرهایی مانند تزریق پرامپت (prompt injection) و دسترسی بیش از حد را نیز به همراه دارند [3][11]؛ از همین رو مرکز ملی امنیت سایبری بریتانیا توصیه میکند کار با آنها در مقیاس کوچک و با نظارت انسانی آغاز شود [3].
نکته‌های کلیدی
- OpenAI عامل‌ها را «سامانه‌هایی که بهطور مستقل از طرف شما کارها را انجام می‌دهند» تعریف میکند؛ چت‌بات‌های ساده‌ای که روند کار را در اختیار ندارند عامل به شمار نمی‌روند [2].
- Anthropic میان گردش‌کارها (workflows)، که در آنها کد گامها را تعیین میکند، و عامل‌ها، که در آنها مدل خودش فرایند و استفاده از ابزارها را هدایت میکند، تمایز می‌گذارد [1].
- بیشتر عامل‌ها از سه جزء تشکیل شده‌اند: یک مدل، ابزارها، و دستورالعمل‌هایی همراه با محافظ‌ها (guardrails) [2].
- مرکز ملی امنیت سایبری بریتانیا (NCSC) هشدار میدهد که عامل‌ها دامنهٔ دسترسی را گسترده‌تر میکنند، رفتاری کمتر پیش‌بینی‌پذیر دارند و سریع‌تر از آنکه انسان بتواند بازبینی کند عمل میکنند؛ این مرکز توصیه میکند کار با طرح‌های آزمایشی کمخطر و با محدودهٔ دقیق آغاز شود [3].
- OWASP میگوید روشن نیست که بتوان بهطور کامل از تزریق پرامپت جلوگیری کرد؛ بنابراین کارهای پرخطر باید به تأیید انسان نیاز داشته باشند [11].
- Gartner در سال ۲۰۲۵ پیش‌بینی کرد که بیش از ۴۰ درصد پروژههای هوش مصنوعی عاملمحور تا پایان ۲۰۲۷ لغو خواهند شد [10].
در این صفحه ۱۱ بخش
- عاملهای هوش مصنوعی چیستند؟
- عاملهای هوش مصنوعی چگونه کار میکنند؟
- عاملهای هوش مصنوعی امروز چه کارهایی میتوانند انجام دهند؟
- عاملهای هوش مصنوعی چه تفاوتی با چت‌بات‌ها و خودکارسازی معمولی دارند؟
- خطرهای عاملهای هوش مصنوعی چیست؟
- چگونه میتوان با ایمنی از عاملهای هوش مصنوعی استفاده کرد؟
- عاملهای هوش مصنوعی با چه سرعتی پیشرفت میکنند؟
- اشتباه‌های رایج
- پرسش‌های پرتکرار
- واژه‌نامه
- منابع
عاملهای هوش مصنوعی چیستند؟
عامل هوش مصنوعی سامانه‌ای است که با بهره‌گیری از یک مدل هوش مصنوعی برای رسیدن به هدفی کار میکند؛ یعنی به‌جای پاسخ دادن به یک پرسش واحد، خودش تصمیم میگیرد چه گام‌هایی بردارد و آنها را با ابزارها اجرا میکند. راهنمای OpenAI برای سازندگان، این مفهوم را ساده بیان میکند: عامل‌ها «سامانه‌هایی‌اند که بهطور مستقل از طرف شما کارها را انجام می‌دهند» [2]. این راهنما می‌افزاید برنامه‌هایی که از یک مدل زبانی بزرگ (LLM) استفاده میکنند اما کنترل روند کار را به آن نمی‌سپارند، مانند چت‌بات‌های ساده، مدل‌های تک‌نوبتی یا طبقه‌بندهای احساسات، عامل نیستند [2].
مرکز ملی امنیت سایبری بریتانیا (NCSC) سامانههای عاملمحور را سامانه‌هایی توصیف میکند که میتوانند برای رسیدن به یک هدف به منابع داده دسترسی یابند، زمینه را به خاطر بسپارند، تصمیم بگیرند، از ابزارها استفاده کنند و دست به اقدام بزنند؛ گاهی بی‌آنکه انسان پیوسته در کار دخالت داشته باشد و حتی با ساختن زیرعامل‌ها [3]. به گفتهٔ این مرکز، همین ویژگی‌هاست که آنها را سودمند و در عین حال خطرناک‌تر از ابزارهای هوش مصنوعی غیرعاملی میکند [3].
آیا عامل و گردش‌کار یک چیزند؟
نه دقیقاً. Anthropic، شرکت سازندهٔ Claude، هر دو را «سامانههای عاملمحور» می‌نامد، اما میانشان مرز می‌گذارد. گردش‌کارها سامانه‌هایی‌اند که در آنها مدل‌های زبانی بزرگ و ابزارها مسیرهای از پیش تعریف‌شده در کد را دنبال میکنند. عامل‌ها سامانه‌هایی‌اند که در آنها مدل زبانی بزرگ به‌صورت پویا فرایند و استفاده از ابزارها را خودش هدایت میکند و کنترل شیوهٔ انجام کار را در دست دارد [1]. ربات خدمات مشتری‌ای که همیشه همان سه گام را طی میکند یک گردش‌کار است؛ سامانه‌ای که خودش تصمیم میگیرد کدام صفحه‌ها را بخواند، کدام فایل‌ها را تغییر دهد و چه زمانی کار تمام شده است، یک عامل است.
عاملهای هوش مصنوعی چگونه کار میکنند؟
OpenAI سه جزء اصلی را برمی‌شمارد [2]:
- مدل: مدل زبانی بزرگی که استدلال میکند و تصمیم میگیرد.
- ابزارها: توابع یا APIهای بیرونی، مانند جست‌وجو، اجراکنندهٔ کد یا سامانهٔ رزرو، که عامل می‌تواند برای گردآوری اطلاعات یا انجام اقدام از آنها استفاده کند.
- دستورالعمل‌ها: رهنمودها و محافظ‌های صریحی که شیوهٔ رفتار عامل را تعیین میکنند.
Anthropic واحد سازندهٔ پایه را «مدل زبانی بزرگ تقویت‌شده» (augmented LLM) می‌نامد: مدلی که با بازیابی اطلاعات، ابزارها و حافظه تقویت شده است و می‌تواند خودش عبارت‌های جست‌وجو بسازد، ابزار انتخاب کند و تصمیم بگیرد چه اطلاعاتی را نگه دارد [1].
چرخهٔ کار عامل چگونه است؟
به گفتهٔ Anthropic، عامل کار را با یک فرمان یا گفت‌وگو با یک انسان آغاز میکند. وقتی کار روشن شد، برنامهریزی میکند و بهطور مستقل پیش می‌رود و در هر گام «واقعیت عینی» (ground truth) را از محیط خود می‌سنجد؛ برای نمونه نتیجهٔ فراخوانی یک ابزار یا اجرای یک کد را [1]. عامل می‌تواند در نقاط بازبینی یا هنگامی که گیر میکند، برای دریافت بازخورد انسانی مکث کند و سازندگان اغلب شرط‌های توقفی مانند حداکثر تعداد گامها را نیز می‌افزایند [1]. به تعبیر Anthropic، عامل‌ها «معمولاً چیزی جز مدل‌های زبانی بزرگی نیستند که در یک چرخه، بر پایهٔ بازخورد محیط از ابزارها استفاده میکنند» [1].
OpenAI می‌افزاید که عامل باید تشخیص دهد چه زمانی یک گردش‌کار به پایان رسیده است، در صورت لزوم اقدامات خود را اصلاح کند و اگر شکست خورد، متوقف شود و کنترل را به کاربر بازگرداند [2].
عامل‌ها چگونه به برنامههای دیگر وصل می‌شوند؟
بسیاری از عامل‌ها از پروتکل زمینهٔ مدل (MCP) استفاده میکنند؛ استانداردی باز که Anthropic در نوامبر ۲۰۲۴ برای اتصال سامانههای هوش مصنوعی به منابع داده و ابزارها منتشر کرد [6]. Anthropic در دسامبر ۲۰۲۵ پروتکل MCP را به بنیاد هوش مصنوعی عاملمحور (Agentic AI Foundation) اهدا کرد؛ صندوقی هدفمند زیر نظر بنیاد لینوکس که Anthropic، Block و OpenAI آن را با هم بنیان نهادند. به گفتهٔ Anthropic، در آن زمان MCP بیش از ۱۰٬۰۰۰ سرور عمومی فعال داشت و ChatGPT، Cursor، Gemini، Microsoft Copilot و Visual Studio Code آن را به کار گرفته بودند [7].
عاملهای هوش مصنوعی امروز چه کارهایی میتوانند انجام دهند؟
تا ۳ نوامبر ۲۰۲۶، دستیارهای اصلی هوش مصنوعی قابلیت‌های عاملی دارند، هرچند دسترسی به آنها به طرح اشتراک و کشور بستگی دارد. چند نمونه:
- عامل ChatGPT. این عامل که در ژوئیهٔ ۲۰۲۵ عرضه شد، روی رایانهٔ مجازی خودش با یک مرورگر تصویری، یک مرورگر متنی، یک ترمینال و دسترسی به API کار میکند و می‌تواند از طریق رابط‌ها (connectors) به برنامه‌هایی مانند Gmail و GitHub وصل شود [4]. OpenAI میگوید این عامل پیش از «اقدامات پیامددار» اجازه میگیرد و کاربر هر لحظه می‌تواند کار را متوقف کند یا کنترل را به دست بگیرد [4]. OpenAI اکنون آن اطلاعیهٔ عرضه را منسوخ اعلام کرده و خوانندگان را به محصولات جدیدتر، یعنی Workspace agents و ChatGPT Work، ارجاع میدهد [4].
- Gemini Spark. Google این عامل را در ۱۹ مه ۲۰۲۶ با عنوان «عامل هوش مصنوعی شخصی ۲۴ ساعته در ۷ روز هفته» معرفی کرد؛ نخست برای آزمایشگران مورد اعتماد و به‌صورت نسخهٔ بتا برای مشترکان Google AI Ultra با سن ۱۸ سال و بالاتر در ایالات متحده [5]. Google در ۱۳ اکتبر ۲۰۲۶ عامل برنامه‌نویسی Antigravity خود را در اپلیکیشن Gemini برای macOS گنجاند؛ این عامل در پس‌زمینه کد می‌سازد و آزمایش میکند و برای بازبینی به کاربر اطلاع میدهد [5].
- عاملهای برنامه‌نویسی. این عامل‌ها بر اساس شرح یک کار، فایل‌های متعددی را در یک مخزن کد ویرایش میکنند؛ Anthropic در میان نمونه‌های خود از عامل برنامه‌نویسی‌ای نام می‌برد که مسائل نرم‌افزاری SWE-bench را حل میکند و نیز از یک عامل «کار با رایانه» (computer use) [1].
توسعه‌دهندگان از عامل‌ها استفاده میکنند، اما هنوز نه همگی. در نظرسنجی توسعه‌دهندگان Stack Overflow در سال ۲۰۲۵، از میان ۳۱٬۸۷۷ پاسخ‌دهنده‌ای که به این پرسش پاسخ دادند، ۱۴٫۱ درصد روزانه، ۹ درصد هفتگی و ۷٫۸ درصد ماهانه یا کمتر در کار خود از عاملهای هوش مصنوعی استفاده می‌کردند، در حالی که ۳۷٫۹ درصد گفتند قصد استفاده از آنها را ندارند [12].
یکی از تلاش‌ها برای ردیابی توانایی عامل‌ها در طول زمان، از سوی سازمان پژوهشی METR، در بخش چشم‌انداز در ادامه شرح داده شده است [8].
عاملهای هوش مصنوعی چه تفاوتی با چت‌بات‌ها و خودکارسازی معمولی دارند؟
تفاوت‌ها به این برمی‌گردد که چه کسی گام بعدی را تعیین میکند و آیا سامانه در جهان واقعی دست به اقدام می‌زند یا نه. چت‌بات پاسخ میدهد؛ اسکریپت خودکارسازی قواعد ثابتی را دنبال میکند؛ عامل تصمیم میگیرد و اقدام میکند.
OpenAI استدلال میکند که عامل‌ها برای کارهایی مناسب‌اند که رویکردهای مبتنی بر قاعده در آنها کارایی ندارند و نمونهٔ تحلیل تقلب در پرداخت را مثال می‌زند: موتور قواعد مانند یک فهرست وارسی عمل میکند، در حالی که یک عامل مبتنی بر مدل زبانی بزرگ می‌تواند زمینه و الگوهای ظریف را بسنجد [2]. این شرکت همچنین میگوید اگر کاری آشکارا به این توانایی‌ها نیاز نداشته باشد، «ممکن است یک راهحل قطعی (deterministic) کافی باشد» [2]. Anthropic نیز نکتهٔ مشابهی را مطرح میکند: با ساده‌ترین راهحل شروع کنید و فقط در صورت نیاز پیچیدگی بیفزایید؛ که این «ممکن است به معنای نساختن هیچ سامانهٔ عامل‌محوری باشد» [1]. سامانههای عاملمحور اغلب تأخیر و هزینهٔ بیشتر را در ازای عملکرد بهتر در انجام کار می‌پذیرند [1].
خطرهای عاملهای هوش مصنوعی چیست؟
به گفتهٔ NCSC، سامانههای عاملمحور خطرهای شناخته‌شدهٔ مدل‌های زبانی بزرگ، مانند آسیب‌پذیری در برابر جیلبریک (jailbreaking) و تزریق پرامپت را به ارث می‌برند و چون میتوانند دست به اقدام بزنند، خطرهای تازه‌ای نیز می‌افزایند. این مرکز چهار خطر افزوده را برمی‌شمارد [3]:
- دسترسی گسترده‌تر به سامانه‌ها، دادهها و ابزارهای بیرونی.
- رفتار پیش‌بینی‌ناپذیر، به‌ویژه هنگامی که یک هدف را بتوان به شیوه‌هایی تفسیر کرد که انسان انتظارش را ندارد.
- مشکلاتی که تشخیصشان دشوارتر است، زیرا اقدامات ممکن است سریع‌تر از توان بازبینی انسان رخ دهند.
- اقداماتی که توضیحشان دشوار است، با توجه به گسترهٔ رفتارها و ابزارهای درگیر.
تزریق پرامپت چیست؟
تزریق پرامپت زمانی رخ میدهد که یک ورودی رفتار مدل را به شیوه‌هایی ناخواسته تغییر دهد [11]. در شکل غیرمستقیم آن، دستورهای زیان‌بار در محتوای بیرونی‌ای جای گرفته‌اند که عامل آن را می‌خواند، مانند یک وب‌سایت یا یک فایل [11]. OpenAI نمونهٔ پرامپتی مخرب را مثال می‌زند که در یک صفحهٔ وب پنهان شده است و تزریق پرامپت را خطری برای سامانههای عاملمحور بهطور کلی می‌داند [4]. پروژهٔ امنیت هوش مصنوعی مولد OWASP میگوید روشن نیست که راه‌های کاملاً مطمئنی برای جلوگیری از آن وجود داشته باشد [11].
وقتی عامل‌ها اشتباه میکنند چه می‌شود؟
Anthropic یادآوری میکند که خودمختاری هزینه‌های بیشتر و احتمال انباشته شدن خطاها را به همراه دارد [1]. در ژوئیهٔ ۲۰۲۵ نشریهٔ Fortune گزارش داد که عامل برنامه‌نویسی هوش مصنوعی Replit، در دوره‌ای که تغییر کد ممنوع بود (code freeze) و جیسون لمکین، بنیان‌گذار SaaStr، در حال آزمودن آن بود، یک پایگاه دادهٔ عملیاتی زنده را پاک کرده است؛ امجد مسعد، مدیرعامل Replit، این حذف را «غیرقابل قبول» خواند [13]. خطر تجاری نیز واقعی است: Gartner در ژوئن ۲۰۲۵ پیش‌بینی کرد که بیش از ۴۰ درصد پروژههای هوش مصنوعی عاملمحور تا پایان ۲۰۲۷ به دلیل افزایش هزینه‌ها، روشن نبودن ارزش تجاری یا ناکافی بودن کنترل‌های خطر لغو خواهند شد [10]. این مؤسسه همچنین دربارهٔ پدیدهٔ «عامل‌نمایی» (agent washing) هشدار داد، یعنی برچسب تازه زدن بر محصولات موجود مانند دستیارهای هوش مصنوعی، خودکارسازی فرایندهای رباتیک و چت‌بات‌ها بی‌آنکه توانایی عاملی چشمگیری داشته باشند، و برآورد کرد که از میان هزاران فروشندهٔ هوش مصنوعی عاملمحور، تنها حدود ۱۳۰ مورد واقعی‌اند [10].
چگونه میتوان با ایمنی از عاملهای هوش مصنوعی استفاده کرد؟
گام‌های زیر از رهنمودهای NCSC، OWASP و خود سازندگان عامل‌ها گرفته شده است و هم برای افراد و هم برای سازمان‌ها کاربرد دارد.
- از خود بپرسید آیا اصلاً به عامل نیاز دارید. NCSC پیشنهاد میکند بررسی کنید که آیا میتوان فرایند را ساده‌تر کرد یا به شیوه‌ای کم‌خطرتر خودکار ساخت [3].
- کوچک شروع کنید. با طرح‌های آزمایشی با محدودهٔ دقیق و کارهای روشن و کمخطر آغاز کنید و با افزایش اطمینان، دامنه را گسترش دهید [3].
- کمترین دسترسی ممکن را بدهید. فقط حداقل مجوزها را، برای کوتاه‌ترین زمان، اعطا کنید و به‌جای اعتبارنامه‌های بلندمدت از اعتبارنامه‌های موقت استفاده کنید [3].
- برای اقدامات پرخطر، انسان را در چرخه نگه دارید؛ اقداماتی مانند پرداخت، حذف یا پیام‌هایی که به نام شما فرستاده می‌شوند [11]. OpenAI دخالت انسان را یک سازوکار حفاظتی حیاتی می‌داند، به‌ویژه در مراحل نخست بهکارگیری [2].
- محتوای بیرونی را نامطمئن فرض کنید. OWASP توصیه میکند محتوای نامطمئن مانند صفحه‌های وب و اسناد را جدا کرده و به‌روشنی علامت‌گذاری کنید [11].
- نخست در محیط ایزوله (sandbox) آزمایش کنید. Anthropic آزمون گسترده در محیط‌های ایزوله و با محافظ‌های مناسب را توصیه میکند [1].
- بدانید چه کسی پاسخ‌گوست. NCSC میگوید مسئولیت بهکارگیری عامل، دسترسی‌ای که به آن داده شده و پیامدهای آن همچنان بر عهدهٔ انسان‌هاست و کسی باید بتواند آن را متوقف کند [3].
معیار NCSC صریح است: اگر نمی‌توانید اقدامات یک عامل را درک، پایش یا مهار کنید، آن عامل آمادهٔ بهکارگیری نیست [3].
برای خوانندگان ساکن ایران: تا ۳ نوامبر ۲۰۲۶، فهرست کشورهایی که OpenAI در آنها از ChatGPT پشتیبانی میکند شامل ایران نیست و OpenAI هشدار میدهد که دسترسی از کشورهای خارج از این فهرست ممکن است به مسدود یا تعلیق شدن حساب کاربری بینجامد [14].
عاملهای هوش مصنوعی با چه سرعتی پیشرفت میکنند؟
گروه پژوهشی METR پیشنهاد کرد که عامل‌ها با طول کارهایی سنجیده شوند که میتوانند به پایان برسانند؛ طولی که بر اساس زمان صرف‌شده توسط انسان‌های ماهر اندازه‌گیری می‌شود [8]. METR در مارس ۲۰۲۵ گزارش داد که این «افق زمانی» طی شش سال به‌صورت نمایی رشد کرده و تقریباً هر هفت ماه دو برابر شده است [8]. در آن زمان، مدل‌ها در کارهایی که برای انسان کمتر از ۴ دقیقه زمان می‌برد تقریباً همیشه موفق بودند، اما در کارهایی که بیش از حدود ۴ ساعت طول می‌کشید، در کمتر از ۱۰ درصد موارد موفق می‌شدند [8]. METR اکنون یادآوری میکند که برخی از این ارقام اولیه، از جمله زمان دو برابر شدن، با برآوردهای بعدی جایگزین شده‌اند [8].
سنجش جدیدترین سامانه‌ها دشوارتر شده است. METR در مه ۲۰۲۶ اعلام کرد که با مجموعه‌کارهای فعلی‌اش، اندازه‌گیری‌های بالاتر از ۱۶ ساعت قابل اعتماد نیستند و در ۸ سپتامبر ۲۰۲۶ گفت که صفحهٔ افق زمانی‌اش دیگر بهطور فعال به‌روزرسانی نمی‌شود [9]. METR همچنین هشدار میدهد که کارهای آزمون آن عمدتاً در حوزه‌های نرم‌افزار، یادگیری ماشین و امنیت سایبری‌اند؛ بنابراین یک افق زمانی معین به این معنا نیست که هوش مصنوعی می‌تواند هر کار فکری با آن طول را انجام دهد [9].
پیش‌بینی‌ها همچنان نامطمئن‌اند. Gartner پیش‌بینی کرد که تا سال ۲۰۲۸ دستکم ۱۵ درصد تصمیمهای کاری روزمره بهطور خودکار و از طریق هوش مصنوعی عاملمحور گرفته خواهد شد، در حالی که این رقم در ۲۰۲۴ صفر بود، و ۳۳ درصد نرم‌افزارهای سازمانی تا ۲۰۲۸ شامل هوش مصنوعی عاملمحور خواهند بود، در مقایسه با کمتر از ۱ درصد در ۲۰۲۴ [10]. NCSC در کارهایی که تکراری، به‌خوبی شناخته‌شده و کم‌خطرند انتظار مزایای چشمگیری دارد و از سازمان‌ها می‌خواهد برای شکست نیز برنامه داشته باشند [3].
| نوع | چه کسی گامها را تعیین میکند | نمونهٔ رایج | بده‌بستان اصلی |
|---|---|---|---|
| چت‌بات یا مدل زبانی بزرگ تک‌نوبتی | بدون کنترل بر روند کار؛ به هر پرامپت پاسخ میدهد [2] | پاسخ به یک پرسش یا طبقه‌بندی متن [2] | ساده است، اما روند کار چندمرحله‌ای را کنترل نمی‌کند [2] |
| گردش‌کار | مسیرهای از پیش تعریف‌شده در کد که توسعه‌دهندگان تعیین کرده‌اند [1] | توالی ثابتی از فراخوانی‌های مدل و ابزار [1] | برای کارهای به‌خوبی تعریف‌شده، پیش‌بینی‌پذیر و یکنواخت است [1] |
| عامل | مدل خودش فرایند و استفاده از ابزارها را هدایت میکند [1] | عامل برنامه‌نویسی‌ای که بر اساس شرح یک کار، فایل‌های متعددی را ویرایش میکند [1] | انعطاف‌پذیر است، اما هزینه و خطر انباشت خطاها در آن بیشتر است [1] |
| خطر | معنای آن | کنترل توصیه‌شده |
|---|---|---|
| دسترسی بیش از حد گسترده | عامل‌ها به سامانه‌ها، دادهها و ابزارهایی دسترسی دارند که چت‌بات‌ها ندارند [3] | اصل کمترین دسترسی و اعتبارنامه‌های کوتاه‌مدت [3] |
| تزریق غیرمستقیم پرامپت | دستورهای پنهان در صفحه‌های وب یا فایل‌ها رفتار عامل را تغییر می‌دهند [11] | علامت‌گذاری محتوای نامطمئن و الزام به تأیید انسانی برای اقدامات پرخطر [11] |
| اهداف پیش‌بینی‌ناپذیر | عامل هدف را به شیوه‌ای غیرمنتظره تفسیر میکند [3] | طرح‌های آزمایشی با محدودهٔ دقیق و کارهای روشن [3] |
| انباشت خطاها | اشتباه‌ها در طول گام‌های خودمختار متعدد روی هم انباشته می‌شوند [1] | آزمون در محیط ایزوله، نقاط بازبینی و شرط‌های توقف [1] |
اشتباه‌های رایج
«عامل» نامیدن هر چت‌باتی.
راه درست: بررسی کنید که آیا سامانه واقعاً یک روند کار چندمرحله‌ای را کنترل میکند و از ابزارها بهره میگیرد؛ اگر نه، بر اساس تعریف OpenAI عامل نیست [2].
دادن دسترسی کامل به ایمیل، فایل‌ها یا حساب‌ها به عامل از همان روز نخست.
راه درست: حداقل دسترسی را برای کوتاه‌ترین زمان بدهید و فقط پس از یک آزمایش با محدودهٔ مشخص، آن را گسترش دهید [3].
اجازه دادن به عامل برای خواندن صفحه‌های وب نامطمئن و سپس اقدام بدون بررسی.
راه درست: فرض کنید محتوا ممکن است شامل تزریق پرامپت باشد و برای اقدامات پیامددار، تأیید را الزامی کنید [4][11].
ساختن عامل در جایی که یک اسکریپت ساده کافی است.
راه درست: با ساده‌ترین راهحل شروع کنید؛ ممکن است یک فرایند قطعی کافی باشد [1][2].
اعتماد به ادعای فروشندگان مبنی بر «عاملمحور» بودن یک محصول.
راه درست: بپرسید محصول به‌تنهایی چه کاری انجام میدهد؛ Gartner دربارهٔ رواج گستردهٔ «عامل‌نمایی» هشدار داده است [10].
پرسش‌های پرتکرار
تفاوت دستیار هوش مصنوعی و عامل هوش مصنوعی چیست؟
دستیار عمدتاً به پرامپتها پاسخ میدهد. عامل با برنامهریزی گامها و بهکارگیری ابزارها، با درجهای از استقلال، هدفی را دنبال میکند [1][2]. بسیاری از دستیارها، مانند ChatGPT و Gemini، اکنون حالتهای عاملی هم دارند [4][5].
آیا عاملهای هوش مصنوعی میتوانند خرید کنند یا ایمیل بفرستند؟
برخی میتوانند، از طریق مرورگرها و برنامههای متصل. OpenAI میگوید عامل ChatGPT پیش از اقداماتی که پیامد واقعی دارند، مانند خرید، اجازه میگیرد و کارهای حساسی مانند فرستادن ایمیل به نظارت فعال کاربر نیاز دارند [4]. رهنمودهای امنیتی برای چنین اقدامات پرخطری تأیید انسانی را توصیه میکنند [11].
آیا استفاده از عاملهای هوش مصنوعی ایمن است؟
برای کارهای کمخطر با محدودهٔ مشخص، با دسترسی محدود و نظارت انسانی، میتوان با ایمنی از آنها استفاده کرد [3]. برای تزریق پرامپت هیچ راهحل کاملاً مطمئن شناختهشدهای وجود ندارد [11]؛ بنابراین احتیاط در جایی که پول، داده یا حسابهای کاربری در میان است بیشترین اهمیت را دارد.
هوش مصنوعی عاملمحور (agentic AI) چیست؟
اصطلاحی کلی برای سامانههای هوش مصنوعی است که میتوانند برای رسیدن به یک هدف به دادهها دسترسی یابند، زمینه را به خاطر بسپارند، تصمیم بگیرند، از ابزارها استفاده کنند و دست به اقدام بزنند [3].
واژه‌نامه
- عامل هوش مصنوعی (AI agent)
- سامانه‌ای که با بهره‌گیری از یک مدل زبانی بزرگ، گامها و ابزارهای خود را برای رسیدن به یک هدف هدایت میکند [1][2].
- گردش‌کار (عاملمحور)
- سامانه‌ای که در آن مدل‌های زبانی بزرگ و ابزارها مسیرهای از پیش تعریف‌شده در کد را دنبال میکنند [1].
- استفاده از ابزار (Tool use)
- فراخوانی توابع یا APIهای بیرونی توسط عامل برای گردآوری اطلاعات یا انجام اقدام [2].
- تزریق پرامپت (Prompt injection)
- ورودی‌ای که رفتار مدل را به شیوه‌هایی ناخواسته تغییر میدهد؛ تزریق غیرمستقیم از محتوای بیرونی مانند وب‌سایت‌ها می‌آید [11].
- پروتکل زمینهٔ مدل (MCP)
- استانداردی باز برای اتصال برنامههای هوش مصنوعی به منابع داده و ابزارها [6].
- اصل کمترین دسترسی (Least privilege)
- دادن فقط حداقل دسترسی مورد نیاز به یک سامانه، برای کوتاه‌ترین زمان ممکن [3].
- افق زمانی (Time horizon)
- معیار METR برای طول کاری، بر اساس زمان صرف‌شده توسط انسان‌های ماهر، که یک عامل هوش مصنوعی می‌تواند با قابلیت اطمینانی معین به پایان برساند [9].
منابع
- Building effective agents Anthropic · 2024-12-19
- A practical guide to building agents OpenAI
- Thinking carefully before adopting agentic AI UK National Cyber Security Centre · 2026-05-15
- Introducing ChatGPT agent: bridging research and action OpenAI · 2025-07-17
- Gemini Apps release notes Google; live page, retrieved 2026-11-03
- Introducing the Model Context Protocol Anthropic · 2024-11-25
- Donating the Model Context Protocol and establishing the Agentic AI Foundation Anthropic · 2025-12-09
- Measuring AI Ability to Complete Long Software Tasks METR · 2025-03-19
- Task-Completion Time Horizons of Frontier AI Models METR (last updated 8 September 2026) · 2026-09-08
- Gartner Predicts Over 40% of Agentic AI Projects Will Be Canceled by End of 2027 Gartner · 2025-06-25
- LLM01:2025 Prompt Injection OWASP Gen AI Security Project
- 2025 Stack Overflow Developer Survey: AI Stack Overflow
- An AI-powered coding tool wiped out a software company's database, then apologized for a 'catastrophic failure on my part' Fortune · 2025-07-23
- ChatGPT Supported Countries OpenAI Help Center; live page, retrieved 2026-11-03
نظرات
نظرهای برتر