توهم هوش مصنوعی به زبان ساده: چرا چت‌بات‌ها مطالب نادرست می‌سازند و چگونه پاسخ دقیق بگیریم
خلاصه
توهم هوش مصنوعی (AI hallucination) محتوای نادرست یا ساختگیای است که چتبات آن را با اطمینان ارائه میکند [1]. این پدیده از آنجا رخ میدهد که مدلهای زبانی متن محتمل را پیش‌بینی میکنند و به شیوه‌هایی آموزش داده و ارزیابی می‌شوند که به حدس زدن پاداش میدهد [1][2]. نمی‌توان آن را خاموش کرد، اما متکی کردن پاسخها به منابع، اجازه دادن به گفتن «نمیدانم» و بررسی مستقل ادعاها خطر آن را کاهش میدهد [7].
نکته‌های کلیدی
- NIST توهم را «دروغسازی ناخودآگاه» (confabulation) مینامد: محتوای نادرستی که با اطمینان ارائه میشود و پیامد طبیعی شیوهٔ کار مدلهای مولد است [1].
- پژوهشگرانی از OpenAI و Georgia Tech استدلال میکنند که مدل‌ها تا حدی به این دلیل دچار توهم می‌شوند که بنچمارک‌ها به حدس زدن بیش از اعتراف به تردید پاداش می‌دهند [2].
- در پژوهش EBU و BBC روی بیش از ۳٬۰۰۰ پاسخ، ۴۵ درصد پاسخ‌های خبری دستیارهای هوش مصنوعی دست‌کم یک مشکل جدی داشتند [5].
- یک پایگاه دادهٔ عمومی تا ۲ نوامبر ۲۰۲۶، ۲٬۲۶۲ رأی دادگاه را ثبت کرده بود که در آن‌ها محتوای توهمی هوش مصنوعی نقش داشت [4].
- پرسیدن از چتبات دربارهٔ واقعی بودن پاسخ خودش راستی‌آزمایی نیست؛ در پروندهٔ Mata v. Avianca، ChatGPT اصرار داشت که یک پروندهٔ جعلی وجود دارد [3].
- فنون پرامپت‌نویسی توهم را کاهش می‌دهند، اما از میان نمی‌برند؛ بنابراین واقعیت‌های حیاتی همچنان به بررسی مستقل نیاز دارند [7].
در این صفحه ۱۳ بخش
- توهم هوش مصنوعی چیست؟
- چرا چت‌بات‌های هوش مصنوعی مطالب نادرست می‌سازند؟
- چت‌بات‌های هوش مصنوعی هر چند وقت یک بار دچار توهم می‌شوند؟
- وقتی مردم به توهم‌های هوش مصنوعی اعتماد میکنند چه میشود؟
- چگونه می‌توان از چت‌بات‌های هوش مصنوعی پاسخ‌های دقیق‌تری گرفت؟
- آیا فناوری می‌تواند توهم را بهطور خودکار تشخیص دهد؟
- کدام فنون پرامپت‌نویسی بهترین نتیجه را دارند؟
- استفاده از چت‌بات‌های هوش مصنوعی برای یافتن واقعیتها چه مزایا و محدودیت‌هایی دارد؟
- آیا مشکل توهم هوش مصنوعی روزی حل خواهد شد؟
- اشتباه‌های رایج
- پرسش‌های پرتکرار
- واژه‌نامه
- منابع
توهم هوش مصنوعی چیست؟
توهم هوش مصنوعی پاسخی از یک چتبات یا دیگر سامانه‌های هوش مصنوعی مولد است که نادرست، ساختگی یا ناسازگار است، اما چنان ارائه میشود که گویی درست است. مؤسسهٔ ملی استانداردها و فناوری ایالات متحده (NIST) اصطلاح دروغسازی ناخودآگاه (confabulation) را به کار می‌برد و آن را پدیده‌ای تعریف میکند که در آن سامانه‌های هوش مصنوعی مولد محتوای خطا یا نادرست تولید میکنند و آن را با اطمینان ارائه می‌دهند [1]. NIST خروجی‌هایی را نیز که از پرامپت فاصله می‌گیرند یا با گفته‌های پیشین خود سامانه تناقض دارند در این تعریف می‌گنجاند و یادآوری میکند که این موارد در زبان محاوره «توهم» یا «جعل» نامیده می‌شوند [1].
نمونه‌ها از پرونده‌های قضایی ساختگی با نقل‌قول‌های جعلی، مانند آنچه در یک دعوای حقوقی در آمریکا در سال ۲۰۲۳ رخ داد [3]، تا جزئیات توهمی و واقعیت‌های منسوخ در پاسخ‌های خبری را در بر می‌گیرند [5]. NIST هشدار میدهد که سامانه‌ها ممکن است استدلال‌ها یا ارجاع‌هایی ساختگی نیز تولید کنند که به ظاهر پاسخ را توجیه میکنند و این امر ممکن است افراد را به اعتمادی بیش از حد به خروجی بکشاند [1].
بهطور خلاصه، چگونه از آن پرهیز کنیم؟
- منابع را در اختیار چتبات بگذارید و از آن بخواهید فقط بر پایهٔ همان منابع پاسخ دهد [7].
- به‌صراحت به آن اجازه دهید بگوید «نمیدانم» [7].
- برای هر ادعا نقل‌قول مستقیم و ارجاع بخواهید و سپس خودتان منابع را باز کنید [7].
- هر مطلب مهمی را با یک منبع مستقل و معتبر بسنجید، زیرا هیچ فنی مشکل را بهطور کامل برطرف نمی‌کند [7].
چرا چت‌بات‌های هوش مصنوعی مطالب نادرست می‌سازند؟
مدلهای زبانی بزرگ (LLM) با پیش‌بینی واژه‌های محتمل بعدی متن تولید میکنند. NIST توضیح میدهد که دروغسازی ناخودآگاه پیامد طبیعی همین طراحی است: مدل‌ها خروجی‌هایی تولید میکنند که توزیع آماری داده‌های آموزشی‌شان را تقریب می‌زند؛ این خروجی‌ها ممکن است دقیق باشند، اما ممکن است از نظر واقعیت نادرست یا از درون ناسازگار نیز باشند [1]. به گفتهٔ NIST، این مشکل به‌ویژه در پاسخ‌های باز و بلند و در پرسش‌هایی که به دانش تخصصی نیاز دارند اهمیت دارد [1].
چرا مدل‌ها به‌سادگی نمی‌گویند «نمیدانم»؟
مقاله‌ای در سال ۲۰۲۵ از آدام تامان کالای و همکارانش، که سه تن از آنان در OpenAI و یک نفر در Georgia Tech هستند، استدلال میکند که توهم‌ها نباید رازآلود تلقی شوند: آن‌ها در اصل خطاهایی در طبقه‌بندی دودویی‌اند [2]. اگر نتوان گزاره‌های نادرست را از واقعیتها تمیز داد، فشارهای آماری در طول آموزش بهطور طبیعی آن‌ها را پدید می‌آورند [2]. نویسندگان می‌افزایند که توهم‌ها پابرجا می‌مانند، زیرا بیشتر بنچمارک‌ها پاسخها را به گونه‌ای امتیاز می‌دهند که به یک حدس مطمئن بیش از یک «نمیدانم» صادقانه پاداش میدهد؛ بنابراین مدل‌ها، به تعبیر آن‌ها، برای آزمون‌دهندگان خوبی بودن بهینه شده‌اند [2]. راه‌حل پیشنهادی آن‌ها تغییر شیوهٔ امتیازدهی بنچمارک‌های پرکاربرد است [2].
چرا این‌قدر مطمئن به نظر می‌رسند؟
بیان روان و مطمئن بخشی از چیزی است که مدل‌ها یاد می‌گیرند تولید کنند. NIST یادآوری میکند که خطر زمانی پدید می‌آید که کاربران محتوای نادرست را باور کنند و این اغلب به دلیل لحن مطمئن پاسخ است [1]. بنابراین اطمینان در لحن، شاهدی بر درستی نیست.
چت‌بات‌های هوش مصنوعی هر چند وقت یک بار دچار توهم می‌شوند؟
نرخ واحدی برای توهم وجود ندارد. این نرخ به مدل، نوع کار، زبان و شیوهٔ شمارش خطاها بستگی دارد. پژوهش‌های مستقل برای کارهای مشخص، تصویری از مقیاس آن به دست می‌دهند.
پرسش‌های خبری
پژوهشی که اتحادیهٔ پخش اروپا (EBU) هماهنگ کرد و BBC رهبری آن را بر عهده داشت، ۲۲ سازمان رسانه‌ای خدمات عمومی را در ۱۸ کشور و به ۱۴ زبان در بر می‌گرفت [5]. روزنامه‌نگاران بیش از ۳٬۰۰۰ پاسخ از ChatGPT، Copilot، Gemini و Perplexity را ارزیابی کردند [5]. آن‌ها دریافتند که ۴۵ درصد پاسخها دست‌کم یک مشکل جدی داشتند، ۳۱ درصد مشکلات جدی در منبع‌دهی داشتند و ۲۰ درصد شامل خطاهای عمدهٔ دقت، از جمله جزئیات توهمی و اطلاعات منسوخ، بودند [5]. Gemini در ۷۶ درصد پاسخ‌هایش مشکلات جدی داشت [5]. EBU می‌گوید این تحریف‌ها در زبان‌ها و قلمروهای مختلف یکسان بود؛ نکته‌ای که برای خوانندگانی که هوش مصنوعی را به زبان‌هایی جز انگلیسی به کار می‌برند اهمیت دارد [5].
ابزارهای حقوقی حرفه‌ای
پژوهشگران دانشگاه استنفورد ابزارهای پژوهش حقوقی مبتنی بر هوش مصنوعی LexisNexis و Thomson Reuters را آزمودند و دریافتند که هر یک بین ۱۷ تا ۳۳ درصد موارد دچار توهم می‌شدند [6]. این ابزارها از تولید تقویت‌شده با بازیابی (RAG) استفاده میکنند که پیش از پاسخ دادن اسناد را بازیابی میکند، و نویسندگان نتیجه گرفتند که ادعای ارائه‌دهندگان دربارهٔ از میان بردن توهم، اغراق‌آمیز بوده است [6].
این ارقام سامانه‌هایی مشخص را در تاریخ‌هایی مشخص توصیف میکنند؛ نسخه‌های جدیدتر ممکن است بهتر یا بدتر عمل کنند. این ارقام نشان می‌دهند که حتی ابزارهای تخصصی که بر اسناد تکیه دارند نیز همچنان خطا میکنند [6].
وقتی مردم به توهم‌های هوش مصنوعی اعتماد میکنند چه میشود؟
پرونده‌های جعلی در یک دادگاه آمریکایی
در پروندهٔ Mata v. Avianca، یک قاضی فدرال در نیویورک در ۲۲ ژوئن ۲۰۲۳ دو وکیل و مؤسسهٔ حقوقی آنان را مجازات کرد، پس از آنکه آن‌ها آرای قضایی ناموجودی را با نقلقولها و ارجاع‌های جعلی ساخته‌شده به دست ChatGPT ارائه کرده بودند [3]. وکلا بعدها پذیرفتند که شش رأی از آرای مورد استناد را ChatGPT ساخته بود و وجود خارجی نداشتند [3]. هنگامی که یکی از وکلا از ChatGPT پرسید آیا پرونده‌ای واقعی است، پاسخ داد که آن پرونده «به‌راستی وجود دارد» و می‌توان آن را در Westlaw و LexisNexis یافت [3]. قاضی پی. کوین کستل نوشت که استفاده از یک ابزار هوش مصنوعی قابل اعتماد ذاتاً نادرست نیست، اما قواعد موجود به وکلا نقش دروازه‌بانی میدهد تا از درستی اسنادی که به دادگاه ارائه میکنند اطمینان یابند، و جریمه‌ای ۵٬۰۰۰ دلاری تعیین کرد [3].
این مشکل از آن زمان گسترش یافته است. پایگاه داده‌ای که پژوهشگری به نام دامین شارلوتن نگهداری میکند، آرای دادگاه‌ها و مراجع داوری را فهرست میکند که در آن‌ها مشخص شد یکی از طرفین به محتوای توهمی تکیه کرده است؛ این پایگاه تا به‌روزرسانی ۲ نوامبر ۲۰۲۶، ۲٬۲۶۲ پرونده را شناسایی کرده بود [4].
وعدهٔ نادرست یک چتبات به مشتری
در رأیی در سال ۲۰۲۴ (Moffatt v. Air Canada, 2024 BCCRT 149)، دیوان حل اختلافات مدنی بریتیش کلمبیا شرکت Air Canada را به دلیل ارائهٔ اطلاعات گمراه‌کننده از روی سهل‌انگاری مسئول دانست؛ چرا که چتبات وب‌سایت این شرکت هواپیمایی به اشتباه به مشتری گفته بود می‌تواند پس از سفر برای بلیت با تخفیف سوگواری درخواست دهد، در حالی که صفحهٔ دیگری از همان وب‌سایت خلاف آن را می‌گفت [9]. دیوان این استدلال را که چتبات باید نهادی جداگانه تلقی شود رد کرد و اعلام داشت که تفاوتی نمی‌کند اطلاعات از یک صفحهٔ ثابت بیاید یا از یک چتبات [9].
چگونه می‌توان از چت‌بات‌های هوش مصنوعی پاسخ‌های دقیق‌تری گرفت؟
راهنمای توسعه‌دهندگان Anthropic برای مدلهای Claude فنونی را شرح میدهد که دربارهٔ بیشتر چت‌بات‌ها کاربرد دارند [7]:
- اجازهٔ ابراز تردید بدهید. به مدل بگویید می‌تواند بگوید نمی‌داند یا اطلاعات کافی ندارد؛ Anthropic می‌گوید این کار می‌تواند اطلاعات نادرست را به‌شدت کاهش دهد [7].
- پاسخها را بر نقلقولها استوار کنید. برای اسناد طولانی، از مدل بخواهید ابتدا نقل‌قول‌های عین‌به‌عین را استخراج کند و سپس پاسخش را فقط بر پایهٔ آن‌ها بنا کند [7].
- ارجاع و پس گرفتن ادعا را الزامی کنید. برای هر ادعا نقل‌قول یا منبع پشتیبان بخواهید و به مدل بگویید هر ادعایی را که نمی‌تواند پشتیبانی کند حذف کند [7].
- دانش آن را محدود کنید. به آن دستور دهید فقط از اسنادی که در اختیارش می‌گذارید استفاده کند، نه از دانش عمومی خود [7].
- چند پاسخ را مقایسه کنید. یک پرسش را بیش از یک بار مطرح کنید؛ ناسازگاری میان خروجی‌ها می‌تواند نشانهٔ توهم باشد [7].
- بررسی‌های تکمیلی بخواهید. پاسخ را دوباره به مدل بدهید و از آن بخواهید گزاره‌های مشخصی را راستی‌آزمایی یا تشریح کند [7].
بررسی‌هایی که باید خودتان انجام دهید
- هر ارجاعی را باز کنید. مطمئن شوید منبع وجود دارد و همان چیزی را می‌گوید که پاسخ ادعا میکند؛ ۳۱ درصد پاسخها در پژوهش EBU مشکلات جدی در منبع‌دهی داشتند [5].
- از چتبات نخواهید خودش را تأیید کند. وکلای پروندهٔ Mata v. Avianca دقیقاً همین کار را کردند و پاسخ شنیدند که یک پروندهٔ جعلی واقعی است [3].
- برای واقعیت‌های پرمخاطره از منابع دست‌اول استفاده کنید، مانند پایگاه‌های دادهٔ رسمی حقوقی، نهادهای نظارتی یا متخصصان پزشکی. NIST حوزهٔ سلامت را حوزه‌ای می‌داند که در آن خلاصه‌های ساختگی ممکن است به تشخیص یا درمان نادرست بینجامند [1].
- تاریخ را بررسی کنید. اطلاعات منسوخ از جمله خطاهای عمدهٔ دقتی بود که EBU یافت [5].
راهنمای خود Anthropic تأکید میکند که این فنون توهم را بهطور چشمگیری کاهش می‌دهند، اما از میان نمی‌برند، و راستی‌آزمایی اطلاعات حیاتی را توصیه میکند [7].
آیا فناوری می‌تواند توهم را بهطور خودکار تشخیص دهد؟
پژوهشگران در حال ساختن نشانه‌های هشدار خودکارند. یکی از این رویکردها که در سال ۲۰۲۴ از سوی سباستین فارکوهار، یانیک کوسن، لورنتس کوهن و یارین گال از دانشگاه آکسفورد در نشریهٔ Nature منتشر شد، آنتروپی معنایی (semantic entropy) نام دارد [8]. این روش چند پاسخ به یک پرسش واحد را، اغلب حدود پنج پاسخ، نمونه‌گیری میکند، آن‌ها را بر اساس معنا گروه‌بندی میکند و میزان پراکندگی این معناها را می‌سنجد؛ پراکندگی زیاد نشان میدهد که مدل احتمالاً پاسخ نادرست میدهد [8].
این روش محدودیت‌هایی دارد. پدیدآورندگانش می‌گویند این روش مواردی را که مدل با مجموعه‌ای نادرست از واقعیتها یا شیوهٔ استدلال نادرست آموزش دیده باشد، مواردی که آموزش به یک بافت تازه منتقل نمی‌شود، یا فریب عامدانه را تشخیص نمی‌دهد [8]. مدلی که هر بار همان پاسخ نادرست را با اطمینان تکرار کند، سازگار به نظر خواهد رسید. به همین دلیل، فن سادهٔ دو بار پرسیدن از سوی کاربر، که بر همین منطق استوار است، تنها یک نشانه است و تضمینی به دست نمی‌دهد [7][8].
تولید تقویت‌شده با بازیابی، که به مدل امکان جستوجوی اسناد را میدهد، کمک میکند اما درمان قطعی نیست: پژوهش استنفورد در ابزارهای حقوقی مبتنی بر RAG نرخ‌های توهم دورقمی یافت [6].
کدام فنون پرامپت‌نویسی بهترین نتیجه را دارند؟
هیچ فنی کامل نیست و این فنون در ترکیب با هم بهترین نتیجه را دارند. جدول زیر رویکردهای رایج، هدف هر یک و کاستی‌هایشان را مقایسه میکند. فنونی که پاسخها را به اسنادی که شما فراهم می‌کنید پیوند می‌دهند، به ریشهٔ مشکل می‌پردازند، یعنی اینکه مدل‌ها در غیر این صورت به الگوهای آماری تکیه میکنند [1][7]، در حالی که بررسی‌های سازگاری تنها برخی انواع خطا را می‌یابند [8].
استفاده از چت‌بات‌های هوش مصنوعی برای یافتن واقعیتها چه مزایا و محدودیت‌هایی دارد؟
مزایا
- NIST یادآوری میکند که پیش‌بینی آماری می‌تواند خروجی‌های دقیق و سازگار نیز تولید کند، نه فقط خطا [1].
- مدل‌ها وقتی اسناد منبع در اختیارشان باشد، می‌توانند نقل‌قول‌های دقیق را استخراج کنند و به آن‌ها ارجاع دهند و این کار پاسخ‌هایشان را قابل حسابرسی میکند [7].
محدودیت‌ها
- در برخی کارها خطا رایج است: در پژوهش EBU، ۴۵ درصد پاسخ‌های خبری مشکلی جدی داشتند [5].
- حتی ابزارهای حقوقی تخصصی در آزمون‌های استنفورد بین ۱۷ تا ۳۳ درصد موارد دچار توهم شدند [6].
- خطاها ممکن است با توضیح‌ها و ارجاع‌هایی متقاعدکننده اما نادرست همراه باشند [1].
- مسئولیت بر عهدهٔ کاربر یا کسب‌وکار باقی می‌ماند: دادگاه‌ها وکلا را مجازات کرده‌اند [3] و یک دیوان، شرکتی را مسئول گفته‌های چت‌باتش دانسته است [9].
آیا مشکل توهم هوش مصنوعی روزی حل خواهد شد؟
اینکه توهم تا چه حد قابل کاهش است پرسشی باز است، اما برخی از توضیح‌های بالا به علت‌هایی اشاره دارند که می‌توان روی آن‌ها کار کرد. اگر، آن‌گونه که کالای و همکارانش استدلال میکنند، بنچمارک‌ها به حدس زدن پاداش می‌دهند، تغییر شیوهٔ امتیازدهی آن‌ها می‌تواند مدل‌ها را به ابراز تردید تشویق کند [2]. روش‌های تشخیصی مانند آنتروپی معنایی می‌توانند برخی خطاهای محتمل را علامت‌گذاری کنند [8]. با این حال، NIST دروغسازی ناخودآگاه را پیامد طبیعی شیوهٔ طراحی مدلهای مولد می‌داند [1] و این نشان میدهد که نرخی از خطا باقی خواهد ماند.
آنچه همچنان نامعلوم است
- نرخ خطای مدلهای کنونی در دنیای واقعی. پژوهش‌های منتشرشده نسخه‌ها و کارهای مشخصی را می‌آزمایند و نتایج با هر عرضهٔ تازه تغییر میکند [5][6].
- نحوهٔ برخورد دادگاه‌ها با موارد تکراری. پایگاه دادهٔ شارلوتن تا ۲ نوامبر ۲۰۲۶، ۲٬۲۶۲ رأی از این دست را ثبت کرده بود و هر رأی تازه بر رویهٔ قضایی می‌افزاید [4].
- اینکه آیا اصلاح بنچمارک‌ها بهطور گسترده پذیرفته خواهد شد؛ تغییری که مقالهٔ کالای آن را تغییری اجتماعی‌ـ‌فنی مینامد [2].
تا ۳ نوامبر ۲۰۲۶، ایمن‌ترین فرض کاری این است که هر چت‌باتی ممکن است با لحنی مطمئن اشتباه کند و بررسی منبع وظیفهٔ کاربر است.
| فن | کارکرد | محدودیت |
|---|---|---|
| اجازهٔ گفتن «نمیدانم» | به مدل اجازه میدهد تردید خود را بپذیرد [7] | خطاهای مطمئنی را که مدل تشخیص نمی‌دهد متوقف نمی‌کند [2][7] |
| پاسخ فقط بر پایهٔ اسناد ارائه‌شده | مدل را به منابعی که شما فراهم می‌کنید محدود میکند [7] | همان‌طور که ابزارهای حقوقی مبتنی بر RAG نشان دادند، خطا همچنان ممکن است [6] |
| نقل‌قول مستقیم و ارجاع | هر ادعا را قابل حسابرسی و قابل پس گرفتن میکند [7] | خود ارجاع‌ها ممکن است ساختگی باشند، پس آن‌ها را باز کنید [1][3] |
| چند بار پرسیدن و مقایسه | پاسخ‌های ناسازگار می‌توانند نشانهٔ توهم باشند [7][8] | خطاهایی را که مدل بهطور یکسان تکرار میکند نمی‌یابد [8] |
| بررسی مستقل انسانی | واقعیتها را با منابع دست‌اول تأیید میکند | زمان‌بر است، اما دادگاه‌ها آن را از متخصصان انتظار دارند [3] |
اشتباه‌های رایج
پرسیدن از چتبات دربارهٔ درستی پاسخ خودش
راه درست: بیرون از گفت‌وگو راستی‌آزمایی کنید؛ در پروندهٔ Mata v. Avianca، ChatGPT ادعا کرد که یک پروندهٔ جعلی وجود دارد [3].
اعتماد به پاسخ صرفاً به این دلیل که ارجاع دارد
راه درست: هر منبعی را باز کنید؛ NIST هشدار میدهد که سامانه‌ها ممکن است ارجاع‌های ساختگی تولید کنند [1].
این تصور که ابزارهای مبتنی بر اسناد دچار توهم نمی‌شوند
راه درست: ابزارهای حقوقی مبتنی بر RAG در آزمون‌های استنفورد بین ۱۷ تا ۳۳ درصد موارد دچار توهم شدند [6].
نشانهٔ درستی دانستن لحن مطمئن
راه درست: بیان مطمئن بخشی از خطری است که NIST توصیف میکند؛ دربارهٔ شواهد داوری کنید، نه لحن [1].
استفادهٔ بی‌کم‌وکاست از پاسخ چتبات برای تصمیم‌های حقوقی، پزشکی یا مالی
راه درست: با منابع دست‌اول یا یک متخصص صلاحیت‌دار بررسی کنید؛ این مطلب اطلاعات عمومی است و جایگزین مشاورهٔ تخصصی نیست [1][3].
پرسش‌های پرتکرار
توهم هوش مصنوعی چیست؟
محتوای نادرست یا ساختگیای است که یک سامانهٔ هوش مصنوعی آن را با اطمینان درست جلوه میدهد؛ NIST آن را دروغسازی ناخودآگاه (confabulation) مینامد [1].
چرا ChatGPT منبع جعل میکند؟
مدلهای زبانی بهجای جستوجوی واقعیتها، متنی تولید میکنند که از نظر آماری محتمل است [1] و پژوهشگران استدلال میکنند که آموزش و امتیازدهی به حدس زدن بیش از گفتن «نمیدانم» پاداش میدهد [2].
کدام چتبات هوش مصنوعی کمتر از همه دچار توهم میشود؟
رتبهبندیها با هر نسخهٔ مدل تغییر میکنند. در پژوهش خبری EBU و BBC، Gemini در ۷۶ درصد پاسخها مشکلات جدی داشت که بیش از دو برابر دیگر دستیارهای آزمودهشده بود [5]، اما این نتیجه تنها یک کار را در یک زمان مشخص بازتاب میدهد.
آیا میتوانم جلوی توهم یک چتبات را بگیرم؟
نه بهطور کامل. اجازهٔ ابراز تردید، استوار کردن پاسخها بر نقلقولها و الزام به ارجاع مشکل را کاهش میدهد، اما Anthropic یادآوری میکند که آن را از میان نمیبرد [7].
آیا یک شرکت مسئول گفته‌های چتبات خود است؟
در یک پروندهٔ کانادایی، دیوانی Air Canada را مسئول اطلاعات نادرست چت‌باتش دانست [9]. قواعد از کشوری به کشور دیگر متفاوت است؛ این مطلب اطلاعات عمومی است و مشاورهٔ حقوقی به شمار نمی‌رود.
واژه‌نامه
- توهم (دروغسازی ناخودآگاه)
- محتوای نادرست یا ساختگی که یک سامانهٔ هوش مصنوعی مولد تولید میکند و با اطمینان ارائه میدهد [1].
- مدل زبانی بزرگ (LLM)
- مدلی از هوش مصنوعی که با پیش‌بینی واژه‌های محتمل بعدی بر پایهٔ الگوهای داده‌های آموزشی متن تولید میکند [1].
- تولید تقویت‌شده با بازیابی (RAG)
- فنی که در آن مدل پیش از پاسخ دادن اسنادی را بازیابی میکند تا خروجی خود را بر آن‌ها استوار سازد [6].
- آنتروپی معنایی (Semantic entropy)
- معیاری از میزان ناهمخوانی معنای چند پاسخ نمونه‌گیری‌شده به یک پرسش که برای علامت‌گذاری خطاهای محتمل به کار می‌رود [8].
- استوارسازی بر منبع (Grounding)
- پیوند دادن پاسخ به متن منبعی مشخص، برای نمونه با استخراج نقل‌قول‌های مستقیم در گام نخست [7].
منابع
- NIST AI 600-1: Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile US National Institute of Standards and Technology
- Why Language Models Hallucinate Kalai, Nachum, Vempala, Zhang (arXiv) · 2025-09-04
- Mata v. Avianca, Inc., No. 22-cv-1461 (PKC), Opinion and Order on Sanctions US District Court for the Southern District of New York (via CourtListener) · 2023-06-22
- AI Hallucination Cases database Damien Charlotin; live database, last updated 2026-11-02 · 2026-11-02
- AI's systemic distortion of news is consistent across languages and territories: international study by public service broadcasters European Broadcasting Union · 2025-10-22
- Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools Magesh, Surani, Dahl, Suzgun, Manning, Ho (Stanford; arXiv) · 2024-05-30
- Reduce hallucinations Anthropic (Claude developer documentation); retrieved 2026-11-03
- Detecting hallucinations in large language models using semantic entropy Oxford Applied and Theoretical Machine Learning Group (accompanying the Nature paper) · 2024-06-19
- Moffatt v. Air Canada: A Misrepresentation by an AI Chatbot McCarthy Tetrault (Barry Sookman) · 2024-02-19
نظرات
نظرهای برتر