خلاصه
آشکارسازهای متن هوش مصنوعی به‌تنهایی برای اثبات تخلف به اندازهٔ کافی قابل اعتماد نیستند. OpenAI طبقهبند خود را به دلیل دقت پایین کنار گذاشت [1]، پژوهشی در سال ۲۰۲۳ نشان داد هیچ ابزاری با امتیازدهی سخت‌گیرانه به دقت بالای ۸۰ درصد نمی‌رسد [4] و آشکارسازها مقاله‌های انگلیسی نویسندگان غیربومی را بسیار بیشتر علامتگذاری کردند [3]. خود Turnitin میگوید امتیازش نباید تنها مبنای اقدام باشد [5].
نکته‌های کلیدی
- طبقهبند خود OpenAI تنها ۲۶ درصد متن‌های نوشته‌شده با هوش مصنوعی را تشخیص داد و ۹ درصد متن‌های انسانی را به اشتباه علامتگذاری کرد؛ این ابزار در ۲۰ ژوئیهٔ ۲۰۲۳ کنار گذاشته شد [1].
- در آزمونی در سال ۲۰۲۳ روی ۱۴ ابزار، حتی بالاترین مقادیر دقت با امتیازدهی سخت‌گیرانه (دودویی) این پژوهش زیر ۸۰ درصد بود و دقت روی متن‌های هوش مصنوعیِ ویرایش‌شده یا بازنویسی‌شده بهشدت کاهش یافت [4].
- هفت آشکارساز به‌طور میانگین ۶۱٫۲۲ درصد مقاله‌های انگلیسی نویسندگان غیربومی (TOEFL) را به اشتباه تولیدشده با هوش مصنوعی تشخیص دادند، در حالی که مقاله‌های دانش‌آموزان کلاس هشتم آمریکایی تقریباً بی‌نقص ارزیابی شدند [3].
- آشکارسازهای تجاری جدیدتر در برخی پژوهشهای ۲۰۲۵ عملکرد بسیار بهتری دارند، برای نمونه در یک مقالهٔ کاری که در آن یک ابزار سقف مثبت کاذب ۰٫۵ درصد را رعایت کرد [10]؛ اما یک بنچمارک در سال ۲۰۲۴ نشان داد بسیاری از آشکارسازها به‌آسانی با حمله‌ها و مدل‌های ناآشنا فریب می‌خورند [8].
- نرخ کوچک مثبت کاذب در مقیاس بزرگ به معنای شمار زیادی دانشجوست: ۱ درصد از ۷۵٬۰۰۰ مقاله حدود ۷۵۰ مقاله میشود [7].
- Turnitin میگوید درصد هوش مصنوعی‌ای که گزارش می‌کند نباید تنها مبنای اقدام باشد و اسناد کمتر از ۳۰۰ واژه را پردازش نمیکند [5].
در این صفحه ۱۲ بخش
- آشکارسازهای هوش مصنوعی چقدر دقیق‌اند؟
- آشکارسازهای هوش مصنوعی چگونه کار میکنند؟
- پژوهشها دربارهٔ مثبت کاذب و سوگیری چه می‌گویند؟
- آیا میتوان آشکارسازهای هوش مصنوعی را با ویرایش یا ابزارهای انسانیساز فریب داد؟
- آیا استادان بهتر از نرم‌افزار می‌توانند نوشتهٔ هوش مصنوعی را تشخیص دهند؟
- استادان چگونه باید منصفانه از نتایج آشکارسازهای هوش مصنوعی استفاده کنند؟
- اگر آشکارساز کار دانشجو را به اشتباه علامتگذاری کند، او چه میتواند بکند؟
- آیا تشخیص هوش مصنوعی قابل اعتمادتر خواهد شد؟
- اشتباه‌های رایج
- پرسش‌های پرتکرار
- واژه‌نامه
- منابع
آشکارسازهای هوش مصنوعی چقدر دقیق‌اند؟
پاسخ کوتاه این است که آشکارسازهای متن هوش مصنوعی در شرایط آزمون بیشتر اوقات درست تشخیص میدهند، اما خطاهایی دارند که وقتی نمره یا سابقهٔ تحصیلی یک دانشجو در میان است، اهمیت پیدا میکنند. دقت این ابزارها بهشدت به ابزار مورد استفاده، طول متن، زبان، ویرایش شدن یا نشدن متن هوش مصنوعی و آستانه‌ای که ابزار به کار می‌برد بستگی دارد.
روشن‌ترین هشدار اولیه از OpenAI، شرکت سازندهٔ ChatGPT، آمد. طبقهبند ژانویهٔ ۲۰۲۳ این شرکت روی مجموعهٔ آزمون چالشی انگلیسی خود، ۲۶ درصد متن‌های نوشته‌شده با هوش مصنوعی را به‌درستی «احتمالاً نوشته‌شده با هوش مصنوعی» تشخیص داد و در ۹ درصد موارد متن انسانی را به اشتباه نوشتهٔ هوش مصنوعی برچسب زد [1]. OpenAI این ابزار را از ۲۰ ژوئیهٔ ۲۰۲۳ «به دلیل نرخ پایین دقت» از دسترس خارج کرد [1]. OpenAI در صفحهٔ راهنمای کنونی خود برای مدرسان، به پرسش «آیا آشکارسازهای هوش مصنوعی کار میکنند؟» چنین پاسخ می‌دهد: «به‌طور خلاصه، بنا بر تجربهٔ ما، نه» [2].
پژوهشهای مستقل نیز دربارهٔ بسیاری از ابزارها به نتایج مشابهی رسیده‌اند. پژوهشی در سال ۲۰۲۳ روی ۱۲ ابزار در دسترس عموم و دو سامانهٔ تجاری، یعنی Turnitin و PlagiarismCheck، نتیجه گرفت که این ابزارها «نه دقیق‌اند و نه قابل اعتماد» و بیشتر گرایش دارند متن را نوشتهٔ انسان طبقه‌بندی کنند تا متن هوش مصنوعی را تشخیص دهند [4]. پژوهشهای بعدی نتایج متفاوت‌تری دارند: یک مقالهٔ کاری در سپتامبر ۲۰۲۵ نشان داد که آشکارسازهای تجاری از یک آشکارساز متن‌باز بهتر عمل کردند و یکی از محصولات، به نام Pangram، در آزمونهای آن نرخ خطای نزدیک به صفر داشت [10]. نتایج یک پژوهش روی یک مجموعه‌داده، خودبه‌خود به هر کلاس درسی تعمیم‌پذیر نیست.
آشکارسازهای هوش مصنوعی چگونه کار میکنند؟
بیشتر آشکارسازها طبقهبند (classifier) هستند: نرم‌افزارهایی که آموزش دیده‌اند متن را در دو دستهٔ «انسانی» یا «هوش مصنوعی» قرار دهند و امتیازی به آن بدهند. Turnitin این ایده را بر پایهٔ احتمال واژه‌ها توضیح می‌دهد. مدل‌های زبانی بزرگ (LLM)، یعنی سامانه‌هایی که پشت چت‌بات‌هایی مانند ChatGPT قرار دارند، گرایش دارند واژهٔ بعدی را «به شیوه‌ای یکنواخت و بسیار محتمل» برگزینند، در حالی که نوشتار انسانی گرایش دارد «ناهمگون و خاص هر فرد» باشد [5]. طبقه‌بندهای Turnitin برای تشخیص همین تفاوت‌ها آموزش دیده‌اند [5].
معیار مرتبط دیگری سرگشتگی (perplexity) است که به‌طور تقریبی نشان می‌دهد یک متن برای یک مدل زبانی تا چه حد غیرمنتظره است. متن با سرگشتگی پایین پیشبینیپذیر است. لیانگ و همکارانش نشان دادند که این نشانه میتواند گمراه‌کننده باشد: مقاله‌های نویسندگان غیربومی انگلیسی به‌طور معناداری سرگشتگی پایین‌تری داشتند و همین به توضیح علت علامتگذاری شدن آنها توسط آشکارسازها کمک می‌کند [3]. Turnitin به سهم خود میگوید مدلش به‌طور صریح برای ارزیابی سرگشتگی برنامه‌ریزی نشده است و در عوض الگوهای آماری را از داده‌های آموزشی خود می‌آموزد [5].
امتیاز آشکارساز چه معنایی دارد؟
Turnitin به هر جمله امتیازی میان ۰ و ۱ می‌دهد، جمله‌های بالاتر از یک آستانه را هوش مصنوعی برچسب میزند و سهم جمله‌های ارزیابی‌شدهٔ بالاتر از آن آستانه را بهعنوان امتیاز سند گزارش می‌کند [5]. این ابزار فهرست‌ها، سرعنوان‌ها، منابع، جدول‌ها، فرمول‌ها و کد را نادیده می‌گیرد؛ بنابراین این درصد لزوماً سهمی از کل متن ارسالی نیست [5]. امتیاز، برآوردی مبتنی بر احتمال است، نه سندی از چگونگی نوشته شدن متن.
آیا واترمارک چیز دیگری است؟
بله. واترمارک الگوی آماری پنهانی است که هنگام تولید متن به آن افزوده میشود. SynthID-Text از Google DeepMind فقط مرحلهٔ نمونه‌گیری را تغییر می‌دهد و بدون اجرای مدل اصلی قابل تشخیص است؛ یک آزمایش زنده نزدیک به ۲۰ میلیون پاسخ Gemini را پوشش داد [12]. پدیدآورندگان آن می‌گویند واترمارک راه‌حل کاملی نیست: تنها در صورتی کار می‌کند که شرکت تولیدکنندهٔ متن آن را به کار ببرد، پوشش دادن مدل‌های متن‌باز دشوار است، و واترمارک‌ها با بازنویسی تضعیف می‌شوند یا در معرض حمله‌هایی مانند سرقت، جعل و پاک‌سازی قرار دارند [12].
پژوهشها دربارهٔ مثبت کاذب و سوگیری چه می‌گویند؟
مثبت کاذب (false positive) یعنی نوشتهٔ انسانی که به اشتباه نوشتهٔ هوش مصنوعی برچسب بخورد. در آموزش، این خطای جدی‌تر است، زیرا میتواند به متهم شدن دانشجویی درستکار بینجامد. منفی کاذب (false negative) متنی هوش مصنوعی است که بهعنوان نوشتهٔ انسانی پذیرفته شود.
نویسندگان غیربومی انگلیسی
در پژوهشی از لیانگ و همکارانش، هفت آشکارساز پرکاربرد روی ۹۱ مقالهٔ TOEFL نوشته‌شده به دست انسان از یک انجمن آموزشی چینی و ۸۸ مقالهٔ دانش‌آموزان کلاس هشتم آمریکایی آزموده شدند [3]. آشکارسازها روی مقاله‌های آمریکایی تقریباً بی‌نقص بودند، اما بیش از نیمی از مقاله‌های TOEFL را به اشتباه طبقه‌بندی کردند و میانگین نرخ مثبت کاذب ۶۱٫۲۲ درصد بود [3]. هر هفت آشکارساز ۱۸ مقاله از ۹۱ مقالهٔ TOEFL (۱۹٫۷۸ درصد) را علامتگذاری کردند و ۸۹ مقاله از ۹۱ (۹۷٫۸۰ درصد) دست‌کم با یک آشکارساز علامتگذاری شدند [3]. وقتی از ChatGPT برای غنی‌تر کردن واژگان این مقاله‌ها استفاده شد، میانگین نرخ مثبت کاذب به ۱۱٫۷۷ درصد کاهش یافت [3]. درخواست از ChatGPT برای ساده‌سازی مقاله‌های آمریکایی «گویی یک فرد غیربومی آن را نوشته است» این نرخ را از ۵٫۱۹ درصد به ۵۶٫۶۵ درصد رساند [3].
Turnitin که در آن پژوهش بررسی نشده بود، تعمیم این نتیجه به محصول خود را نمی‌پذیرد. این شرکت یادآوری می‌کند که همهٔ مقاله‌های TOEFL کمتر از ۱۵۰ واژه داشتند و Turnitin چنین اسناد کوتاهی را امتیازدهی نمیکند [6]. در آزمون خود این شرکت در سال ۲۰۲۳، برای اسنادی با دست‌کم ۳۰۰ واژه، تفاوت نرخ مثبت کاذب میان نویسندگانی که انگلیسی زبان دوم آن‌هاست و نویسندگانی که انگلیسی زبان اولشان است، اندک و از نظر آماری غیرمعنادار بود [6]. این ارزیابی را خود فروشنده انجام داده است.
چرا نرخ‌های خطای کوچک روی هم انباشته می‌شوند؟
دانشگاه وندربیلت هنگامی که در اوت ۲۰۲۳ آشکارساز هوش مصنوعی Turnitin را غیرفعال کرد، این حساب را انجام داد. Turnitin هنگام عرضه از نرخ مثبت کاذب ۱ درصد سخن گفته بود؛ وندربیلت در سال ۲۰۲۲ حدود ۷۵٬۰۰۰ مقاله ارسال کرده بود، پس حدود ۷۵۰ مقاله ممکن بود به اشتباه علامتگذاری شوند [7]. همین استدلال دربارهٔ هر آشکارسازی صدق می‌کند: نرخی که کوچک به نظر می‌رسد، وقتی میلیون‌ها سند بررسی می‌شوند، همچنان میتواند بر افراد زیادی اثر بگذارد.
آیا میتوان آشکارسازهای هوش مصنوعی را با ویرایش یا ابزارهای انسانیساز فریب داد؟
اغلب بله، هرچند ابزارهای جدیدتر ادعا میکنند در برابر آن مقاوم‌اند. در آزمون سال ۲۰۲۳ روی ۱۴ ابزار، میانگین دقت (با امتیازدهی دودویی) برای متن انسانی ۹۴ درصد بود، اما برای متن هوش مصنوعی‌ای که به‌صورت دستی ویرایش شده بود تنها ۳۰ درصد و برای متن هوش مصنوعی‌ای که از یک ابزار بازنویسی ماشینی گذشته بود ۱۵ درصد [4]. مبهم‌سازی محتوا، یعنی ایجاد تغییرات عمدی برای پنهان کردن منشأ هوش مصنوعی، عملکرد ابزارها را به‌طور چشمگیری بدتر کرد [4].
بنچمارک RAID، با بیش از ۶ میلیون متن تولیدشده از ۱۱ مدل در ۸ حوزه، ۱۱ حملهٔ خصمانه و ۴ راهبرد رمزگشایی، نشان داد که ۱۲ آشکارساز ارزیابی‌شده «به‌آسانی فریب می‌خورند»؛ با حمله‌ها، تغییر تنظیمات نمونه‌گیری، جریمه‌های تکرار و مدل‌های ناآشنا [8]. پدیدآورندگان این بنچمارک یادآوری میکنند که بسیاری از آشکارسازها مدعی دقت ۹۹ درصد یا بیشترند، اما به‌ندرت روی داده‌های مشترک و چالش‌برانگیز آزموده می‌شوند [8]. ساداسیوان و همکارانش نشان دادند که بازنویسی مکرر متن هوش مصنوعی با یک مدل دیگر میتواند نرخ تشخیص را به‌طور چشمگیری کاهش دهد، در حالی که در بسیاری از موارد کیفیت را فقط اندکی پایین می‌آورد [9]. آنها همچنین نشان میدهند که هرچه متن هوش مصنوعی به متن انسانی نزدیک‌تر شود، عملکرد حتی بهترین آشکارساز ممکن نیز افت می‌کند [9].
فروشندگان واکنش نشان داده‌اند. Turnitin میگوید میتواند متن هوش مصنوعی‌ای را که با ابزارهای بازنویسی یا «دورزننده» (bypasser)، که انسانیساز (humanizer) هم نامیده می‌شوند، تغییر یافته است شناسایی کند، اما فقط برای متن‌های انگلیسی [5]. مقالهٔ کاری NBER در سال ۲۰۲۵ گزارش می‌دهد که نرخ خطای پایین Pangram در آزمونهای آن، در برابر ابزارهای انسانیساز و قطعه‌های بسیار کوتاه نیز پابرجا ماند [10]. این نتایج امیدبخش‌اند، اما عملکرد را در یک مقطع زمانی و در برابر ابزارهای موجود در همان زمان توصیف میکنند. نویسندگان همچنین تأکید میکنند که تصمیم‌گیران وزن متفاوتی به این دو نوع خطا میدهند و پیشنهاد میکنند برای آنها آستانهٔ تحمل صریحی، یا «سقف سیاستی» (policy cap)، تعیین شود [10].
آیا استادان بهتر از نرم‌افزار می‌توانند نوشتهٔ هوش مصنوعی را تشخیص دهند؟
برخی می‌توانند. در پژوهشی در سال ۲۰۲۵، ارزیابان ۳۰۰ مقالهٔ غیرداستانی انگلیسی را خواندند و هر یک را نوشتهٔ انسان یا هوش مصنوعی برچسب زدند [11]. کسانی که برای نوشتن به‌طور مکرر از مدل‌های زبانی بزرگ استفاده می‌کردند، در این کار بسیار توانا بودند: رأی اکثریت پنج ارزیاب «خبره» از این دست، تنها ۱ مقاله از ۳۰۰ مقاله را به اشتباه طبقه‌بندی کرد و از بیشتر آشکارسازهای تجاری و متن‌بازی که نویسندگان ارزیابی کردند بهتر عمل کرد، حتی هنگامی که بازنویسی و انسانی‌سازی به کار رفته بود [11]. این خبرگان به «واژگان هوش مصنوعی» و نیز به رسمیت، اصالت و وضوح متن تکیه داشتند [11].
این یافته محدودیت‌هایی دارد. در این پژوهش از گروهی پنج‌نفره از خوانندگان باتجربه و رأی اکثریت استفاده شد، نه از یک مدرس که با شتاب نمره می‌دهد، و موضوع آن مقاله‌های غیرداستانی انگلیسی بود، نه تکالیف دانشجویی [11]. این یافته نشان می‌دهد که قضاوت آگاهانهٔ انسانی همراه با شواهد از یک عدد واحد بهتر است، نه اینکه شهود به‌تنهایی باید دربارهٔ یک پرونده تصمیم بگیرد.
استادان چگونه باید منصفانه از نتایج آشکارسازهای هوش مصنوعی استفاده کنند؟
خود سازندگان این ابزارها نسبت به اثبات‌شده دانستن امتیاز هشدار میدهند. Turnitin تصریح می‌کند که «دربارهٔ تخلف حکم صادر نمیکند» و درصد هوش مصنوعی «نباید تنها مبنای اقدام یا معیار قطعی نمره‌دهی باشد» [5]. OpenAI میگوید ChatGPT نمی‌تواند تشخیص دهد که متنی با هوش مصنوعی تولید شده است یا نه و پاسخ‌هایش به پرسش‌هایی مانند «آیا این را تو نوشته‌ای؟» تصادفی است [2].
- علامتگذاری را دلیلی برای بررسی دقیق‌تر بدانید، نه حکم نهایی. Turnitin امتیاز خود را داده‌ای برای کمک به تصمیم‌گیری در چارچوب سیاست خود مؤسسه توصیف می‌کند [5].
- شرایط را بررسی کنید. Turnitin اسنادی را که جمله‌های ارزیابی‌شدهٔ آنها کمتر از ۳۰۰ واژه دارند پردازش نمیکند و امتیازهای کمتر از ۲۰ درصد را در گزارش خود نمایش نمی‌دهد [5]. نوشته‌های کوتاه یا پر از فهرست، نشانه‌های ضعیفی به دست میدهند.
- بازهٔ خطا را به یاد داشته باشید. Turnitin میگوید وقتی ۵۰ درصد متن را احتمالاً هوش مصنوعی گزارش می‌کند، سند ممکن است تا ۶۵ درصد نوشتهٔ هوش مصنوعی داشته باشد [5]؛ این ابزار طوری تنظیم شده است که ترجیحاً بخشی از متن هوش مصنوعی را نادیده بگیرد تا اینکه علامتگذاری کاذب کند، پس این عدد یک برآورد است، نه یک اندازه‌گیری.
- شواهد دیگری گرد آورید. پیش‌نویس‌ها، یادداشت‌ها، تاریخچهٔ نسخه‌ها و گفت‌وگو با دانشجو دربارهٔ کارش، اطلاعات بیشتری از یک امتیاز واحد به دست میدهند. OpenAI میگوید برخی مدرسان دریافته‌اند که تشویق دانشجویان به اشتراک‌گذاری گفت‌وگوهای مشخص خود با ChatGPT سودمند است [2].
- پیشینهٔ زبانی را در نظر بگیرید. OpenAI از نشانه‌هایی خبر داد که آشکارسازها ممکن است به‌طور نامتناسبی بر زبان‌آموزان انگلیسی و دانشجویانی که نوشتارشان کلیشهای یا موجز است اثر بگذارند [2] و لیانگ و همکارانش نرخ مثبت کاذب بسیار بالاتری را برای مقاله‌های نویسندگان غیربومی یافتند [3].
- قواعد روشن را از پیش تعیین کنید. دانشجویان باید بدانند کدام کاربردهای هوش مصنوعی، مانند کمک در دستور زبان، مجاز است و کدام نیست؛ نویسندگان مقالهٔ NBER یادآوری میکنند که جدا کردن کاربردهای تشویق‌شده از کاربردهای دیگر ممکن است دشوار باشد [10].
هزینهٔ نادیده گرفتن این گام‌ها واقعی است. ABC News در اکتبر ۲۰۲۵ گزارش داد که بر اساس اسناد داخلی، دانشگاه کاتولیک استرالیا (ACU) در سال ۲۰۲۴ نزدیک به ۶٬۰۰۰ پروندهٔ ادعای تخلف ثبت کرده بود که حدود ۹۰ درصد آنها به هوش مصنوعی مربوط بود؛ دانشگاه این ارقام را «بهشدت اغراق‌آمیز» خواند [13]. ACU در مارس ۲۰۲۵ استفاده از ابزار هوش مصنوعی Turnitin را متوقف کرد و معاون رئیس دانشگاه گفت پرونده‌هایی که تنها شاهدشان آن ابزار بود، بی‌درنگ مختومه شدند [13].
اگر آشکارساز کار دانشجو را به اشتباه علامتگذاری کند، او چه میتواند بکند؟
این مطلب اطلاعات عمومی است و مشاورهٔ حقوقی به شمار نمی‌رود؛ هر دانشگاه یا مدرسه روند خاص خود را دارد. به گفتهٔ خود سازندگان این ابزارها، علامتگذاری آشکارساز دلیل تقلب نیست [2][5].
- بپرسید چه شواهدی وجود دارد. بپرسید از کدام ابزار استفاده شده، چه امتیازی داده و آیا شاهد دیگری این تردید را تأیید می‌کند. نشانگر Turnitin تنها برای مدرسان و مدیران قابل مشاهده است، پس ممکن است لازم باشد دانشجو آن را درخواست کند [5].
- روند کار خود را نشان دهید. پیش‌نویس‌ها، طرح‌های اولیه، یادداشت‌های دست‌نویس، تاریخچهٔ مرورگر برای منابع و تاریخچهٔ نسخه‌های سند همگی نشان میدهند که کار چگونه شکل گرفته است.
- پیشنهاد کنید کار را توضیح دهید. توانایی بحث دربارهٔ استدلال‌ها و منابعتان، شاهد محکمی بر نویسندگی شماست.
- از مسیر رسمی اعتراض استفاده کنید و از همهٔ مکاتبات رونوشت نگه دارید.
- داوری را به چت‌بات نسپارید. OpenAI میگوید پاسخ‌های ChatGPT دربارهٔ اینکه آیا متنی را نوشته است یا نه، هیچ پشتوانهٔ واقعی ندارد [2].
برای دانشجویان ایرانی و دانشجویان کشورهای دیگری که انگلیسی را بهعنوان زبان دوم می‌نویسند، پژوهشهای مربوط به سوگیری مستقیماً اهمیت دارد [3]. تشخیص هوش مصنوعی Turnitin از متن‌های بلند به زبانهای انگلیسی، اسپانیایی، ژاپنی، عربی معاصر، هلندی، آلمانی و ترکی پشتیبانی می‌کند؛ فارسی در این فهرست نیست و متن‌هایی که به زبانهای پشتیبانی‌نشده ارسال شوند پردازش نمی‌شوند [5].
آیا تشخیص هوش مصنوعی قابل اعتمادتر خواهد شد؟
تا ۳ نوامبر ۲۰۲۶، تصویر کلی رقابتی میان تولیدکننده‌ها و آشکارسازهاست. Turnitin در اکتبر ۲۰۲۶ معماری مدل تشخیص متن انگلیسی خود را بهروزرسانی کرد و مدل‌هایی از جمله GPT-5.4 و Claude Opus 4.6 را در شمار مدل‌هایی آورده است که میتواند تشخیص دهد [5]. برخی پژوهشهای ۲۰۲۵ نتایج قوی‌ای برای بهترین ابزارهای تجاری نشان میدهند [10]، در حالی که پژوهشهای مبتنی بر بنچمارک نشان میدهند که شرایط آزموده‌نشده همچنان بسیاری از آشکارسازها را فریب می‌دهد [8]. پژوهشهای نظری حاکی از آن است که هرچه نوشتهٔ هوش مصنوعی به نوشتهٔ انسانی شبیه‌تر شود، تشخیص آن دشوارتر میشود [9].
واترمارک ممکن است برای متن‌های ارائهدهندگانی که آن را به کار میگیرند کمک کند، اما پدیدآورندگانش آن را مکمل روش‌های دیگر می‌دانند، نه پاسخی کامل [12]. رهنمودهای OpenAI و Turnitin هر دو مؤسسات آموزشی را به سوی سیاست‌های روشن دربارهٔ استفاده از هوش مصنوعی، ثبت چگونگی کار دانشجویان و تصمیم‌هایی که مدرسان میگیرند، نه یک امتیاز، سوق میدهند [2][5].
| پژوهش (سال) | آنچه آزموده شد | یافتهٔ اصلی |
|---|---|---|
| طبقهبند OpenAI (۲۰۲۳) | آشکارساز خود OpenAI روی یک مجموعهٔ آزمون چالشی انگلیسی | تشخیص ۲۶ درصد متن هوش مصنوعی؛ علامتگذاری اشتباه ۹ درصد متن انسانی؛ کنار گذاشته شده در ۲۰ ژوئیهٔ ۲۰۲۳ [1] |
| لیانگ و همکاران (۲۰۲۳) | ۷ آشکارساز روی ۹۱ مقالهٔ TOEFL و ۸۸ مقالهٔ دانش‌آموزان کلاس هشتم آمریکایی | میانگین نرخ مثبت کاذب ۶۱٫۲۲ درصد روی مقاله‌های TOEFL؛ عملکرد تقریباً بی‌نقص روی مقاله‌های آمریکایی [3] |
| وبر-وولف و همکاران (۲۰۲۳) | ۱۲ ابزار عمومی به‌علاوهٔ Turnitin و PlagiarismCheck | بهترین ابزار (Turnitin) ۷۶ درصد با امتیازدهی دودویی سخت‌گیرانه؛ میانگین ۱۵ درصد روی متن هوش مصنوعیِ بازنویسی‌شده با ماشین [4] |
| Turnitin (۲۰۲۳، پژوهش فروشنده) | آشکارساز خود این شرکت روی نوشتار انگلیسی زبان اول (L1) و زبان دوم (L2) | نبود شکاف معنادار آماری برای اسناد ۳۰۰ واژه‌ای یا بیشتر [6] |
| بنچمارک RAID (۲۰۲۴) | ۱۲ آشکارساز، بیش از ۶ میلیون متن تولیدشده، ۱۱ حمله | آشکارسازها به‌آسانی با حمله‌ها و مدل‌های ناآشنا فریب می‌خورند [8] |
| جباریان و ایماس (۲۰۲۵، مقالهٔ کاری) | Pangram، OriginalityAI، GPTZero، RoBERTa | ابزارهای تجاری بهتر از متن‌باز عمل کردند؛ تنها Pangram سقف مثبت کاذب ۰٫۵ درصد را رعایت کرد [10] |
| راسل و همکاران (۲۰۲۵) | ارزیابان انسانی روی ۳۰۰ مقالهٔ انگلیسی | رأی اکثریت پنج خبره تنها ۱ مقاله از ۳۰۰ را به اشتباه طبقه‌بندی کرد [11] |
اشتباه‌های رایج
اثبات تقلب دانستن درصد اعلام‌شده از سوی آشکارساز.
راه درست: از آن فقط بهعنوان انگیزه‌ای برای بررسی پیش‌نویس‌ها، منابع و توضیح خود دانشجو استفاده کنید؛ Turnitin میگوید این امتیاز نباید تنها مبنای اقدام باشد [5].
بررسی پاسخ‌های کوتاه یا فهرست‌های نقطه‌ای با آشکارساز.
راه درست: آشکارسازها به نثر بلند نیاز دارند؛ Turnitin فهرست‌ها را نادیده می‌گیرد و اسنادی را که جمله‌های ارزیابی‌شدهٔ آنها کمتر از ۳۰۰ واژه است پردازش نمیکند [5].
پرسیدن از ChatGPT که آیا یک مقاله را نوشته است یا نه.
راه درست: به آن تکیه نکنید: OpenAI میگوید چنین پاسخ‌هایی تصادفی‌اند و هیچ پشتوانهٔ واقعی ندارند [2].
نادیده گرفتن پیشینهٔ زبانی نویسنده.
راه درست: این خطر مستند را در نظر بگیرید که برخی ابزارها نوشتار کلیشهای یا انگلیسی نویسندگان غیربومی را بیشتر علامتگذاری میکنند [3].
این تصور که نرخ مثبت کاذب ۱ درصد یعنی تقریباً هیچ‌کس آسیب نمی‌بیند.
راه درست: آن را در حجم کار ضرب کنید: با ۷۵٬۰۰۰ مقاله در سال، ۱ درصد حدود ۷۵۰ مقاله میشود [7].
باور کردن ادعاهای تبلیغاتی دقت ۹۹ درصدی.
راه درست: به دنبال آزمون‌هایی روی بنچمارک‌های مشترک و چالش‌برانگیز با متن‌های ویرایش‌شده و بازنویسی‌شده باشید [8].
پرسش‌های پرتکرار
آیا آشکارسازهای هوش مصنوعی می‌توانند ۱۰۰ درصد دقیق باشند؟
هیچ ابزاری در همهٔ شرایط دقت کامل نشان نداده است. OpenAI گفت تشخیص قابل اعتماد همهٔ متن‌های نوشته‌شده با هوش مصنوعی ناممکن است [1] و پژوهشهای نظری استدلال میکنند که هرچه متن هوش مصنوعی به متن انسانی نزدیک‌تر شود، تشخیص آن دشوارتر میشود [9].
آیا آشکارساز هوش مصنوعی Turnitin دقیق است؟
Turnitin میگوید هدفش این است که برای اسنادی که بیش از ۲۰ درصدشان نوشتهٔ هوش مصنوعی است، مثبت کاذب را زیر ۱ درصد نگه دارد و هر بهروزرسانی را روی بیش از ۷۰۰٬۰۰۰ مقالهٔ مربوط به پیش از ChatGPT میآزماید [5]. یک آزمون مستقل در سال ۲۰۲۳ آن را با دقت ۷۶ درصد، با امتیازدهی سختگیرانهٔ آن پژوهش، در رتبهٔ نخست میان ۱۴ ابزار قرار داد [4]. Turnitin میگوید امتیازش نباید تنها مبنای اقدام باشد [5].
چرا نوشتهٔ خود من بهعنوان هوش مصنوعی علامتگذاری شد؟
آشکارسازها به دنبال گزینشهای واژگانی پیشبینیپذیرند [5]. نوشتار کلیشهای، موجز یا انگلیسی نویسندگان غیربومی ممکن است پیشبینیپذیر به نظر برسد و پژوهشها برای چنین نوشتارهایی نرخ مثبت کاذب بالاتری یافتهاند [2][3].
آیا آشکارسازهای هوش مصنوعی روی متن فارسی یا زبانهای دیگر کار میکنند؟
پوشش آنها محدود است. Turnitin هفت زبان پشتیبانیشده را فهرست کرده است که فارسی در میان آنها نیست و زبانهای دیگر را پردازش نمیکند [5]. طبقهبند OpenAI در زبانهای غیرانگلیسی عملکرد بهمراتب بدتری داشت [1].
آیا ابزارهای انسانیساز آشکارسازهای هوش مصنوعی را شکست میدهند؟
ویرایش و بازنویسی در آزمونهای ۲۰۲۳ [4] و در پژوهشهای مبتنی بر بنچمارک [8][9] نرخ تشخیص را بهشدت کاهش داد. Turnitin میگوید میتواند متن انگلیسی انسانیسازیشده را تشخیص دهد [5] و یک مقالهٔ کاری در سال ۲۰۲۵ دریافت که یک ابزار تجاری در آزمونهایش در برابر انسانیسازها مقاوم بود [10]. در جایی که دانشگاه یا مدرسه استفاده از هوش مصنوعی را ممنوع کرده است، پنهان کردن آن با یک انسانیساز آن استفاده را مجاز نمیکند.
تفاوت آشکارساز و واترمارک چیست؟
آشکارساز از روی خود متن حدس میزند. واترمارک الگویی است که هنگام تولید متن در آن جای داده میشود و بعدها میتوان آن را بررسی کرد، اما فقط برای ارائهدهندگانی که آن را به کار میگیرند [12].
واژه‌نامه
- مثبت کاذب (False positive)
- متن نوشته‌شده به دست انسان که به اشتباه تولیدشده با هوش مصنوعی برچسب می‌خورد [1].
- منفی کاذب (False negative)
- متن تولیدشده با هوش مصنوعی که به اشتباه نوشتهٔ انسان برچسب می‌خورد [10].
- سرگشتگی (Perplexity)
- معیاری از میزان پیش‌بینی‌پذیری یک متن برای یک مدل زبانی؛ نوشتهٔ انسانی با سرگشتگی پایین بیشتر در معرض طبقه‌بندی اشتباه است [3].
- انسانیساز (Humanizer یا Bypasser)
- ابزاری که متن هوش مصنوعی را بازنویسی می‌کند تا از تشخیص بگریزد [5].
- واترمارک (Watermark)
- نشانه‌ای آماری و پنهان که هنگام تولید به خروجی هوش مصنوعی افزوده میشود تا بعدها بتوان آن را شناسایی کرد [12].
- طبقهبند (Classifier)
- مدلی که آموزش دیده است ورودی‌ها را در دسته‌هایی مانند نوشتهٔ انسان یا نوشتهٔ هوش مصنوعی قرار دهد [1].
منابع
- New AI classifier for indicating AI-written text OpenAI · 2023-01-31
- How can educators respond to students presenting AI-generated content as their own? OpenAI Help Center; live page, retrieved 2026-11-03
- GPT detectors are biased against non-native English writers (Liang, Yuksekgonul, Mao, Wu, Zou) arXiv; published in Patterns (Cell Press) · 2023-07-10
- Testing of Detection Tools for AI-Generated Text (Weber-Wulff et al.) arXiv; published in International Journal for Educational Integrity 19, 26 (2023) · 2023-06-21
- Turnitin's AI writing detection capabilities FAQs Turnitin Guides; live page, retrieved 2026-11-03
- New research: Turnitin's AI detector shows no statistically significant bias against English Language Learners Turnitin (David Adamson) · 2023-10-26
- Guidance on AI Detection and Why We're Disabling Turnitin's AI Detector Vanderbilt University · 2023-08-16
- RAID: A Shared Benchmark for Robust Evaluation of Machine-Generated Text Detectors (Dugan et al.) arXiv · 2024-05-13
- Can AI-Generated Text be Reliably Detected? (Sadasivan et al.) arXiv · 2023-03-17
- Artificial Writing and Automated Detection (Jabarian and Imas), Working Paper 34223 National Bureau of Economic Research
- People who frequently use ChatGPT for writing tasks are accurate and robust detectors of AI-generated text (Russell, Karpinska, Iyyer) arXiv · 2025-01-26
- Scalable watermarking for identifying large language model outputs (Dathathri et al.) Nature · 2024-10-23
- University wrongly accuses students of using artificial intelligence to cheat ABC News (Australia) · 2025-10-09
نظرات
نظرهای برتر