Süni intellekt detektorları nə dərəcədə dəqiqdir? Tədqiqatlar tələbə və müəllimlərə nə deyir

Süni intellekt detektorları nə dərəcədə dəqiqdir?

Qısa cavab belədir: süni intellekt mətn detektorları sınaq şəraitində çox vaxt düz nəticə verə bilər, lakin tələbənin qiyməti və ya akademik qeydi təhlükə altında olduqda əhəmiyyət kəsb edən səhvlərə yol verir. Dəqiqlik alətdən, mətnin uzunluğundan, dildən, süni intellekt mətninin redaktə edilib-edilmədiyindən və alətin istifadə etdiyi həddən çox asılıdır.

Ən aydın erkən xəbərdarlıq ChatGPT-ni yaradan OpenAI şirkətindən gəldi. Onun yanvar 2023-cü il təsnifatçısı ingilis dilindəki sınaq dəstində süni intellektin yazdığı mətnin 26%-ni düzgün olaraq «ehtimal ki, süni intellekt tərəfindən yazılıb» kimi müəyyən edib, insanın yazdığı mətni isə halların 9%-ində səhvən süni intellekt mətni kimi işarələyib ^[1]. OpenAI onu 20 iyul 2023-cü ildən «aşağı dəqiqlik dərəcəsi səbəbindən» əlçatmaz edib ^[1]. Müəllimlər üçün cari yardım səhifəsində OpenAI «Süni intellekt detektorları işləyirmi?» sualına «Qısaca desək, bizim təcrübəmizə görə, xeyr» cavabını verir ^[2].

Müstəqil tədqiqatlar bir çox alət üçün oxşar nəticələrə gəlib. 12 açıq əlçatan alət və iki kommersiya sistemi, Turnitin və PlagiarismCheck üzrə 2023-cü il tədqiqatı alətlərin «nə dəqiq, nə də etibarlı» olduğu qənaətinə gəlib və onların süni intellekt mətnini aşkarlamaqdansa mətni insan yazısı kimi təsnif etməyə meyilli olduğunu göstərib ^[4]. Sonrakı işlər daha qarışıq mənzərə yaradır: sentyabr 2025-ci il işçi məqaləsi kommersiya detektorlarının açıq mənbəli detektordan üstün olduğunu, məhsullardan biri olan Pangram-ın isə testlərində sıfıra yaxın səhv dərəcəsi göstərdiyini müəyyən edib ^[10]. Bir məlumat dəsti üzrə bir tədqiqatın nəticələri avtomatik olaraq hər sinfə aid edilə bilməz.

Süni intellekt detektorları necə işləyir?

Detektorların çoxu təsnifatçıdır: mətni «insan» və ya «süni intellekt» kateqoriyasına ayırmaq və bal vermək üçün öyrədilmiş proqram. Turnitin ideyanı sözlərin ehtimalı ilə izah edir. ChatGPT kimi çat-botların əsasında dayanan böyük dil modelləri (LLM) növbəti sözü «ardıcıl və yüksək ehtimallı şəkildə» seçməyə meyillidir, insan yazısı isə «qeyri-ardıcıl və özünəməxsus» olmağa meyillidir ^[5]. Onun təsnifatçıları bu fərqləri aşkarlamaq üçün öyrədilib ^[5].

Əlaqəli göstərici perplexity, yəni «çaşqınlıq» göstəricisidir; o, təxminən mətnin dil modeli üçün nə qədər gözlənilməz olduğunu təsvir edir. Perplexity-si aşağı olan mətn proqnozlaşdırılandır. Liang və həmkarları göstəriblər ki, bu siqnal yanıldıcı ola bilər: ana dili ingilis dili olmayan müəlliflərin esselərinin perplexity-si əhəmiyyətli dərəcədə aşağı olub və bu, detektorların onları niyə işarələdiyini izah etməyə kömək edir ^[3]. Turnitin isə öz növbəsində bildirir ki, onun modeli perplexity-ni qiymətləndirmək üçün açıq şəkildə proqramlaşdırılmayıb, əksinə, öyrədilmə məlumatlarından statistik qanunauyğunluqları öyrənir ^[5].

Detektor balı nə deməkdir?

Turnitin hər cümləyə 0 ilə 1 arasında bal verir, müəyyən həddən yuxarı olan cümlələri süni intellekt kimi işarələyir və qiymətləndirilmiş cümlələr arasında həmin həddən yuxarı olanların payını sənədin balı kimi göstərir ^[5]. O, siyahıları, başlıqları, istinadları, cədvəlləri, düsturları və kodu nəzərə almır, ona görə də faiz mütləq bütün təqdim olunan işin payı deyil ^[5]. Bal mətnin necə yazıldığına dair qeyd deyil, ehtimala əsaslanan təxmindir.

Su nişanı fərqlidirmi?

Bəli. Su nişanı mətn yaradılarkən ona əlavə edilən gizli statistik nümunədir. Google DeepMind-ın SynthID-Text sistemi yalnız seçmə (sampling) mərhələsini dəyişir və ilkin modeli işə salmadan aşkarlana bilər; canlı eksperiment təxminən 20 milyon Gemini cavabını əhatə edib ^[12]. Müəlliflər bildirir ki, su nişanları tam həll deyil: onlar yalnız mətni yaradan şirkət onları tətbiq etdikdə işləyir, açıq mənbəli modelləri əhatə etmək çətindir, su nişanları isə parafraz vasitəsilə zəiflədilə və ya oğurlama, saxtalaşdırma və silmə üsulları ilə hücuma məruz qala bilər ^[12].

Tədqiqatlar yalançı pozitivlər və qərəz haqqında nə deyir?

Yalançı pozitiv insan yazısının səhvən süni intellekt kimi işarələnməsidir. Təhsildə bu, daha ciddi səhvdir, çünki dürüst tələbəyə qarşı ittihama səbəb ola bilər. Yalançı neqativ isə insan yazısı kimi keçən süni intellekt mətnidir.

Ana dili ingilis dili olmayan müəlliflər

Liang və həmkarlarının tədqiqatında yeddi geniş istifadə olunan detektor Çin təhsil forumundan götürülmüş, insanların yazdığı 91 TOEFL essesi və ABŞ-ın səkkizinci sinif şagirdlərinin 88 essesi üzərində sınaqdan keçirilib ^[3]. Detektorlar ABŞ esselərində demək olar ki, qüsursuz olub, lakin TOEFL esselərinin yarıdan çoxunu səhv təsnif edib; orta yalançı pozitiv dərəcəsi 61,22% olub ^[3]. Yeddi detektorun hamısı 91 TOEFL essesindən 18-ni (19,78%) işarələyib, 91-dən 89-u (97,80%) isə ən azı bir detektor tərəfindən işarələnib ^[3]. Həmin esselərin lüğət tərkibini zənginləşdirmək üçün ChatGPT-dən istifadə edildikdə orta yalançı pozitiv dərəcəsi 11,77%-ə düşüb ^[3]. ChatGPT-dən ABŞ esselərini «ana dili ingilis dili olmayan biri yazmış kimi» sadələşdirməyi istədikdə isə bu göstərici 5,19%-dən 56,65%-ə yüksəlib ^[3].

Həmin tədqiqatda iştirak etməyən Turnitin nəticənin öz məhsuluna aid olduğu ilə razılaşmır. Şirkət qeyd edir ki, TOEFL esselərinin hamısı 150 sözdən qısa olub və o, belə qısa sənədləri qiymətləndirmir ^[6]. Onun öz 2023-cü il testində ən azı 300 sözlük sənədlər üçün ingilis dilini ikinci dil kimi və ana dili kimi istifadə edən müəlliflər arasında yalançı pozitiv dərəcəsindəki fərq kiçik olub və statistik baxımdan əhəmiyyətli olmayıb ^[6]. Bu qiymətləndirməni satıcının özü aparıb.

Kiçik səhv dərəcələri niyə toplanır?

Vanderbilt Universiteti avqust 2023-də Turnitin-in süni intellekt detektorunu söndürərkən hesablama aparıb. Turnitin istifadəyə verilərkən 1% yalançı pozitiv dərəcəsi iddia edirdi; Vanderbilt 2022-ci ildə təxminən 75,000 iş təqdim etmişdi, deməli, təxminən 750-si səhvən işarələnə bilərdi ^[7]. Eyni məntiq istənilən detektora aiddir: kiçik səslənən dərəcə milyonlarla sənəd yoxlandıqda yenə də çoxlu insana təsir edə bilər.

Süni intellekt detektorlarını redaktə və ya humanizer alətləri ilə aldatmaq olarmı?

Daha yeni alətlər buna qarşı dayanıqlı olduqlarını iddia etsələr də, çox vaxt bəli. 2023-cü ildə 14 alət üzrə testdə orta dəqiqlik (ikili qiymətləndirmə ilə) insanın yazdığı mətn üçün 94%, əl ilə redaktə edilmiş süni intellekt mətni üçün isə cəmi 30%, maşın parafraz aləti ilə işlənmiş süni intellekt mətni üçün isə 15% olub ^[4]. Məzmunun gizlədilməsi, yəni süni intellekt mənşəyini gizlətmək üçün qəsdən edilən dəyişikliklər alətlərin performansını əhəmiyyətli dərəcədə pisləşdirib ^[4].

8 sahə üzrə 11 modeldən, 11 rəqabətli hücumdan və 4 dekodlaşdırma strategiyasından istifadə edilməklə 6 milyondan çox generasiyanı əhatə edən RAID benchmark-ı müəyyən edib ki, qiymətləndirdiyi 12 detektor hücumlar, seçmə parametrlərindəki dəyişikliklər, təkrar cəzaları və görünməmiş modellər qarşısında «asanlıqla aldanır» ^[8]. Onun müəllifləri qeyd edir ki, bir çox detektor 99% və ya daha yüksək dəqiqlik iddia edir, lakin ortaq, çətin məlumatlar üzərində nadir hallarda sınaqdan keçirilir ^[8]. Sadasivan və həmkarları göstəriblər ki, süni intellekt mətnini başqa modellə təkrar-təkrar parafraz etmək bir çox halda keyfiyyəti yalnız bir qədər aşağı salmaqla aşkarlanma dərəcəsini əhəmiyyətli dərəcədə azalda bilər ^[9]. Onlar həmçinin göstərirlər ki, süni intellekt mətni insan mətninə yaxınlaşdıqca hətta mümkün olan ən yaxşı detektorun da performansı azalır ^[9].

Satıcılar buna reaksiya verib. Turnitin bildirir ki, parafraz və ya «bypasser» alətləri, başqa sözlə humanizerlərlə dəyişdirilmiş süni intellekt mətnini müəyyən edə bilir, lakin yalnız ingilis dilində təqdim olunan işlər üçün ^[5]. 2025-ci il NBER işçi məqaləsi bildirir ki, Pangram-ın aşağı səhv dərəcələri onun testlərində humanizer alətləri və çox qısa mətn parçaları qarşısında da qorunub ^[10]. Bunlar ümidverici nəticələrdir, lakin müəyyən bir anda, o vaxt mövcud olan alətlərə qarşı performansı təsvir edir. Müəlliflər həmçinin vurğulayır ki, qərar qəbul edənlər iki növ səhvi fərqli qiymətləndirir və onlar üçün açıq tolerantlıq həddi, yəni «siyasət həddi» müəyyən etməyi təklif edirlər ^[10].

Müəllimlər süni intellekt yazısını proqramdan daha yaxşı tanıya bilərmi?

Bəziləri bacarır. 2025-ci il tədqiqatında annotatorlar 300 qeyri-bədii ingilisdilli məqaləni oxuyub hər birini insan və ya süni intellekt tərəfindən yazılmış kimi işarələyiblər ^[11]. Yazı üçün LLM-lərdən tez-tez istifadə edən insanlar bunu çox yaxşı bacarıb: belə beş «ekspert» annotatorun səs çoxluğu 300 məqalədən yalnız 1-ni səhv təsnif edib və hətta parafraz və humanizasiyadan istifadə edildikdə belə müəlliflərin qiymətləndirdiyi kommersiya və açıq mənbəli detektorların çoxunu üstələyib ^[11]. Ekspertlər «süni intellekt lüğətinə», eləcə də rəsmilik, orijinallıq və aydınlığa əsaslanıblar ^[11].

Bu nəticənin məhdudiyyətləri var. Tədqiqatda tələsik qiymət yazan tək müəllim deyil, beş təcrübəli oxucudan ibarət panel və səs çoxluğu istifadə olunub, o, tələbə tapşırıqlarını deyil, ingilisdilli qeyri-bədii məqalələri əhatə edib ^[11]. O göstərir ki, məlumatlı insan mühakiməsi və sübutlar tək bir rəqəmdən üstündür, lakin bu, işin yalnız intuisiya ilə həll edilməli olduğu demək deyil.

Müəllimlər süni intellekt detektorunun nəticələrindən necə ədalətli istifadə etməlidir?

Alət yaradıcılarının özləri balı sübut kimi qəbul etməyə qarşı xəbərdarlıq edir. Turnitin bildirir ki, o, «qayda pozuntusu barədə qərar vermir» və süni intellekt faizi «tədbir görülməsi üçün yeganə əsas və ya qəti qiymətləndirmə meyarı kimi istifadə edilməməlidir» ^[5]. OpenAI bildirir ki, ChatGPT mətnin süni intellekt tərəfindən yaradılıb-yaradılmadığını müəyyən edə bilmir və onun «bunu sən yazmısan?» kimi suallara cavabları təsadüfidir ^[2].

1. İşarəyə hökm kimi deyil, daha diqqətlə baxmaq üçün səbəb kimi yanaşın. Turnitin öz balını qurumun öz siyasəti çərçivəsində qərar qəbul etməyə kömək edən məlumat kimi təsvir edir ^[5].
2. Şərtləri yoxlayın. Turnitin qiymətləndirilmiş cümlələrdə 300 sözdən az olan sənədləri emal etmir və hesabatında 20%-dən aşağı balları göstərmir ^[5]. Qısa və ya siyahılarla dolu işlər zəif siqnal verir.
3. Səhv diapazonunu yadda saxlayın. Turnitin bildirir ki, o, 50% ehtimal olunan süni intellekt mətni göstərdikdə sənəddə 65%-ə qədər süni intellekt yazısı ola bilər ^[5]; alət yalançı işarələrə yol verməkdənsə süni intellekt mətninin bir hissəsini buraxmaq üçün tənzimlənib, ona görə də rəqəm ölçü deyil, təxmindir.
4. Başqa sübutlar toplayın. Qaralamalar, qeydlər, versiya tarixçəsi və tələbə ilə iş barədə söhbət tək bir baldan daha çox məlumat verir. OpenAI bildirir ki, bəzi müəllimlər tələbələri konkret ChatGPT söhbətlərini paylaşmağa təşviq etməyi faydalı hesab ediblər ^[2].
5. Dil mühitini nəzərə alın. OpenAI detektorların ingilis dilini öyrənənlərə və yazısı şablon xarakterli və ya yığcam olan tələbələrə qeyri-mütənasib təsir göstərə biləcəyinə dair əlamətlər barədə məlumat verib ^[2], Liang və həmkarları isə ana dili ingilis dili olmayan müəlliflərin esseləri üçün xeyli yüksək yalançı pozitiv dərəcələri aşkarlayıb ^[3].
6. Aydın qaydaları əvvəlcədən müəyyən edin. Tələbələr süni intellektdən hansı istifadələrə, məsələn, qrammatika yardımına icazə verildiyini və hansılara verilmədiyini bilməlidir; NBER müəllifləri qeyd edir ki, təşviq olunan istifadələri digərlərindən ayırmaq çətin ola bilər ^[10].

Bu addımları atlamağın real bədəli var. ABC News oktyabr 2025-də xəbər verdi ki, daxili sənədlərə görə Australian Catholic University 2024-cü ildə təxminən 6,000 ehtimal olunan qayda pozuntusu işi qeydə alıb və onların təxminən 90%-i süni intellektlə bağlı olub; universitet bu rəqəmləri «əhəmiyyətli dərəcədə şişirdilmiş» adlandırıb ^[13]. ACU mart 2025-də Turnitin-in süni intellekt alətindən istifadəni dayandırıb və onun prorektoru bildirib ki, həmin alətin yeganə sübut olduğu işlər dərhal bağlanıb ^[13].

Detektor tələbənin işini səhvən işarələsə, o nə edə bilər?

Bu, hüquqi məsləhət deyil, ümumi məlumatdır; hər məktəbin öz proseduru var. Alət yaradıcılarının öz sözlərinə görə, detektor işarəsi saxtakarlığın sübutu deyil ^[2][5].

• Hansı sübutların olduğunu soruşun. Hansı alətdən istifadə edildiyini, hansı balı verdiyini və narahatlığı başqa bir şeyin dəstəkləyib-dəstəkləmədiyini öyrənin. Turnitin-in göstəricisi yalnız müəllimlər və administratorlar üçün görünür, ona görə də tələbələrin onu xahiş etməsi lazım ola bilər ^[5].
• İş prosesinizi göstərin. Qaralamalar, planlar, əlyazma qeydlər, mənbələrin brauzer tarixçəsi və sənədin versiya tarixçəsi işin necə inkişaf etdiyini göstərir.
• İşi izah etməyi təklif edin. Arqumentinizi və mənbələrinizi müzakirə edə bilmək müəllifliyin güclü sübutudur.
• Rəsmi apellyasiya yolundan istifadə edin və hər mesajın surətini saxlayın.
• Çat-botdan hakim olmasını istəməyin. OpenAI bildirir ki, ChatGPT-nin mətni onun yazıb-yazmadığına dair cavablarının faktiki əsası yoxdur ^[2].

İranda və ingilis dilində ikinci dil kimi yazan digər ölkələrdəki tələbələr üçün qərəzlə bağlı tədqiqat birbaşa aktualdır ^[3]. Turnitin-in süni intellekt aşkarlaması ingilis, ispan, yapon, müasir ərəb, niderland, alman və türk dillərində uzun mətnləri dəstəkləyir; fars dili bu siyahıda yoxdur və dəstəklənməyən dillərdə təqdim olunan işlər emal edilmir ^[5].

Süni intellektin aşkarlanması daha etibarlı olacaqmı?

3 noyabr 2026-cı il tarixinə mənzərə generatorlarla detektorlar arasında yarışdır. Turnitin oktyabr 2026-da ingilis dili üçün aşkarlama modelinin arxitekturasını yeniləyib və aşkarlaya bildiyi modellər arasında GPT-5.4 və Claude Opus 4.6-nı göstərir ^[5]. 2025-ci ilin bəzi tədqiqatları ən yaxşı kommersiya alətləri üçün güclü nəticələr göstərir ^[10], benchmark tədqiqatları isə sınaqdan keçirilməmiş şəraitin hələ də bir çox detektoru aldatdığını göstərir ^[8]. Nəzəri işlər süni intellekt yazısı insan yazısına daha çox bənzədikcə aşkarlamanın çətinləşdiyini ehtimal edir ^[9].

Su nişanları onları tətbiq edən provayderlərin mətnləri üçün kömək edə bilər, lakin müəllifləri onu tam cavab deyil, digər üsulları tamamlayan vasitə kimi təsvir edir ^[12]. Həm OpenAI-ın, həm də Turnitin-in tövsiyələri məktəbləri süni intellektdən istifadəyə dair aydın siyasətlərə, tələbələrin necə işlədiyinə dair qeydlərə və balla deyil, müəllimlər tərəfindən qəbul edilən qərarlara yönəldir ^[2][5].