Qual é a precisão dos detectores de IA? O que dizem as pesquisas para estudantes e professores

Qual é a precisão dos detectores de IA?

A resposta curta é que os detectores de texto gerado por IA podem acertar na maior parte das vezes em condições de teste, mas cometem erros que pesam quando a nota ou o histórico de um estudante está em jogo. A precisão depende muito da ferramenta, do tamanho do texto, do idioma, de o texto de IA ter sido editado ou não e do limiar que a ferramenta usa.

O alerta inicial mais claro veio da OpenAI, a empresa por trás do ChatGPT. Seu classificador de janeiro de 2023 identificou corretamente 26% dos textos escritos por IA como “provavelmente escritos por IA” e rotulou por engano textos escritos por pessoas como escritos por IA em 9% das vezes, em seu conjunto de teste em inglês ^[1]. A OpenAI o tirou do ar a partir de 20 de julho de 2023 “devido à sua baixa taxa de precisão” ^[1]. Em sua página de ajuda atual para educadores, a OpenAI responde à pergunta “Os detectores de IA funcionam?” com “Em resumo, não na nossa experiência” ^[2].

Pesquisas independentes chegaram a conclusões semelhantes para muitas ferramentas. Um estudo de 2023 com 12 ferramentas disponíveis publicamente e dois sistemas comerciais, Turnitin e PlagiarismCheck, concluiu que as ferramentas “não eram nem precisas nem confiáveis” e tendiam a classificar o texto como escrito por pessoas em vez de detectar o texto de IA ^[4]. Trabalhos posteriores são mais variados: um working paper de setembro de 2025 constatou que os detectores comerciais superaram um de código aberto e que um produto, o Pangram, teve taxas de erro próximas de zero em seus testes ^[10]. Os resultados de um estudo, com um conjunto de dados, não se transferem automaticamente para qualquer sala de aula.

Como funcionam os detectores de IA?

A maioria dos detectores é composta por classificadores: softwares treinados para separar textos entre “humanos” e “de IA” e atribuir uma pontuação. A Turnitin explica a ideia em termos de probabilidade das palavras. Os grandes modelos de linguagem (LLMs), sistemas por trás de chatbots como o ChatGPT, tendem a escolher a próxima palavra de “forma consistente e altamente provável”, enquanto a escrita humana tende a ser “inconsistente e idiossincrática” ^[5]. Seus classificadores são treinados para detectar essas diferenças ^[5].

Uma medida relacionada é a perplexidade, que descreve, de modo aproximado, o quanto um texto surpreende um modelo de linguagem. Um texto de baixa perplexidade é previsível. Liang e colegas mostraram que esse sinal pode enganar: redações de autores não nativos de inglês tinham perplexidade significativamente menor, o que ajuda a explicar por que os detectores as sinalizaram ^[3]. A Turnitin, por sua vez, diz que seu próprio modelo não é programado explicitamente para avaliar a perplexidade e, em vez disso, aprende padrões estatísticos com seus dados de treinamento ^[5].

O que significa a pontuação de um detector?

A Turnitin atribui a cada frase uma pontuação entre 0 e 1, rotula como IA as frases acima de um limiar e informa a proporção de frases avaliadas acima desse limiar como pontuação do documento ^[5]. Ela ignora listas, cabeçalhos, referências, tabelas, fórmulas e código, de modo que a porcentagem não corresponde necessariamente a uma parte do trabalho inteiro ^[5]. A pontuação é uma estimativa baseada em probabilidades, não um registro de como o texto foi escrito.

A marca d’água é diferente?

Sim. Uma marca d’água é um padrão estatístico oculto acrescentado enquanto o texto é gerado. O SynthID-Text, do Google DeepMind, altera apenas a etapa de amostragem e pode ser detectado sem executar o modelo original; um experimento em ambiente real abrangeu quase 20 milhões de respostas do Gemini ^[12]. Seus autores dizem que as marcas d’água não são uma solução completa: só funcionam se a empresa que gera o texto as aplicar, é difícil cobrir modelos de código aberto, e elas podem ser enfraquecidas por paráfrase ou atacadas por roubo, falsificação e remoção ^[12].

O que dizem as pesquisas sobre falsos positivos e viés?

Um falso positivo é um texto humano rotulado por engano como IA. Na educação, é o erro mais grave, porque pode levar à acusação de um estudante honesto. Um falso negativo é um texto de IA que passa por humano.

Autores não nativos de inglês

Em um estudo de Liang e colegas, sete detectores amplamente usados foram testados em 91 redações do TOEFL escritas por pessoas, tiradas de um fórum educacional chinês, e em 88 redações de alunos do oitavo ano dos EUA ^[3]. Os detectores foram quase perfeitos com as redações americanas, mas classificaram de forma errada mais da metade das redações do TOEFL, com uma taxa média de falsos positivos de 61,22% ^[3]. Os sete detectores sinalizaram 18 das 91 redações do TOEFL (19,78%), e 89 das 91 (97,80%) foram sinalizadas por pelo menos um detector ^[3]. Quando o ChatGPT foi usado para enriquecer o vocabulário dessas redações, a taxa média de falsos positivos caiu para 11,77% ^[3]. Pedir ao ChatGPT que simplificasse as redações americanas “como se fossem escritas por um falante não nativo” elevou a taxa de 5,19% para 56,65% ^[3].

A Turnitin, que não fez parte desse estudo, contesta que o resultado se aplique ao seu produto. Ela observa que as redações do TOEFL tinham todas menos de 150 palavras e que não pontua documentos tão curtos ^[6]. Em seu próprio teste de 2023, com documentos de pelo menos 300 palavras, a diferença na taxa de falsos positivos entre autores de inglês como segunda língua e como primeira língua foi pequena e não estatisticamente significativa ^[6]. Essa avaliação foi conduzida pelo próprio fornecedor.

Por que pequenas taxas de erro se acumulam?

A Universidade Vanderbilt fez a conta quando desativou o detector de IA da Turnitin em agosto de 2023. A Turnitin havia anunciado uma taxa de falsos positivos de 1% no lançamento; a Vanderbilt tinha enviado cerca de 75.000 trabalhos em 2022, então cerca de 750 poderiam ter sido sinalizados por engano ^[7]. O mesmo raciocínio vale para qualquer detector: uma taxa que parece pequena ainda pode afetar muitas pessoas quando milhões de documentos são verificados.

Os detectores de IA podem ser enganados por edição ou por ferramentas de humanização?

Muitas vezes, sim, embora as ferramentas mais novas afirmem resistir a isso. No teste de 2023 com 14 ferramentas, a precisão média (pontuação binária) foi de 94% para textos escritos por pessoas, mas de apenas 30% para textos de IA editados manualmente e de 15% para textos de IA passados por uma ferramenta automática de paráfrase ^[4]. A ofuscação do conteúdo, ou seja, alterações deliberadas para esconder a origem em IA, piorou significativamente o desempenho das ferramentas ^[4].

O benchmark RAID, com mais de 6 milhões de textos gerados por 11 modelos em 8 domínios, 11 ataques adversariais e 4 estratégias de decodificação, constatou que os 12 detectores avaliados eram “facilmente enganados” por ataques, mudanças nas configurações de amostragem, penalidades de repetição e modelos não vistos ^[8]. Seus autores observam que muitos detectores alegam 99% de precisão ou mais, mas raramente são testados em dados compartilhados e desafiadores ^[8]. Sadasivan e colegas mostraram que parafrasear repetidamente um texto de IA com outro modelo pode reduzir significativamente as taxas de detecção, degradando a qualidade apenas ligeiramente em muitos casos ^[9]. Eles também mostram que, à medida que o texto de IA se aproxima do texto humano, o desempenho até do melhor detector possível diminui ^[9].

Os fornecedores reagiram. A Turnitin diz que consegue identificar textos de IA modificados por ferramentas de paráfrase ou de “bypass”, também chamadas de humanizadores, mas apenas em trabalhos em inglês ^[5]. O working paper do NBER de 2025 relata que as baixas taxas de erro do Pangram se mantiveram diante de ferramentas de humanização e de trechos muito curtos em seus testes ^[10]. São resultados animadores, mas descrevem o desempenho em um momento específico, diante das ferramentas disponíveis na época. Os autores também ressaltam que quem toma decisões pesa os dois tipos de erro de forma diferente e propõem definir uma tolerância explícita, ou “limite de política”, para eles ^[10].

Professores identificam a escrita de IA melhor do que um software?

Alguns, sim. Em um estudo de 2025, anotadores leram 300 artigos de não ficção em inglês e rotularam cada um como escrito por uma pessoa ou por IA ^[11]. Pessoas que usavam LLMs com frequência para escrever se saíram muito bem: a votação por maioria de cinco desses anotadores “especialistas” classificou errado apenas 1 dos 300 artigos, superando a maioria dos detectores comerciais e de código aberto avaliados pelos autores, mesmo quando houve paráfrase e humanização ^[11]. Os especialistas se basearam no “vocabulário de IA”, mas também na formalidade, na originalidade e na clareza ^[11].

Esse resultado tem limites. Foi usado um painel de cinco leitores experientes com votação por maioria, não um único professor corrigindo às pressas, e o estudo abrangeu artigos de não ficção em inglês, e não trabalhos de estudantes ^[11]. Ele sugere que o julgamento humano bem informado somado a evidências supera um número isolado, e não que a intuição sozinha deva decidir um caso.

Como os professores devem usar os resultados dos detectores de IA com justiça?

Os próprios fabricantes das ferramentas alertam contra tratar uma pontuação como prova. A Turnitin afirma que “não determina a ocorrência de má conduta” e que a porcentagem de IA “não deve ser usada como única base para uma medida nem como critério definitivo de avaliação” ^[5]. A OpenAI diz que o ChatGPT não consegue dizer se um texto foi gerado por IA e que suas respostas a perguntas como “foi você que escreveu isto?” são aleatórias ^[2].

1. Trate um alerta como motivo para examinar melhor, não como veredito. A Turnitin descreve sua pontuação como um dado para embasar uma decisão segundo a política da própria instituição ^[5].
2. Verifique as condições. A Turnitin não processa documentos com menos de 300 palavras em frases avaliadas e não exibe pontuações abaixo de 20% em seu relatório ^[5]. Trabalhos curtos ou cheios de listas geram sinais fracos.
3. Lembre-se da margem de erro. A Turnitin diz que, quando informa 50% de texto provavelmente gerado por IA, o documento pode conter até 65% de escrita de IA ^[5]; a ferramenta é calibrada para deixar passar algum texto de IA em vez de emitir alertas falsos, então o número é uma estimativa, não uma medição.
4. Reúna outras evidências. Rascunhos, anotações, histórico de versões e uma conversa com o estudante sobre o trabalho dizem mais do que uma pontuação isolada. A OpenAI diz que alguns professores acharam útil incentivar os estudantes a compartilhar conversas específicas com o ChatGPT ^[2].
5. Considere o histórico linguístico. A OpenAI relatou indícios de que os detectores podem afetar desproporcionalmente estudantes de inglês como língua estrangeira e estudantes cuja escrita é padronizada ou concisa ^[2], e Liang e colegas encontraram taxas de falsos positivos muito mais altas em redações de não nativos ^[3].
6. Defina regras claras com antecedência. Os estudantes precisam saber quais usos de IA são permitidos, como ajuda com a gramática, e quais não são; os autores do NBER observam que pode ser difícil separar os usos incentivados dos demais ^[10].

O custo de pular essas etapas é real. A ABC News noticiou em outubro de 2025 que a Australian Catholic University registrou quase 6.000 casos de suposta má conduta em 2024, cerca de 90% deles relacionados à IA, segundo documentos internos; a universidade classificou esses números como “substancialmente exagerados” ^[13]. A ACU deixou de usar a ferramenta de IA da Turnitin em março de 2025, e sua vice-reitora adjunta disse que os casos em que essa ferramenta era a única evidência foram arquivados de imediato ^[13].

O que um estudante pode fazer se um detector sinalizar seu trabalho por engano?

Estas são informações gerais, não aconselhamento jurídico; cada instituição tem seu próprio procedimento. Um alerta de detector não é, segundo os próprios fabricantes das ferramentas, prova de fraude ^[2][5].

• Pergunte quais evidências existem. Descubra qual ferramenta foi usada, que pontuação ela deu e se há algo mais que sustente a suspeita. O indicador da Turnitin só é visível para professores e administradores, então os estudantes podem precisar solicitá-lo ^[5].
• Mostre seu processo. Rascunhos, roteiros, anotações à mão, o histórico do navegador com as fontes e o histórico de versões do documento mostram como o trabalho se desenvolveu.
• Ofereça-se para explicar o trabalho. Conseguir discutir seu argumento e suas fontes é uma forte evidência de autoria.
• Use a via formal de recurso e guarde cópias de todas as mensagens.
• Não peça a um chatbot que julgue. A OpenAI diz que as respostas do ChatGPT sobre se ele escreveu um texto não têm base factual ^[2].

Para estudantes no Irã e em outros países que escrevem em inglês como segunda língua, as pesquisas sobre viés são diretamente relevantes ^[3]. A detecção de IA da Turnitin aceita textos longos em inglês, espanhol, japonês, árabe moderno, holandês, alemão e turco; o persa não está nessa lista, e trabalhos em idiomas não suportados não são processados ^[5].

A detecção de IA vai ficar mais confiável?

Em 3 de novembro de 2026, o cenário é o de uma corrida entre geradores e detectores. A Turnitin atualizou a arquitetura de seu modelo de detecção em inglês em outubro de 2026 e lista modelos como o GPT-5.4 e o Claude Opus 4.6 entre os que consegue detectar ^[5]. Algumas pesquisas de 2025 mostram resultados fortes para as melhores ferramentas comerciais ^[10], enquanto estudos de benchmark mostram que condições não testadas ainda enganam muitos detectores ^[8]. Trabalhos teóricos sugerem que a detecção fica mais difícil à medida que a escrita de IA se torna mais parecida com a humana ^[9].

A marca d’água pode ajudar no caso de textos de provedores que a adotem, mas seus autores a descrevem como complementar a outros métodos, e não como uma resposta completa ^[12]. As orientações da OpenAI e da Turnitin apontam as escolas para políticas claras de uso de IA, registros de como os estudantes trabalharam e decisões tomadas por educadores, e não por uma pontuação ^[2][5].