Como Desmascarar Textos Criados por Inteligência Artificial
Chatbots de IA, como o ChatGPT, oferecem muito mais do que simples respostas às suas perguntas. Eles são capazes de criar e-mails, cartas de apresentação, redações, poesias, posts para blogs e muito mais. A habilidade de escrita da IA é notável, adaptando-se a diferentes estilos de tal forma que a diferenciação se torna um desafio.
Infelizmente, esta versatilidade dificulta a identificação de textos gerados por IA em comparação com aqueles criados por humanos. Embora a lógica de “eliminar o impossível” possa ser aplicada, a realidade é que o tempo para tal análise é escasso. Imagine se eu lhe dissesse que o parágrafo anterior foi, na verdade, produto de uma IA? Solicitei ao YouWrite uma introdução rápida e este foi o resultado. Surpreendentemente convincente, não? Este é o problema: a capacidade de apresentar textos gerados por IA como trabalho próprio e usufruir de seus benefícios.
As IAs não se limitam a reformular textos; elas compreendem o tópico e o expressam com linguagem natural, utilizando o aprendizado por reforço com feedback humano (RLHF). Isso implica que o texto gerado não soará artificial, nem poderá ser comparado a dados online para identificar plágio.
A detecção de conteúdo criado por IA não é tarefa simples e não há garantia de precisão total. No entanto, com alguma investigação e auxílio de ferramentas especializadas, é possível identificar a maioria dos textos gerados por IA.
A seguir, exploraremos métodos manuais e ferramentas automáticas para detectar o plágio de IA.
Detecção Manual de Plágio de IA 🕵️
O ChatGPT é apenas um dos muitos desafios na detecção de plágio de IA. Existem inúmeras ferramentas alternativas, construídas com base na mesma tecnologia GPT-3, desenvolvidas para a escrita. Elas são sofisticadas e criam textos que imitam a escrita humana, tornando sua detecção difícil.
As ferramentas de detecção automática podem ser imprevisíveis, variando sua eficácia conforme o tipo de conteúdo, extensão e complexidade. Portanto, a análise manual ainda é a melhor abordagem para determinar a autoria de um texto.
A seguir, apresento alguns indícios comuns que podem ajudar a identificar conteúdo gerado por IA:
#1. Informações Desatualizadas
O conhecimento do ChatGPT e outras IAs baseadas em GPT-3 foi atualizado até o final de 2021. Embora alguns bots de IA integrem mecanismos de pesquisa para obter informações recentes, eles ainda se baseiam em dados mais antigos para textos longos, como ensaios ou posts de blog.
Se um texto apresentar dados frequentemente desatualizados, especialmente anteriores a 2021, é um forte indicador de que foi gerado por IA.
No exemplo abaixo, pedi ao YouWrite para falar sobre a Copa do Mundo da FIFA mais recente, e ele mencionou a de 2018, em vez da de 2022.
Mesmo que as ferramentas sejam atualizadas para abordar eventos recentes, elas tendem a usar os dados sobre os quais foram inicialmente construídas, especialmente em textos mais longos.
#2. Uso de Estruturas de Frases Similares
Ao descrever vários produtos ou aplicativos, a IA frequentemente usa a mesma estrutura de frase, adaptando-a para cada descrição. As descrições costumam começar com as mesmas palavras, como “O”, “Ele”, “A”, ou o nome do produto, e mantêm um foco repetitivo.
Por exemplo, ao solicitar ao ChatGPT informações sobre “sites de empregos de entrada de dados”, todas as descrições começaram com “A” e tinham um foco restrito.
O YouChat também apresentou a mesma tendência, repetindo o nome de cada site no início, e as descrições pareciam versões reformuladas umas das outras.
Se a escrita analisada apresentar esse padrão em descrições, é um forte indício de que foi gerada por IA.
#3. Frases Curtas e Diretas
Em muitos textos, a IA usa frases curtas, com no máximo uma vírgula. É possível que isso minimize a ocorrência de erros, mas evita o uso de frases longas que exigiriam dois pontos, ponto e vírgula ou travessões.
Embora essa não seja a evidência mais forte, vale a pena considerá-la para confirmar suas suspeitas.
#4. Informações Incorretas
Em questões mais complexas, que envolvem algum tipo de instrução, a IA pode não captar a intenção e fornecer informações erradas. Não se trata de dados desatualizados, mas de informações equivocadas fornecidas com convicção, quando o assunto não é compreendido corretamente.
Por exemplo, ao perguntar ao YouWrite “como fazer root em um telefone Android sem um PC”, ele apresentou métodos que ainda envolviam o uso de um PC em algum momento do processo.
#5. Ausência de Opinião Pessoal
Ao abordar um tópico, a IA se limita a fatos conhecidos. Ao contrário dos humanos, ela não compartilha experiências pessoais. Embora possam ser programadas para criar redações com exemplos práticos, a tendência padrão é evitá-los.
Se o texto apresentar somente informações factuais, é muito provável que tenha sido escrito por uma IA. Ao falar sobre um aplicativo, por exemplo, ela descreverá seus recursos, e não a facilidade de uso ou experiências pessoais.
#6. Explicações Concisas
Devido às limitações de conhecimento, as IAs tendem a usar explicações e descrições breves. Por exemplo, ao abordar um tema específico como o root no Android, elas geralmente se limitam a 2 ou 3 parágrafos. Para aplicativos ou produtos, a descrição raramente ultrapassa um parágrafo.
Humanos podem escrever longamente sobre um tema, incluindo recursos, limitações, experiências pessoais e preços. Já a IA foca nos principais destaques e recursos, o que resulta em textos mais curtos. Se for solicitada a fornecer mais detalhes, o risco de informações incorretas aumenta consideravelmente.
#7. Análise do Histórico do Autor
Professores ou webmasters podem comparar o texto suspeito com trabalhos anteriores do autor. É muito improvável que um autor humano tenha um estilo de escrita similar ao de uma IA. Embora a IA consiga modificar tons de escrita, os estilos adotados são bastante genéricos e não podem simular o tom pessoal de alguém.
Tomando como exemplo o parágrafo gerado por IA no início deste texto, qualquer pessoa que tenha lido meus textos anteriores pode notar a diferença em relação ao meu estilo de escrita.
A análise de trabalhos anteriores pode ser crucial para detectar um estilo de escrita inconsistente.
Ferramentas para Detectar Plágio de IA
Existem diversas ferramentas disponíveis para detectar textos gerados por IA. No entanto, a precisão varia e elas podem falhar dependendo do conteúdo e do tamanho do texto.
Testei essas ferramentas usando conteúdo criado por ChatGPT, GPT-3 Playground, WriteSonic, Rytr e YouWrite. Elas conseguiram detectar o conteúdo gerado pelo ChatGPT e GPT-3 Playground com sucesso. Os resultados foram variados para as outras ferramentas, e curiosamente, todas falharam ao detectar o YouWrite. Suspeito que o YouWrite comete erros similares aos humanos para evitar a detecção.
Recomendo o uso dessas ferramentas em conjunto com a análise manual. Primeiro, avalie o conteúdo com uma das ferramentas e depois procure indícios manuais para confirmar suas suspeitas.
A seguir, apresento as ferramentas que oferecem os melhores resultados e são mais fáceis de usar:
Observação: Para demonstração, usarei o texto gerado pelo WriteSonic sobre “Benefícios das mangas”.
#1. Content At Scale
O detector de conteúdo de IA do Content At Scale foi o mais preciso nos testes realizados. Ele permite analisar até 2.500 caracteres por vez, e gera uma previsão percentual indicando a probabilidade de conteúdo real ou gerado por IA.
Pode-se considerar que conteúdo com mais de 60% de probabilidade de ser falso foi criado por IA, pelo menos a maior parte dele. No exemplo abaixo, a ferramenta indicou que 96% do conteúdo era falso e gerado totalmente por IA.
#2. GPTZero
O GPTZero é uma boa opção para identificar com precisão as partes geradas por IA. Ele não pontua o conteúdo, mas destaca as partes do texto que provavelmente foram criadas por IA.
Embora mostre pontuações de perplexidade e explosão para indicar a aleatoriedade do texto, o principal é que ele suporta 5.000 caracteres por análise e permite fazer upload de arquivos. A digitalização de grandes blocos de texto melhora a precisão.
#3. Detector de Saída GPT-2
Os criadores do ChatGPT também oferecem um bot para detectar seu próprio trabalho. Como GPT-2 e GPT-3 diferem apenas na quantidade de dados usados para treinamento, este detector GPT-2 também funciona bem com IAs baseadas em GPT-3.
Não há limite para a quantidade de conteúdo que ele pode verificar, o que o torna perfeito para textos longos. Sua precisão é boa, especialmente para conteúdo gerado pelo ChatGPT. No entanto, as previsões podem ser um pouco imprecisas, por isso é aconselhável considerar os resultados apenas quando mais de 50% do texto for indicado como falso.
#4. Detector de Conteúdo do Writer AI
Os resultados do Writer AI Content Detector são questionáveis para textos de ferramentas de escrita AI, mas funciona bem com o conteúdo gerado pelo ChatGPT. Ele permite analisar 1500 caracteres por vez e também adicionar a URL do texto, se já estiver publicado.
No teste com texto gerado por IA, a ferramenta indicou que 94% do texto foi escrito por humanos, o que é ruim em comparação com outras ferramentas. No entanto, ainda é útil para detectar conteúdo do ChatGPT, especialmente se já foi publicado.
#5. Draft & Goal
Uma ferramenta de detecção simples, mas eficaz. Nos meus testes, Draft & Goal apresentou resultados similares ao Content At Scale, mas não tem limite de palavras, o que permite analisar textos longos. No entanto, o tempo de análise aumenta com a quantidade de texto a ser escaneada.
No texto de exemplo, a ferramenta indicou que 94% do texto foi gerado por IA.
Considerações Finais 💭
Acredito que a IA pode ser uma ferramenta valiosa para superar o bloqueio criativo, obter informações e encontrar inspiração. No entanto, ela jamais deve substituir a escrita humana, uma vez que a IA está limitada ao conhecimento já existente.
Recomendo explorar as melhores ferramentas de verificação de plágio para evitar a cópia.