Guia completo para detectar plágio de AI Chatbot

AI Chatbots como o ChatGPT não se limitam apenas a responder às suas perguntas. Eles podem escrever e-mails, cartas de apresentação, ensaios, poesias, postagens de blog e muito mais.

A escrita de IA é como um camaleão – pode se misturar com qualquer outro tipo de escrita tão bem que seria difícil perceber a diferença.

Infelizmente, isso torna incrivelmente difícil para nós, humanos, detectar quando uma IA escreveu algo em vez de uma pessoa. Claro, todos nós poderíamos seguir o conselho de Sherlock Holmes e “eliminar o impossível”, mas quem tem tempo para isso?

E se eu disser que o parágrafo acima foi escrito por uma IA? Sim, pedi ao YouWrite para escrever uma introdução rápida para este post, que foi o que surgiu. Bastante convincente certo? Esse é o problema, é muito convincente que alguém possa apresentá-lo como seu próprio trabalho para se beneficiar dele.

AIs não apenas reformulam o conteúdo; eles aprendem o tópico e o apresentam em uma linguagem natural usando RLHF. Isso significa que o conteúdo gerado não parecerá robótico de ler nem pode ser comparado com dados disponíveis on-line para detectar plágio.

Capturar conteúdo gerado por IA não é fácil e não vou lhe dar falsas esperanças de que você possa capturá-lo com 100% de precisão. No entanto, com um pouco de trabalho de detetive e alguma ajuda das ferramentas de detecção de escrita de IA, você pode capturar a maioria dos trabalhos de IA.

Abaixo, você encontrará maneiras manuais de detectar plágio de IA e algumas ferramentas automáticas também.

Detecte manualmente o plágio de IA 🕵️

O ChatGPT nem é um grande problema quando se trata de plágio de IA. Existem muitas ferramentas alternativas baseadas na mesma tecnologia GPT-3 e desenvolvidas para escrita. Eles são muito avançados e feitos especificamente para criar conteúdo semelhante ao humano que é difícil de capturar.

As ferramentas de detecção automática são um pouco imprevisíveis, dependendo do tipo de conteúdo, tamanho e complexidade. Portanto, pelo menos atualmente, conectar manualmente os pontos para descobrir se o artigo é gerado por IA ou não é a melhor maneira.

Abaixo, listei algumas pistas comuns que você pode procurar para capturar conteúdo gerado por IA.

#1. Informações desatualizadas

O ChatGPT e outras IAs baseadas em GPT-3 tiveram seu conhecimento reduzido no final de 2021. Embora alguns bots de IA tenham um mecanismo de pesquisa integrado para procurar as informações mais recentes, eles ainda dependem de dados antigos para escrever conteúdo de formato longo, como ensaios ou postagens de blog.

  13 fritadeiras a ar para comprar para refeições fritas mais saudáveis

Se você notar que o artigo fala constantemente sobre dados desatualizados, especificamente antes de 2021, isso pode ser gerado por IA.

Na captura de tela abaixo, pedi ao YouWrite para me contar sobre a recente Copa do Mundo da FIFA, e foi isso que surgiu.

Ele fala sobre a Copa do Mundo de 2018 em vez da recente de 2022. Mesmo que a ferramenta seja atualizada para falar sobre eventos recentes como a Copa do Mundo de 2022, para escrever postagens longas, ela ainda usa os dados desatualizados sobre os quais é construída.

#2. Usa a mesma estrutura de frase para descrições

Ao escrever descrições de vários produtos/aplicativos, a IA geralmente usa a mesma estrutura de frase que edita para se adequar à descrição de um produto. As descrições geralmente começam com a mesma palavra, como The, It, A ou o nome do produto. As descrições também têm um foco dedicado que se repete.

Por exemplo, abaixo, pedi ao ChatGPT para me falar sobre “sites de empregos de entrada de dados”. Você pode ver que todas as descrições começam com “A” e têm um foco estrito.

Eu também fiz a mesma pergunta ao YouChat, e ele fez a mesma coisa e repetiu o nome de cada site no início, e as próprias descrições parecem uma versão reformulada de cada um.

Se a redação que você está analisando tiver uma descrição de algo semelhante na natureza, é uma ótima maneira de capturar a escrita de IA.

#3. Usa Frases Curtas

Para a maioria das redações, a IA usará frases de uma linha com uma única vírgula no máximo. Talvez eles tentem minimizar a chance de erro, mas evitam escrever frases longas que possam exigir o uso de dois pontos, ponto e vírgula ou linhas horizontais pesadas.

Sei que essa não é a melhor pista para detectar a escrita de IA, mas vale a pena considerá-la para provar ainda mais sua suspeita.

#4. Pode fornecer informações incorretas

Para questões complexas que geralmente envolvem algum tipo de instrução, a IA pode não entender a intenção e fornecer informações incorretas. Não estou falando de informações desatualizadas aqui, eles apenas fornecem com confiança as informações erradas quando não entendem o assunto.

Por exemplo, pedi ao YouWrite para me dizer “como fazer root em um telefone Android sem um PC”. Ele ainda me mostrou métodos que envolvem o uso de um PC em algum momento da instrução.

#5. Não adiciona uma opinião pessoal

Ao falar sobre algo, a IA apenas fala sobre fatos conhecidos. Ao contrário dos humanos, ele não fala sobre sua experiência pessoal com ele. Embora os AIs possam ser instruídos a criar uma redação prática, eles tendem a evitar fazê-lo por padrão.

  Como configurar grupos com o Google Assistente

Se você perceber que o artigo está falando apenas sobre fatos conhecidos, há uma boa chance de ter sido escrito por uma IA. Por exemplo, ao falar sobre um aplicativo, ele falará sobre seus recursos, em vez de quão suave é a navegação ou como realmente usar o aplicativo.

#6. Breves Explicações

Como os AIs são limitados pelo conhecimento atualmente disponível, eles tendem a escrever breves explicações e descrições. Na minha experiência, se eles falam sobre um assunto específico – como o root do Android – eles mantêm a explicação em 2 a 3 parágrafos no máximo. E para itens como aplicativos ou produtos, a descrição geralmente não excede 1 parágrafo.

Os seres humanos podem escrever em profundidade sobre algo, incluindo recursos, limitações, experiência pessoal, preços etc. Por outro lado, a IA geralmente se concentra nos principais recursos ou destaques, portanto, o texto também é curto. Se o instrutor pedir mais detalhes, a chance de informações incorretas aumenta significativamente.

#7. Confira a história do escritor

Como professor ou webmaster, se você tiver acesso aos trabalhos ou atribuições anteriores do escritor, pode ser uma boa ideia compará-los com o artigo sobre o qual você suspeita. É altamente improvável que o escritor tenha um estilo de escrita semelhante a uma IA. Embora a IA possa alterar os tons de escrita, os estilos escolhidos são bastante genéricos e não podem copiar seu tom.

Tomando o exemplo do parágrafo gerado por IA na introdução deste post. Qualquer pessoa que tenha lido meus posts anteriores pode ver facilmente que meu estilo de escrita é totalmente diferente comparado a ele.

Você pode apenas ler 2-3 trabalhos anteriores do escritor e ver se ele corresponde ao estilo de escrita do artigo suspeito.

Ferramentas para detectar plágio de IA

Existem várias ferramentas disponíveis que podem detectar conteúdo escrito por IA. No entanto, sua precisão é diferente entre si e pode falhar dependendo do tipo de conteúdo e comprimento.

Testei essas ferramentas usando diferentes tipos de conteúdo gerados por ChatGPT, GPT-3 Playground, WriteSonic, Rytr e YouWrite. Eles conseguiram detectar todos os tipos de conteúdo gerados pelo ChatGPT e GPT-3 Playground.

Embora eles tenham resultados mistos para ferramentas de escrita dedicadas, curiosamente, todos eles falharam em detectar o YouWrite, acho que é porque o YouWrite comete erros humanos com o objetivo de evitar a detecção.

Eu recomendo que você use essas ferramentas juntamente com a verificação manual do conteúdo. Primeiro, analise o conteúdo com uma dessas ferramentas e, em seguida, verifique manualmente se há pistas para confirmar a suspeita.

Abaixo, listo os que oferecem os melhores resultados e são os mais fáceis de usar:

  Como instalar ferramentas de segurança e penetração de rede no Ubuntu

Observação: para demonstração, usarei o texto gerado pelo WriteSonic sobre “Benefícios das mangas”.

#1. Conteúdo em escala

Achei o detector de conteúdo AI da Content At Scale o mais preciso para a maioria dos testes que executei. Ele permite digitalizar até 2.500 caracteres por digitalização e faz uma previsão de porcentagem mostrando densidade de conteúdo real ou falso.

É seguro presumir que o conteúdo com mais de 60% de falsificação foi escrito por conteúdo de IA, pelo menos a maior parte dele. Na captura de tela abaixo, você pode ver que 96% do conteúdo é falso, gerado totalmente com IA.

#2. GPTZero

Se você quiser ver exatamente qual conteúdo é gerado por IA, o GPTZero é uma boa opção. GPTZero não pontua conteúdo. Em vez disso, destaca o conteúdo exato que provavelmente é gerado pela IA.

Embora mostre pontuações de perplexidade e explosão para se ter uma ideia da aleatoriedade no texto, o mais importante é que ele suporta 5.000 caracteres por varredura e também pode fazer upload de arquivos. A digitalização de conteúdo grande ajuda muito a melhorar a precisão.

#3. Detector de Saída GPT-2

Os criadores do ChatGPT também oferecem um bot para detectar seu próprio trabalho. Como GPT-2 e GPT-3 são diferentes apenas no total de dados usados ​​para treinamento, este detector GPT-2 também funciona bem para AIs baseados em GPT-3.

Não há limite para a quantidade de conteúdo que ele pode verificar, por isso é perfeito para detectar conteúdo muito longo gerado por IA. Também achei sua precisão boa, especialmente para o conteúdo gerado pelo ChatGPT. No entanto, perde um pouco nas previsões, portanto, considere seus resultados apenas quando mostrar mais de 50% do conteúdo como falso.

#4. Detector de conteúdo do Writer AI

Os resultados do Writer AI Content Detector são questionáveis ​​ao detectar conteúdo de ferramentas de escrita AI, mas funciona muito bem para conteúdo gerado pelo ChatGPT. Você pode escanear 1500 caracteres por escaneamento e até mesmo adicionar a URL do conteúdo se já estiver publicado.

Para o meu teste de texto gerado por IA, ele disse que 94% do conteúdo é gerado por humanos, o que é bastante ruim em comparação com outras ferramentas. No entanto, ainda vale a pena usá-lo para detectar o conteúdo do ChatGPT, especialmente se já estiver publicado.

#5. Rascunho e Gol

Uma ferramenta de detecção de escrita AI simples, mas poderosa. Na minha experiência, Rascunho e meta oferece resultados semelhantes ao Conteúdo em escala, mas não tem um limite de contagem de palavras para que você possa digitalizar textos longos. No entanto, o tempo de varredura aumenta com base na quantidade de conteúdo que você escaneia.

Para o meu texto de exemplo, diz que 94% do texto é gerado por IA.

Meus pensamentos 💭

Pessoalmente, acho que a ajuda da IA ​​é realmente uma ótima maneira de remover o bloqueio do escritor, obter todas as informações em um só lugar e encontrar inspiração. No entanto, nunca deve substituir a escrita humana, pois a IA é limitada ao conhecimento já conhecido.

Você também pode explorar algumas das melhores ferramentas de verificação de plágio para evitar a cópia.