Principais Conclusões
- O GPTZero é uma ferramenta de análise baseada em IA, que auxilia educadores a diferenciar textos redigidos por humanos de conteúdo criado artificialmente, utilizando análises de perplexidade e burstiness.
- O GPTZero disponibiliza versões gratuitas e pagas, cada uma com diferentes funcionalidades e restrições, permitindo aos utilizadores analisar grandes volumes de texto mensalmente.
- Apesar do GPTZero trabalhar para minimizar os falsos positivos, educadores devem usar os resultados da ferramenta com cautela, evitando julgamentos precipitados baseados apenas nas suas análises.
Desde o seu lançamento, o ChatGPT da OpenAI tem gerado preocupação nas instituições de ensino em todo o mundo, visto que os estudantes começaram a usá-lo para produzir textos acadêmicos e submetê-los como trabalhos originais. Dada a naturalidade da linguagem do chatbot, os professores estão encontrando dificuldades em verificar a autenticidade dos trabalhos entregues.
Para auxiliar os professores na avaliação das tarefas dos alunos, um profissional de ciência da computação desenvolveu o GPTZero, uma ferramenta de verificação de inteligência artificial que avalia se um texto foi gerado por uma IA ou por um ser humano.
Isto parece ser uma solução, mas será que o GPTZero realmente consegue detetar conteúdo criado por IA e qual a sua precisão?
O que é o GPTZero e como funciona?
GPTZero é uma ferramenta de análise textual baseada em IA, desenvolvida por Edward Tian, um graduado em ciência da computação. O objetivo da ferramenta é auxiliar educadores a distinguir textos plagiados de trabalhos genuínos. O software analisa a perplexidade e o burstiness de um texto, determinando se foi produzido por inteligência artificial ou por um humano.
De forma simplificada, vamos entender o que significam estes termos:
- A *perplexidade* mede o grau de aleatoriedade num texto usando Processamento de Linguagem Natural (PLN). Textos criados por humanos tendem a ser menos previsíveis e com maior aleatoriedade, o que se traduz num valor de perplexidade mais alto. Em contrapartida, textos gerados por IA geralmente apresentam menor perplexidade.
- O *burstiness* considera outros aspetos, além da perplexidade, para refinar a análise textual. Refere-se ao surgimento de elementos incomuns em grupos aleatórios. Textos produzidos por IA tendem a ter uma estrutura mais consistente do que textos escritos por humanos, e o *burstiness* auxilia a identificar estas inconsistências.
A versão clássica do GPTZero está disponível desde o início de 2023 e pode ser utilizada gratuitamente. Contudo, esta versão gratuita tem um limite de 5000 caracteres por documento, permitindo que apenas três documentos sejam analisados simultaneamente.
O GPTZero oferece três opções premium para usuários que necessitam analisar grandes volumes de texto: Essential (US$10 mensais), Premium (US$16 mensais) e Professional (US$23 mensais). Nestas versões pagas, o limite de caracteres por documento é maior, e é possível realizar mais análises por hora, entre outros benefícios.
Para subscrever uma destas versões, siga estes passos:
Alternativamente, na página inicial do GPTZero, clique em “Atualizar” para visualizar, comparar e adquirir um plano pago.
Como utilizar o GPTZero para detetar textos gerados por IA
Diferente do ChatGPT, o GPTZero não requer registo para utilização. É possível aceder à ferramenta diretamente pelo site.
Após a conclusão da análise, o GPTZero irá indicar se o texto foi criado por um humano ou por inteligência artificial.
Como usar a extensão Origin do GPTZero para identificar textos gerados por IA
Ao instalar a extensão gratuita Origin do GPTZero no seu navegador Chrome, é possível analisar páginas web e documentos do Google Docs em busca de texto gerado por IA. Este recurso facilita a verificação de informações online.
Será possível visualizar os resultados e concluir se o conteúdo foi criado por um humano ou por IA.
Usando o GPTZero para analisar a sua escrita
Um diferencial do GPTZero em relação a outras ferramentas de detecção de IA é a capacidade de analisar os seus padrões de escrita. A plataforma armazena um histórico das análises, permitindo rever trechos de texto que foram previamente analisados.
Além disso, ao clicar num resultado específico, obtém-se dados mais detalhados sobre a sua escrita. É possível entender por que o seu texto foi classificado como gerado por humanos ou por IA.
Por exemplo, se o GPTZero assinalou algo que escreveu como gerado por IA, a Análise de Escrita apresentará os motivos, como baixa perplexidade ou alta intermitência. É possível corrigir estes aspetos para melhorar a qualidade, legibilidade e autenticidade do conteúdo.
O GPTZero consegue identificar textos gerados por IA com precisão?
Para verificar a precisão do GPTZero, vamos analisar três tipos de texto: um gerado por IA, um escrito por humanos e outro gerado por IA que foi parafraseado por outra ferramenta. Vamos verificar como o GPTZero reage a cada um deles.
1. Análise de texto gerado por IA no GPTZero
Para analisar texto gerado por IA, vamos primeiro criar um texto usando o ChatGPT, um chatbot de IA desenvolvido com tecnologia GPT. Para isso, siga estes passos:
Ao realizarmos este teste, o GPTZero apresentou resultados mistos ao analisar vários textos gerados por IA. Em alguns casos, foi incapaz de detetar que o texto era gerado por IA, enquanto noutros identificou corretamente a maior parte do texto como produzido por IA.
É possível usar outras ferramentas de escrita com IA para gerar o texto que deseja analisar.
2. Análise de texto parafraseado gerado por IA no GPTZero
Existem diversas ferramentas de paráfrase disponíveis. Para este teste, usamos o Scribbr. Se quiser usar a mesma ferramenta, siga os passos:
Verificamos que uma pequena alteração na paráfrase torna mais difícil para o GPTZero determinar se o texto foi gerado por IA, mas os resultados foram variáveis. É importante ressaltar que a qualidade da paráfrase não foi boa. O texto original está à esquerda e a versão parafraseada à direita.
3. Análise de conteúdo escrito por humanos no GPTZero
Em algumas situações, ferramentas como o GPTZero podem produzir falsos positivos, ou seja, indicar que um texto é gerado por IA quando, na verdade, não é. Para verificar se o GPTZero também produz falsos positivos, realizamos vários testes com textos escritos por humanos.
Os resultados do GPTZero foram maioritariamente precisos, apesar de identificar uma frase como potencialmente escrita por IA.
Deve confiar nos resultados do GPTZero?
Com base nos nossos testes, confiar exclusivamente nos resultados desta ferramenta pode ser arriscado. A cada análise, aparece um aviso de isenção de responsabilidade, alertando os educadores a não confiarem totalmente nos resultados.
Portanto, a menos que o desenvolvedor garanta a infalibilidade dos resultados, os educadores não devem confiar totalmente na ferramenta. Um aluno não deveria ser prejudicado por um falso positivo do GPTZero.
Esforços do GPTZero para minimizar falsos positivos
Embora ainda haja um caminho a percorrer, o GPTZero tem feito avanços na redução de falsos positivos. Um novo modelo de aprendizagem profunda implementado pela empresa tem impulsionado esses esforços, tornando a ferramenta mais confiável do que as concorrentes.
Este novo modelo utiliza um conjunto de dados de validação mais diversificado, incluindo textos educativos, artigos de jornais, posts em redes sociais e conteúdo de perguntas e respostas. Este conjunto de dados ampliado permite ao GPTZero distinguir melhor textos gerados por humanos e por IA. Além disso, a empresa afirma que as previsões do GPTZero são mais “confiantes” do que antes.
Nem sempre confie nos resultados da deteção de IA
Como uma possível solução para a tecnologia GPT da OpenAI, o GPTZero tem grande potencial. No entanto, ainda há um longo caminho a percorrer. Neste momento, não é totalmente confiável. Mas será que a versão principal do GPTZero conseguirá superar todas as limitações e detetar conteúdos de IA com precisão? Teremos de esperar para ver.