Principais Observações
- O modelo de inteligência artificial Gemini, desenvolvido pelo Google, apresenta três versões distintas: Ultra, Pro e Nano. Cada uma foi projetada para lidar com diferentes níveis de complexidade e tipos de tarefas.
- O Gemini Ultra demonstra resultados promissores em testes de referência de IA. No entanto, em dezembro de 2023, ainda não estava acessível ao público. O Google planeja disponibilizá-lo em janeiro de 2024.
- O Gemini Pro já está disponível para uso. Embora apresente um desempenho considerável, ele não supera o GPT-4 neste momento.
O Google tem afirmado que seu modelo Gemini AI superaria o GPT-4 da OpenAI, que impulsiona o ChatGPT Plus. Agora que o Google Gemini foi lançado, podemos avaliar seu desempenho e comparar com o GPT-4.
O lançamento do Bard pelo Google em março de 2023 gerou grande expectativa. Acreditava-se que o domínio do ChatGPT da OpenAI seria finalmente desafiado por um concorrente à altura.
Contudo, o Bard não se tornou o gigante de IA que se esperava e o GPT-4 continua sendo a plataforma de chatbot de IA generativa mais utilizada. Agora o Google apresenta o Gemini, mas será que esse novo modelo consegue superar o ChatGPT?
O que é o Gemini AI do Google?
O Gemini representa o modelo de IA generativa mais avançado do Google. Ele tem a capacidade de interpretar e trabalhar com diversos formatos de dados, como texto, áudio, imagens e vídeos. É a iniciativa do Google de criar um modelo de IA unificado, aproveitando o potencial de suas tecnologias de IA mais robustas. O Gemini estará disponível em três versões:
Em sua publicação oficial, The Keyword, o Google afirma que o Gemini Ultra supera modelos de última geração em diversos testes. O Google também alega que o Gemini Ultra apresenta desempenho superior ao GPT-4 em diversos testes de referência importantes.
Com uma pontuação de 90,0% no rigoroso teste MMLU, o Google afirma que o Gemini Ultra é o primeiro modelo a ultrapassar o desempenho de nível humano em um teste abrangente que engloba 57 áreas distintas.
O Gemini Ultra também possui a capacidade de interpretar, explicar e gerar códigos de alta qualidade em linguagens de programação populares, como Go, JavaScript, Python, Java e C++. Todos esses resultados são impressionantes no papel. No entanto, benchmarks nem sempre revelam o quadro completo. Portanto, como o Gemini se sai em tarefas reais?
Como utilizar o Google Gemini AI?
Dentre as três versões do modelo Gemini AI, você já pode começar a usar o Gemini Pro. Atualmente, o Gemini Pro está disponível no chatbot Bard do Google. Para utilizar o Gemini Pro no Bard, acesse bard.google.com e faça login com sua conta do Google.
O Google planeja lançar o Gemini Ultra em janeiro de 2024. Enquanto isso, podemos testar o Gemini Pro e compará-lo com o ChatGPT.
Comparativo entre Gemini, GPT-3.5 e GPT-4
Ao ser lançado um novo modelo de IA, é comum compará-lo com os modelos GPT da OpenAI, que são considerados referência no mercado. Assim, usando Bard e ChatGPT, avaliamos as capacidades do Gemini em matemática, escrita criativa, geração de código e interpretação de imagens.
Iniciamos com um problema matemático simples: -1 x -1 x -1.
O Bard foi o primeiro a responder. Refizemos a pergunta duas vezes, e todas as respostas estavam incorretas. Somente na terceira tentativa ele acertou, mas isso não conta.
Em seguida, testamos o ChatGPT com GPT-3.5. Ele acertou na primeira tentativa.
Para testar a capacidade de interpretação de imagens do Gemini, pedimos que ele interpretasse alguns memes populares. Ele se recusou, alegando que não consegue interpretar imagens com pessoas. O ChatGPT, com GPT-4V, interpretou as imagens perfeitamente.
Para testar a capacidade de resolução de problemas e codificação, fornecemos ao Bard uma captura de tela e pedimos que ele interpretasse e criasse o código HTML e CSS para replicá-la.
Esta é a captura de tela original:
A seguir, a tentativa do Gemini Pro de replicar a captura de tela usando HTML e CSS:
E aqui está a tentativa do GPT-4 de replicar a captura de tela. O resultado não surpreende, já que o GPT-4 é reconhecido por suas habilidades de codificação. Já demonstramos como o GPT-4 pode ser usado para criar aplicativos web do zero.
Pedimos ao Gemini Pro para criar um poema sobre a Tesla (a marca de carros elétricos). Ele apresentou uma leve melhora em relação aos testes anteriores. Este é o resultado:
Neste ponto, achamos que seria mais justo comparar os resultados com o GPT-3.5, ao invés do GPT-4. Então, pedimos ao ChatGPT com GPT-3.5 para criar um poema semelhante.
Pode ser uma questão de preferência pessoal, mas a interpretação do Gemini Pro parece um pouco melhor. Mas a decisão final é sua.
O Gemini é melhor que o ChatGPT?
Antes do lançamento do Bard pelo Google, esperávamos que ele fosse um forte concorrente para o ChatGPT, o que não ocorreu. Agora o Gemini chegou, e até o momento, o Gemini Pro não parece ser o modelo que vai superar o ChatGPT.
O Google afirma que o Gemini Ultra será muito superior. Esperamos que ele cumpra ou supere as expectativas geradas pelo anúncio do Gemini Ultra. No entanto, até que possamos testar a versão mais avançada da ferramenta de IA generativa do Google, não poderemos confirmar se ela será capaz de destronar outros concorrentes. Atualmente, o GPT-4 segue sendo o líder indiscutível no mercado de modelos de IA.