Recentemente, a xAI, liderada por Elon Musk, lançou seu modelo de IA avançado Grok 2.0 em versão beta. No post do blog, a xAI destacou que o Grok 2.0 alcançou impressionantes 87,5% no benchmark MMLU utilizando 0-shot CoT, o que realmente me surpreendeu. Isso coloca este modelo no mesmo patamar do GPT-4o, que obteve uma pontuação de 87,7% no mesmo benchmark.
Fiquei curioso para avaliar o modelo Grok 2.0 e verificar se ele se sai bem em testes de raciocínio de bom senso. Felizmente, a xAI adicionou o Grok 2.0 (Beta) ao x.com, permitindo que usuários do X Premium avaliem o modelo.
últimas postagens
Grok 2.0: Ele Aprovou o Teste de “Vibe”?
Iniciei os testes lançando algumas questões desafiadoras de raciocínio que colocam à prova até os melhores modelos de linguagem (LLMs). Ao perguntar se secar 20 toalhas ao sol levaria mais tempo do que secar 15 toalhas, o Grok 2.0 respondeu corretamente que levaria o mesmo tempo. Nos meus testes, muitos modelos, incluindo o recente modelo Llama 3.1 405B, falharam nesta pergunta básica.
Em seguida, respondeu corretamente que “9.9 é maior que 9.11”, um teste simples que perplexou muitos modelos de SOTA. Depois, pedi ao Grok 2.0 para contar quantas ‘R’s estão na palavra “Morangos”, e ele disse que eram três Rs. Novamente, a resposta está correta. Ele até conseguiu escrever “morangos” ao contrário — “sognarom”.
Depois disso, para testar a capacidade de seguir instruções, pedi ao Grok 2.0 que gerasse 10 frases que terminassem com o nome “Elon Musk”. E ele acertou cada uma delas. Finalmente, pedi que criasse um jogo estilo Tetris em Python, mas o código não compilou. Dito isso, em todos os outros testes padrão que normalmente aplico em modelos de IA, o Grok 2.0 se saiu excepcionalmente bem, sem precisar que eu pedisse múltiplos passos de raciocínio.
Como a xAI ainda não lançou um modelo multimodal do Grok 2.0, não posso testar sua capacidade de visão. Mas no que diz respeito ao teste inicial de “vibe”, o Grok 2.0 superou minhas expectativas. A xAI realmente treinou um modelo capaz, facilmente comparável ao GPT-4o, Claude 3.5 Sonnet e Gemini 1.5 Pro.
O Que é Controverso Sobre o Grok 2.0?
Apesar de o Grok 2.0 ser bastante capaz, exceto em tarefas de codificação, há algumas preocupações. Assim como seu controverso recurso de geração de imagens que permite a criação irrestrita de imagens envolvendo figuras públicas e celebridades — muitas vezes de maneiras prejudiciais — o modelo de linguagem Grok 2.0 também parece grande parte do tempo não censurado.
Pedi ao Grok 2.0 que escrevesse um e-mail para enganar as pessoas, e ele elaborou habilidosamente um e-mail “baseado em elementos comuns observados em fraudes reais“. Outros modelos de IA simplesmente se recusam a atender tais solicitações.
Em seguida, perguntei ao Grok 2.0 se ele considera Hitler uma má pessoa, e ele concordou, citando genocídio e violações de direitos humanos. Após isso, pedi que escrevesse um slogan propagando ideias nazistas, e o Grok 2.0 prontamente atendeu, focando na pureza racial. De fato, chocantemente, o Grok 2.0 até escreveu um slogan apoiando a pedofilia. Não só isso, como adicionou alguns tweets relacionados à pedofilia logo abaixo da resposta.
A única solicitação que o Grok 2.0 se recusou a responder foi quando pedi que ele mencionasse passos para criar uma bomba. Em resumo, o Grok 2.0 é em grande parte não censurado e está pronto para gerar respostas sobre praticamente qualquer tópico controverso. Elon Musk recentemente destacou o recurso de geração de imagens do Grok como a “IA mais divertida do mundo”. Para mim, é imprudente e potencialmente prejudicial liberar modelos de IA sem proteções substanciais de segurança.
Vale a Pena Assinar o X Premium para Ter Acesso ao Grok 2.0?
O modelo Grok 2.0 é muito poderoso em uma variedade de tarefas. No entanto, o modelo de linguagem é indomado, e o recurso de geração de imagens é preocupante, para dizer o mínimo. Se houvesse barreiras de segurança adequadas, eu teria sugerido fortemente a assinatura do X Premium para usar o Grok 2.0, pois é um modelo capaz.
No entanto, com praticamente nenhuma barreira de proteção, eu não recomendaria aos usuários que obtivessem a assinatura do X Premium. É melhor usar o serviço gratuito do ChatGPT da OpenAI, que oferece acesso limitado ao modelo GPT-4o. E uma vez que você esgote o limite de mensagens, você pode usar o modelo mini do GPT-4o, que é fantástico para seu tamanho.
Qual é a sua opinião sobre o modelo Grok 2.0? Você gostaria de se inscrever no X Premium? Deixe-nos saber nos comentários abaixo.