A vasta quantidade de chatbots disponíveis online pode tornar a escolha do mais adequado às suas necessidades uma tarefa complexa. A comparação manual entre dois chatbots, apesar de possível, exige tempo e esforço consideráveis.
Uma alternativa mais eficaz e simples é utilizar o Chatbot Arena, uma plataforma que permite comparar os diversos modelos de linguagem (LLMs) que alimentam os chatbots mais populares. A plataforma oferece diferentes modos de comparação, que serão detalhados a seguir.
O Que é o Chatbot Arena?
Desenvolvido pela LMSYS Org, o Chatbot Arena é um ambiente dedicado à avaliação de LLMs. A plataforma emprega o sistema de classificação Elo para organizar os diversos modelos, oferecendo uma hierarquia baseada em desempenho.
O Chatbot Arena proporciona aos utilizadores várias formas de comparar e analisar LLMs. Através do feedback fornecido pelos utilizadores, a plataforma cria uma tabela de classificação pública. O projeto conta com o apoio da Hugging Face, uma alternativa de código aberto ao ChatGPT.
Como Comparar LLMs Anónimos no Chatbot Arena
O modo “Batalha” do Chatbot Arena permite a comparação anónima de LLMs. Por exemplo, é possível comparar o ChatGPT (GPT 3.5) com o Claude. Nesta modalidade, o Chatbot Arena seleciona dois modelos de linguagem sem revelar os seus nomes, permitindo ao utilizador compará-los.
Ao inserir um primeiro prompt, o Chatbot Arena gera respostas de ambos os modelos, exibindo-as lado a lado. A plataforma oferece opções para regenerar as respostas (de ambos os LLMs) e limpar o histórico para iniciar uma nova conversa. O utilizador pode continuar a fazer perguntas até identificar um vencedor claro.
Em seguida, o utilizador escolhe se o modelo A ou o modelo B foi superior. Após a seleção do vencedor, o Chatbot Arena revela os nomes dos dois bots. Este modo é eficaz pois a decisão não é influenciada pela perceção prévia ou popularidade dos modelos. O Chatbot Arena também permite ajustar parâmetros como a temperatura, Top P e o número máximo de tokens de saída.
Como Comparar LLMs Selecionados no Chatbot Arena
Se a intenção for comparar dois LLMs específicos, o utilizador pode utilizar o modo “Lado a Lado” do Chatbot Arena. Este modo funciona de forma similar ao modo “Batalha”, com a diferença de que o utilizador pode selecionar os LLMs que pretende comparar. Permite ajustar parâmetros, regenerar respostas, limpar o histórico e escolher um vencedor no final.
No entanto, o número de LLMs disponíveis neste modo é limitado. É possível escolher entre diferentes versões do Llama 2, Vicuna e ChatGLM. Apesar de modelos populares como o GPT-4, GPT-3.5, Claude 1 e Claude 2 não estarem disponíveis neste modo, o Chatbot Arena planeia adicioná-los futuramente.
Utilizar o Chatbot Arena para Comparar LLMs
Seja para encontrar o chatbot ideal para as suas necessidades ou simplesmente para explorar diferentes LLMs, o Chatbot Arena é uma plataforma valiosa.
Ela oferece uma forma simplificada de comparar diversos modelos de linguagem lado a lado. Além disso, a manutenção de uma tabela de classificação baseada no feedback dos utilizadores permite visualizar o desempenho dos vários modelos sem a necessidade de realizar testes individualmente.