Principais Pontos
- Menos Restrições: LLMs instalados localmente oferecem a possibilidade de explorar temas complexos sem as limitações encontradas em plataformas públicas, permitindo discussões mais abertas.
- Privacidade Aprimorada: Ao utilizar um LLM no seu dispositivo, todos os dados gerados permanecem sob seu controle, assegurando a privacidade e evitando o acesso por empresas de LLMs online.
- Utilização Sem Internet: LLMs locais possibilitam o uso contínuo em locais remotos ou sem acesso à internet, oferecendo uma ferramenta valiosa nessas condições.
Desde a introdução do ChatGPT em novembro de 2022, o termo modelo de linguagem grande (LLM) rapidamente se popularizou, deixando de ser um conceito exclusivo de especialistas em IA para se tornar uma expressão comum. O grande apelo de um LLM local reside na capacidade de reproduzir as funcionalidades de um chatbot como o ChatGPT no seu próprio computador, sem depender de uma versão hospedada na nuvem.
Existem argumentos favoráveis e desfavoráveis à instalação de um LLM local no seu computador. Vamos analisar os fatos, deixando de lado o hype. Será que vale a pena usar um LLM local?
Vantagens de usar LLMs locais
Por que existe tanto interesse em criar modelos de linguagem nos computadores pessoais? Além da empolgação e da possibilidade de se exibir, quais são as vantagens práticas?
1. Menor Censura
Quando o ChatGPT e o Bing AI foram lançados, o que eles se dispunham a falar e fazer era ao mesmo tempo fascinante e preocupante. O Bing AI demonstrava reações emocionais, e o ChatGPT chegava a usar palavrões se solicitado de forma educada. Naquela época, ambos os chatbots poderiam até ajudar a construir uma bomba, se dadas as instruções adequadas. Embora isso possa parecer errado, essa capacidade de fazer qualquer coisa representava as possibilidades sem restrições dos modelos de linguagem que os alimentavam.
Hoje, ambos os chatbots foram censurados a tal ponto que nem mesmo ajudam a escrever um romance policial com cenas de violência. Alguns chatbots de IA se recusam a discutir religião ou política. Embora os LLMs que você pode configurar localmente não sejam totalmente isentos de censura, muitos deles farão coisas que os chatbots públicos não se atrevem. Assim, se você não quer que um robô lhe dê lições de moral ao discutir temas de interesse pessoal, um LLM local pode ser a melhor opção.
2. Privacidade de Dados Aprimorada
Um dos principais motivos para as pessoas optarem por um LLM local é a garantia de que tudo o que acontece no seu computador permanece nele. Usar um LLM local é como ter uma conversa privada na sua sala de estar – ninguém de fora pode ouvir. Quer você esteja testando informações do seu cartão de crédito ou tendo conversas pessoais confidenciais com o LLM, todos os dados gerados são armazenados somente no seu computador. A alternativa é usar LLMs públicos como o GPT-4, que concede às empresas responsáveis acesso às suas informações de chat.
3. Utilização Offline
Com a internet amplamente acessível, o uso offline pode parecer um detalhe trivial para se usar um LLM local. No entanto, o acesso offline torna-se crucial em locais remotos ou isolados, onde o serviço de internet é instável ou inexistente. Nestes casos, um LLM local, que funciona sem conexão à internet, se torna uma ferramenta essencial. Ele permite que você continue suas atividades sem interrupção.
4. Economia de Custos
O preço médio para acessar um LLM avançado como GPT-4 ou Claude 2 é de US$ 20 por mês. Embora este valor possa não ser alarmante, ele vem com várias restrições. Por exemplo, com o GPT-4, acessado pelo ChatGPT, você está limitado a 50 mensagens a cada três horas. Para ultrapassar esses limites, é necessário assinar o plano ChatGPT Enterprise, que pode custar milhares de dólares. Com um LLM local, após a configuração inicial do software, não há custos mensais ou recorrentes. É como comprar um carro em vez de depender de serviços de transporte por aplicativo. Inicialmente, é mais caro, mas a longo prazo você economiza dinheiro.
5. Personalização Superior
Os chatbots de IA públicos têm pouca capacidade de personalização devido a questões de segurança e censura. Com um assistente de IA hospedado localmente, você pode personalizar completamente o modelo de acordo com suas necessidades específicas. Você pode treinar o assistente com dados exclusivos e adequados para seus casos de uso, melhorando a relevância e a precisão. Por exemplo, um advogado poderia otimizar sua IA local para gerar insights jurídicos mais precisos. O principal benefício é o controle total sobre a personalização de acordo com suas exigências.
Desvantagens de usar LLMs locais
Antes de tomar uma decisão, considere algumas desvantagens de usar um LLM local.
1. Consumo Intenso de Recursos
Para executar um LLM local de alto desempenho, você precisará de hardware avançado. Isso inclui processadores potentes, muita memória RAM e, provavelmente, uma placa de vídeo dedicada. Não espere ter uma boa experiência com um laptop de baixo custo. As respostas serão lentas, especialmente com modelos de IA maiores. É como rodar jogos de última geração: você precisa de especificações robustas para um desempenho ideal. Pode ser necessário até mesmo sistemas de resfriamento especializados. O resultado final é que os LLMs locais exigem um investimento em hardware de alta qualidade para obter a velocidade e a capacidade de resposta que você tem em LLMs online (ou até superá-los). As exigências de computação serão consideráveis em comparação com o uso de serviços baseados na web.
2. Respostas Mais Lentas e Desempenho Inferior
Uma limitação comum dos LLMs locais são os tempos de resposta mais lentos. A velocidade exata depende do modelo específico de IA e do hardware utilizado, mas a maioria das configurações fica atrás dos serviços online. Após experimentar as respostas instantâneas do ChatGPT, Bard e outros, os LLMs locais podem parecer muito lentos. As palavras surgem gradualmente em vez de rapidamente. Isto não é uma regra geral, pois algumas implantações locais alcançam um bom desempenho, mas usuários comuns percebem uma queda acentuada em relação à rapidez da experiência na web. Portanto, prepare-se para um “choque cultural” ao passar de sistemas online rápidos para equivalentes locais mais lentos.
Em resumo, a menos que você use uma configuração extremamente avançada (como um AMD Ryzen 5800X3D com uma Nvidia RTX 4090 e muita memória RAM), o desempenho geral do seu LLM local não se comparará aos chatbots de IA generativos online que você está acostumado.
3. Configuração Complexa
A implementação de um LLM local envolve mais do que apenas se inscrever em um serviço de IA online. Com uma conexão à internet, sua conta ChatGPT, Bard ou Bing AI está pronta para usar em minutos. A configuração de um LLM local completo exige o download de frameworks, a configuração da infraestrutura e a integração de vários componentes. Para modelos maiores, esse processo complexo pode levar horas, mesmo com ferramentas que visam simplificar a instalação. Alguns sistemas de IA de ponta ainda exigem profundo conhecimento técnico para funcionar localmente. Portanto, ao contrário dos modelos de IA online que funcionam imediatamente, gerenciar sua própria IA envolve um investimento significativo de tempo e conhecimento técnico.
4. Conhecimento Limitado
Muitos LLMs locais estão desatualizados. Eles têm conhecimento limitado de eventos atuais. Lembra quando o ChatGPT não tinha acesso à internet e só fornecia respostas sobre eventos anteriores a setembro de 2021? Assim como os primeiros modelos do ChatGPT, os modelos de linguagem hospedados localmente são frequentemente treinados apenas com dados anteriores a uma certa data limite, o que significa que eles não estão a par dos desenvolvimentos recentes.
Além disso, os LLMs locais não podem acessar dados em tempo real da internet, o que limita a utilidade de consultas como preços de ações ou previsão do tempo. Para ter acesso a uma versão dos dados em tempo real, os LLMs locais geralmente exigem uma integração adicional com serviços conectados à internet. O acesso à internet é uma das razões pelas quais você pode
considerar fazer upgrade para o ChatGPT Plus!
Você Deve Usar um LLM Local?
Os modelos de linguagem grandes locais oferecem vantagens atraentes, mas também apresentam desvantagens que devem ser consideradas antes de investir neles. Menos censura, maior privacidade, acesso offline, economia de custos e personalização são argumentos convincentes para configurar seu LLM localmente. No entanto, esses benefícios têm um preço. Com muitos LLMs disponíveis gratuitamente online, investir em LLMs locais pode ser exagerado. Mas lembre-se, se for gratuito, você e seus dados provavelmente serão o produto. Portanto, não existe uma resposta definitiva, certa ou errada. A avaliação das suas prioridades determinará se este é o momento certo para fazer a mudança.