últimas postagens
Principais conclusões
- Menos censura: Os LLMs locais oferecem a liberdade de discutir tópicos instigantes sem as restrições impostas aos chatbots públicos, permitindo conversas mais abertas.
- Melhor privacidade dos dados: Ao usar um LLM local, todos os dados gerados permanecem no seu computador, garantindo a privacidade e evitando o acesso de empresas que administram LLMs públicos.
- Uso offline: Os LLMs locais permitem o uso ininterrupto em áreas remotas ou isoladas sem acesso confiável à Internet, fornecendo uma ferramenta valiosa em tais cenários.
Desde a chegada do ChatGPT em novembro de 2022, o termo modelo de linguagem grande (LLM) passou rapidamente de um termo de nicho para nerds de IA para uma palavra da moda na boca de todos. O maior atrativo de um LLM local é a capacidade de replicar as habilidades de um chatbot como o ChatGPT em seu computador sem a bagagem de uma versão hospedada na nuvem.
Existem argumentos a favor e contra a configuração de um LLM local em seu computador. Vamos cortar o hype e trazer os fatos. Você deve usar um LLM local?
As vantagens de usar LLMs locais
Por que as pessoas estão tão entusiasmadas com a criação de seus próprios modelos de linguagem em seus computadores? Além do exagero e do direito de se gabar, quais são alguns dos benefícios práticos?
1. Menos censura
Quando o ChatGPT e o Bing AI ficaram online pela primeira vez, as coisas que ambos os chatbots estavam dispostos a dizer e fazer eram tão fascinantes quanto alarmantes. O Bing AI agiu de forma calorosa e adorável, como se tivesse emoções. ChatGPT estava disposto a usar palavrões se você pedisse com educação. Na época, os dois chatbots até ajudariam você a fazer uma bomba se você usasse as instruções certas. Isso pode parecer totalmente errado, mas ser capaz de fazer qualquer coisa era emblemático das capacidades irrestritas dos modelos de linguagem que os alimentavam.
Hoje, ambos os chatbots foram censurados com tanta força que nem sequer ajudam você a escrever um romance policial fictício com cenas violentas. Alguns chatbots de IA nem falam sobre religião ou política. Embora os LLMs que você pode configurar localmente não sejam totalmente isentos de censura, muitos deles farão com prazer as coisas instigantes que os chatbots voltados para o público não farão. Portanto, se você não quer que um robô lhe dê lições sobre moralidade ao discutir tópicos de interesse pessoal, administrar um LLM local pode ser a melhor opção.
2. Melhor privacidade de dados
Um dos principais motivos pelos quais as pessoas optam por um LLM local é garantir que tudo o que acontece em seus computadores permaneça em seus computadores. Quando você usa um LLM local, é como ter uma conversa privada em sua sala de estar – ninguém de fora pode ouvir. Esteja você testando os detalhes do seu cartão de crédito ou tendo conversas pessoais confidenciais com o LLM, todos os dados resultantes são armazenados apenas no seu computador. A alternativa é usar LLMs públicos como o GPT-4, que dá às empresas responsáveis acesso às suas informações de chat.
3. Uso off-line
Com a Internet sendo amplamente acessível e acessível, o acesso offline pode parecer um motivo trivial para usar um LLM local. O acesso offline pode tornar-se especialmente crítico em locais remotos ou isolados onde o serviço de Internet não é confiável ou não está disponível. Nesses cenários, um LLM local operando independentemente de uma conexão com a Internet torna-se uma ferramenta vital. Ele permite que você continue fazendo o que quiser sem interrupção.
4. Economia de custos
O preço médio de acesso a um LLM capaz como GPT-4 ou Claude 2 é de US$ 20 por mês. Embora possa não parecer um preço alarmante, você ainda recebe várias restrições irritantes para esse valor. Por exemplo, com GPT-4, acessado via ChatGPT, você fica preso a um limite de 50 mensagens por três horas. Você só pode superar esses limites mudando para o plano ChatGPT Enterprise, que pode custar milhares de dólares. Com um LLM local, depois de configurar o software, não há assinatura mensal de US$ 20 ou custos recorrentes a pagar. É como comprar um carro em vez de depender de serviços de transporte compartilhado. Inicialmente é caro, mas com o tempo você economiza dinheiro.
5. Melhor personalização
Os chatbots de IA disponíveis publicamente têm personalização restrita devido a questões de segurança e censura. Com um assistente de IA hospedado localmente, você pode personalizar totalmente o modelo de acordo com suas necessidades específicas. Você pode treinar o assistente em dados proprietários adaptados aos seus casos de uso, melhorando a relevância e a precisão. Por exemplo, um advogado poderia otimizar a sua IA local para gerar insights jurídicos mais precisos. O principal benefício é o controle sobre a personalização de acordo com seus requisitos exclusivos.
Os contras de usar LLMs locais
Antes de fazer a mudança, há algumas desvantagens em usar um LLM local que você deve considerar.
1. Uso intensivo de recursos
Para executar um LLM local de alto desempenho, você precisará de hardware de última geração. Pense em CPUs poderosas, muita RAM e provavelmente uma GPU dedicada. Não espere que um laptop barato de US$ 400 proporcione uma boa experiência. As respostas serão dolorosamente lentas, especialmente com modelos de IA maiores. É como rodar videogames de última geração: você precisa de especificações robustas para obter o desempenho ideal. Você pode até precisar de soluções de refrigeração especializadas. O resultado final é que os LLMs locais exigem um investimento em hardware de primeira linha para obter a velocidade e a capacidade de resposta que você desfruta em LLMs baseados na web (ou até mesmo melhorar isso). As demandas de computação de sua parte serão significativas em comparação com o uso de serviços baseados na web.
2. Respostas mais lentas e desempenho inferior
Uma limitação comum dos LLMs locais são os tempos de resposta mais lentos. A velocidade exata depende do modelo específico de IA e do hardware usado, mas a maioria das configurações fica atrás dos serviços online. Depois de receber respostas instantâneas de ChatGPT, Bard e outros, os LLMs locais podem parecer terrivelmente lentos. As palavras fluem lentamente em vez de serem devolvidas rapidamente. Isto não é universalmente verdadeiro, pois algumas implantações locais alcançam um bom desempenho. Mas os usuários médios enfrentam uma queda acentuada em relação à rápida experiência na web. Portanto, prepare-se para um “choque cultural” de sistemas online rápidos para equivalentes locais mais lentos.
Resumindo, a menos que você esteja usando uma configuração absolutamente top de linha (estamos falando de AMD Ryzen 5800X3D com uma Nvidia RTX 4090 e RAM suficiente para afundar um navio), o desempenho geral do seu LLM local não será compare com os chatbots de IA generativos online com os quais você está acostumado.
3. Configuração complexa
A implantação de um LLM local envolve mais do que apenas inscrever-se em um serviço de IA baseado na web. Com uma conexão à Internet, sua conta ChatGPT, Bard ou Bing AI pode estar pronta para começar a solicitar em minutos. A configuração de uma pilha LLM local completa requer o download de estruturas, a configuração da infraestrutura e a integração de vários componentes. Para modelos maiores, esse processo complexo pode levar horas, mesmo com ferramentas que visam simplificar a instalação. Alguns sistemas de IA de ponta ainda exigem profundo conhecimento técnico para funcionar localmente. Portanto, diferentemente dos modelos de IA plug-and-play baseados na Web, gerenciar sua própria IA envolve um investimento técnico e de tempo significativo.
4. Conhecimento limitado
Muitos LLMs locais estão presos ao passado. Eles têm conhecimento limitado dos eventos atuais. Lembra quando o ChatGPT não conseguia acessar a internet? Quando só poderia fornecer respostas a perguntas sobre eventos ocorridos antes de setembro de 2021? Sim? Bem, semelhante aos primeiros modelos ChatGPT, os modelos de linguagem hospedados localmente são frequentemente treinados apenas em dados antes de uma determinada data limite. Como resultado, eles não têm consciência dos desenvolvimentos recentes após esse ponto.
Além disso, os LLMs locais não podem acessar dados ao vivo da Internet. Isso restringe a utilidade de consultas em tempo real, como preços de ações ou previsão do tempo. Para desfrutar de uma aparência de dados em tempo real, os LLMs locais normalmente exigirão uma camada adicional de integração com serviços conectados à Internet. O acesso à Internet é uma das razões pelas quais você pode
considere atualizar para ChatGPT Plus
!
Você deve usar um LLM local?
Os grandes modelos locais de idiomas oferecem benefícios tentadores, mas também têm desvantagens reais a serem consideradas antes de mergulhar. Menos censura, melhor privacidade, acesso offline, economia de custos e personalização são argumentos convincentes para configurar seu LLM localmente. No entanto, esses benefícios têm um preço. Com muitos LLMs disponíveis gratuitamente on-line, entrar em LLMs locais pode ser como golpear uma mosca com uma marreta – possível, mas um exagero. Mas lembre-se, se for gratuito, você e os dados gerados provavelmente serão o produto. Portanto, não existe uma resposta definitiva certa ou errada hoje. Avaliar suas prioridades determinará se agora é o momento certo para fazer a mudança.