Como usar o Proxy com cURL e wget?

Você está cansado de ser impedido de acessar determinados sites ou serviços?

Deseja contornar essas restrições e acessar o conteúdo que deseja?

Se sua resposta for sim, considere o uso de um servidor proxy por meio da interface de linha de comando usando as ferramentas cURL ou wget.

Primeiro, vamos ver o que exatamente é proxy e como ele funciona.

O que é um Servidor Proxy?

Um servidor proxy atua como um intermediário entre seu dispositivo (como seu computador ou telefone) e a Internet.

Quando você deseja acessar um site ou serviço, sua solicitação vai primeiro para o servidor proxy, em vez de diretamente para o destino.

O servidor proxy envia sua solicitação ao servidor de destino em seu nome e recebe a resposta do servidor de destino. Por fim, o servidor proxy envia essa resposta de volta ao seu dispositivo.

É como ter um assistente pessoal que cuida de toda a comunicação entre você e o servidor de destino.

Mas por que usar um servidor proxy em primeiro lugar?

Bem, há uma série de razões.

O uso de um servidor proxy pode ajudar a proteger sua privacidade e anonimato. Quando você se conecta a um site ou serviço por meio de um servidor proxy, seu endereço IP fica oculto no servidor de destino. Em vez disso, o servidor vê apenas o endereço IP do proxy. Isso pode tornar mais difícil para os sites rastrearem suas atividades online.

E…

Outro motivo para usar um servidor proxy é filtrar o conteúdo. Isso pode ser particularmente útil para organizações que desejam controlar ou restringir o acesso a determinados tipos de conteúdo.

Os servidores proxy podem ser configurados para bloquear o acesso a determinados sites com base em critérios específicos, como palavras-chave ou categorias de URL. Isso pode ajudar a garantir que os funcionários não acessem sites impróprios ou que causem distração durante o horário de trabalho.

Se você quiser saber as principais diferenças entre proxy e VPN, sinta-se à vontade para visitar este artigo.

Como usar um proxy com cURL?

cURL é uma ferramenta de linha de comando de código aberto projetada para transferir dados entre servidores, o que a torna uma escolha obrigatória para assistentes de tecnologia em todo o mundo. Graças à sua impressionante compatibilidade com uma ampla gama de protocolos como HTTP, FTP e SMTP.

  9 ferramentas do verificador de tráfego do site para pesquisa de concorrentes

Ele pode lidar com até mesmo as tarefas de transferência de dados mais complexas com facilidade. Além disso, esta ferramenta inovadora está equipada com uma variedade de métodos de criptografia seguros que ajudam a manter os dados seguros e protegidos durante todo o processo de transferência.

cURL está prontamente disponível para uso na maioria dos sistemas operacionais. Se você achar que ele não está instalado em seu sistema, não se preocupe – você pode facilmente baixá-lo manualmente. Basta seguir as etapas abaixo para instalar o cURL e liberar todo o seu potencial.

janelas

  • Baixe o executável curl do site oficial.
  • Extraia o arquivo zip para uma pasta em seu computador.
  • Adicione o caminho da pasta à variável de ambiente PATH do sistema.

Mac OS

  • Abra o aplicativo do terminal.
  • Instale o Homebrew (se ainda não o fez) executando o seguinte comando.
/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"
  • Agora instale o cURL executando o seguinte comando.
brew install curl

Linux

Na maioria das distribuições do Linux, o cURL é instalado por padrão. Caso esteja faltando, você deve instalá-lo usando o gerenciador de pacotes específico para sua distribuição.

Por exemplo, no Ubuntu ou Debian, você pode instalar o cURL executando o seguinte comando.

sudo apt-get install curl

No CentOS ou Fedora, você pode usar o comando abaixo.

sudo yum install curl

Depois de instalar o cURL, você pode testá-lo executando o comando “curl –version” em seu terminal/prompt de comando.

Vamos passar para o nosso tópico principal.

Você pode usar um proxy com cURL especificando o servidor proxy e o número da porta no comando cURL usando a opção -x ou –proxy.

Aqui está uma sintaxe básica de um comando cURL que usa um proxy.

curl -x <proxy-server>:<port-number> <url>

Substitua pelo nome do host ou endereço IP do servidor proxy, pelo número da porta usada pelo proxy e pela URL do site ou endpoint da API que você deseja acessar.

Aqui está um exemplo de exemplo.

curl -x 5.189.184.6:80  ipinfo.io

Este comando envia uma solicitação para o site ipinfo.io por meio do servidor proxy em 5.189.184.6 na porta 80. Este exemplo de endereço de proxy foi obtido da lista de proxy disponível publicamente. Sinta-se à vontade para visitar este site, se estiver procurando por um endereço de proxy temporário. Tente por sua conta e risco!☢️

Observe que às vezes você também pode precisar fornecer credenciais de autenticação para o servidor proxy, caso em que você pode usar as opções “–proxy-user” e “–proxy-password” para incluir seu nome de usuário e senha. Por exemplo:

curl -x  5.189.184.6:80 --proxy-user username:password  <target-url>

Substitua o “nome de usuário” e a “senha” por suas credenciais de autenticação reais para o servidor proxy.

Testando a conexão proxy com cURL

Antes de usar proxy

  Como usar os blocos de ação do Google Assistant para acessibilidade

Aqui, você pode ver que o cURL está mostrando meu endereço IP e localização originais. Por motivos de segurança, tive que ocultar meu endereço IP.

Depois de usar um proxy

Aqui, o cURL está mostrando o endereço do proxy em vez do meu endereço IP original.

Como usar proxy com wget?

wget é uma ferramenta de linha de comando usada para baixar arquivos da internet. Ele vem pré-instalado na maioria dos sistemas Linux, Unix e macOS e também está disponível para Windows.

Para instalar o wget em um sistema Linux, você pode usar o gerenciador de pacotes de sua distribuição.

Por exemplo, no Debian ou Ubuntu, você pode usar o seguinte comando:

sudo apt-get install wget

No CentOS ou Fedora

sudo yum install wget

No macOS, você pode instalar o wget usando o Homebrew.

brew install wget

No Windows, você pode instalar o wget baixando o executável binário do site oficial do GNU e adicionando-o ao caminho do sistema.

Depois de instalar o wget, você pode usá-lo para baixar arquivos da linha de comando, especificando o URL do arquivo que deseja baixar. Por exemplo, para baixar um arquivo chamado “example.zip” de um site, você pode usar o seguinte comando:

wget http://example.com/example.zip

Você também pode usar opções adicionais para personalizar o download, como especificar o nome do arquivo ou diretório de saída, limitar a velocidade do download e retomar downloads interrompidos. Para saber mais sobre as opções disponíveis, sinta-se à vontade para usar o manual do wget digitando “man wget” em seu terminal.

Vamos mergulhar na configuração do proxy usando este wget.

Primeiro, defina as variáveis ​​de ambiente para o servidor proxy executando o seguinte comando no terminal.

export http_proxy=http://<proxy_server>:<port>
export https_proxy=https://<proxy_server>:<port>

Teste se o servidor proxy está configurado corretamente executando o seguinte comando:

wget <target-url>

Substitua pelo URL do arquivo ou página da Web que deseja baixar usando o servidor proxy. Se o comando conseguir baixar o arquivo ou a página da Web, o servidor proxy está configurado corretamente. Se falhar, talvez seja necessário verificar as configurações e credenciais do servidor proxy.

(Opcional) Para tornar as configurações do servidor proxy permanentes, você pode adicionar as variáveis ​​de ambiente ao arquivo de perfil do shell, como ~/.bashrc ou ~/.bash_profile. Você pode adicionar as seguintes linhas no final do arquivo:

export http_proxy=http://<proxy_server>:<port>
export https_proxy=https://<proxy_server>:<port>

Se o seu servidor proxy requer autenticação, você pode incluir seu nome de usuário e senha nas variáveis ​​“http_proxy” e “https_proxy environment”.

export http_proxy=http://<username>:<password>@<proxy_server>:<port>
export https_proxy=https://<username>:<password>@<proxy_server>:<port>

Nota: Alguns servidores proxy podem usar um esquema de protocolo diferente, como meias em vez de “http” ou “https“. Nesse caso, você precisa ajustar o esquema adequadamente nas variáveis ​​de ambiente e nas URLs.

Testando conexão proxy com wget

Antes de usar proxy

  Prática com chamadas de voz e vídeo do Skype para Outlook.com

wget está mostrando meu endereço IP original antes de usar um endereço proxy. Por motivos de segurança, tive que ocultar meu endereço IP.

Depois de usar o proxy

Aqui você pode ver que o wget está tentando se conectar a um servidor proxy antes de acessar o site.

Solução de problemas comuns

Usar um servidor proxy com cURL e wget às vezes pode resultar em problemas. Não tema, temos algumas dicas comuns de solução de problemas para colocá-lo de volta nos trilhos!

#1. Servidor proxy não responde

Se o seu servidor proxy não estiver respondendo, ele pode estar inoperante ou com problemas. Para descobrir o que está acontecendo, tente o seguinte.

  • Verifique se o servidor proxy está ativo executando ping no endereço IP do servidor.
  • Certifique-se de ter inserido o endereço do servidor proxy e o número da porta corretos.
  • Tente usar um servidor proxy diferente para ver se o problema persiste.

#2. Ligação recusada

Oh, conexão recusada?

Isso não é bom.

Esse erro geralmente indica que o servidor proxy não está aceitando conexões. Aqui estão algumas etapas para solucionar esse problema:

  • Primeiro, verifique se o servidor proxy está configurado para aceitar conexões de seu endereço IP ou sub-rede.
  • Certifique-se de que o servidor proxy não esteja sendo bloqueado por um firewall ou software antivírus.
  • Em seguida, verifique se o servidor proxy requer credenciais de autenticação e verifique se você inseriu as credenciais corretas.

Não se esqueça de tentar um servidor proxy diferente se nenhuma dessas dicas funcionar.

#3. Falha na verificação do certificado SSL/TLS

a verificação do certificado falhou?

Parece um problema com o certificado SSL/TLS do servidor proxy.

Para solucionar esse problema, tente o seguinte:

  • Verifique o certificado do servidor proxy para garantir que seja válido e não expirou.
  • Se o certificado for inválido, entre em contato com o administrador do servidor proxy para obter um certificado SSL/TLS válido.
  • Se o certificado for válido e ainda não estiver funcionando. Você pode desabilitar a verificação do certificado SSL/TLS, mas tenha cuidado, pois isso pode colocar sua segurança em risco.

#4. Falha na Autenticação

Se o servidor proxy exigir autenticação e você não conseguir autenticar, provavelmente é porque você digitou o nome de usuário e a senha errados ou o servidor proxy está usando um método de autenticação diferente.

Tente ajustar suas credenciais de autenticação de acordo ou entre em contato com o administrador do servidor proxy para obter ajuda.

Nota do autor✍️

Existem muitos provedores de proxy gratuitos e pagos disponíveis na Internet, mas uma opção recomendada para uso comercial é o IPRoyal. A IPRoyal oferece uma ampla gama de soluções de proxy para empresas, incluindo proxies residenciais e de data center com vários locais e tipos de IP para escolher.

Ele fornece serviços de proxy confiáveis ​​e seguros para vários casos de uso, como web scraping, mineração de dados e automação.

Espero que você tenha achado este artigo útil para aprender como usar o proxy com as ferramentas de linha de comando cURL e wget. Você também pode estar interessado em aprender como anonimizar o tráfego do Linux usando cadeias de proxy e a rede Tor.