O Apache Kafka é um serviço de streaming de mensagens que permite que diferentes aplicativos em um sistema distribuído se comuniquem e compartilhem dados por meio de mensagens.
Ele funciona como um pub/subsistema onde os aplicativos produtores publicam mensagens e os sistemas consumidores as inscrevem.
O Apache Kafka permite que você adote uma arquitetura fracamente acoplada entre as partes do seu sistema que produzem e consomem dados. Isso simplifica o projeto e o gerenciamento do sistema. O Kafka conta com o Zookeeper para gerenciamento de metadados e sincronização de diferentes elementos do cluster.
últimas postagens
Características do Apache Kafka
Apache Kafka tornou-se popular, entre outras razões, por ser
- Escalável através de clusters e partições
- Rápido capaz de realizar 2 milhões de gravações por segundo
- Mantém a ordem em que as mensagens são enviadas
- Confiável através de seu sistema de réplicas
- Pode ser atualizado com tempo de inatividade zero
Agora, vamos explorar alguns dos casos de uso comuns do Kafka.
Casos de uso comuns do Apache Kafka
O Kafka é frequentemente usado no processamento de big data, gravação e agregação de eventos, como cliques de botão para análises, e combinação de logs de diferentes partes de um sistema em um local central.
Ele ajuda a permitir a comunicação entre diferentes aplicativos em um sistema e processamento em tempo real de dados de dispositivos IoT.
Agora, vamos verificar as etapas detalhadas para instalar o Kafka no Windows e no Linux.
Instalando o Kafka no Windows
Primeiro, verifique se o Java está instalado em sua máquina para instalar o Apache Kafka no Windows. Abra o prompt de comando no modo Administrador e digite o comando:
java --version
Se o Java estiver instalado, você deve obter o número da versão JDK atualmente instalada.
Se você receber uma mensagem de erro dizendo que o comando não foi reconhecido, o Java não foi instalado e você precisa instalar o Java. Para instalar o Java, acesse Adoptium.net e clique no botão de download.
Isso deve baixar o arquivo do instalador do Java. Quando o download estiver concluído, execute o instalador. Isso deve abrir o prompt de instalação.
Pressione Avançar repetidamente para escolher as opções padrão. A instalação deve então começar. Verifique a instalação fechando o prompt de comando, reabrindo outro prompt de comando no modo Administrador e digitando o comando:
java --version
Desta vez, você deve obter a versão do JDK que acabou de instalar. Após a conclusão da instalação, podemos começar a instalar o Kafka.
Para instalar o Kafka, primeiro acesse o site do Kafka.
Clique no link e ele deve levá-lo para a página de downloads. Baixe os últimos binários disponíveis.
Isso fará o download de scripts Kafka e binários compactados no arquivo .tgz. Após o download, você deve extrair os arquivos do arquivo .tgz. Para extrair, usarei o WinZip, que pode ser baixado no site do WinZip.
Depois de extrair o arquivo, mova-o para o C: de forma que o caminho do arquivo se torne C:kafka
Em seguida, abra o prompt de comando no modo Administrador e inicie o Zookeeper navegando primeiro para o diretório Kafka. E executando o arquivo zookeeper-server-start.bat com zookeeper.properties como arquivo de configuração
cd C:kafka binwindowszookeeper-server-start.bat configzookeeper.properties
Com o Zookeeper em execução, precisamos adicionar o arquivo executável wmic que o Kafka usa em nosso sistema PATH,
set PATH=C:WindowsSystem32wbem;%PATH%;
Depois disso, inicie o servidor Apache Kafka abrindo outra sessão de prompt de comando no modo Administrador e navegando até a pasta C:kafka
cd C:kafka
Em seguida, inicie o Kafka executando
binwindowskafka-server-start.bat configserver.properties
Com isso, o Kafka deve estar em execução. Você pode personalizar as propriedades do servidor, como onde os logs são gravados no arquivo server.properties.
Instalando o Kafka no Linux
Primeiro, certifique-se de que seu sistema esteja atualizado atualizando todos os pacotes
sudo apt update && sudo apt upgrade
Em seguida, verifique se o Java está instalado em sua máquina executando
java --version
Se o java estiver instalado, você verá o número da versão. No entanto, se não for, você pode instalá-lo usando o apt.
sudo apt install default-jdk
Depois disso, podemos instalar o Apache Kafka baixando os binários do site.
Abra seu terminal e navegue até a pasta onde o download foi salvo. No meu caso, tenho que navegar até a pasta Downloads.
cd Downloads
Uma vez na pasta de downloads, extraia os arquivos baixados usando tar:
tar -xvzf kafka_2.13-3.3.1.tgz
Navegue até a pasta extraída
cd kafka_2.13-3.3.1.tgz
Liste os diretórios e arquivos.
Uma vez na pasta, inicie um servidor Zookeeper executando o script zookeeper-server-start.sh localizado no diretório bin da pasta extraída.
O script exigirá um arquivo de configuração do Zookeeper. O arquivo padrão é chamado zookeeper.properties e está localizado no subdiretório config.
Então, para iniciar o servidor, use o comando:
bin/zookeeper-server-start.sh config/zookeeper.properties
Com o Zookeeper em execução, podemos iniciar o servidor Apache Kafka. O script kafka-server-start.sh também está localizado no diretório bin. O comando também espera um arquivo de configuração. O padrão é server.properties armazenado no arquivo de configuração.
bin/kafka-server-start.sh config/server.properties
Isso deve colocar o Apache Kafka em execução. Dentro do diretório bin, você encontrará muitos scripts para fazer coisas como criar tópicos, gerenciar produtores e gerenciar consumidores. Você também pode customizar as propriedades do servidor no arquivo server.properties.
Palavras Finais
Neste guia, passamos por como instalar o Java e o Apache Kafka. Embora você possa instalar e gerenciar clusters Kafka manualmente, também pode usar opções gerenciadas, como Amazon Web Services e Confluent.
Em seguida, você pode aprender o processamento de dados com Kafka e Spark.